MySql에서 많은 양의 데이터 다루기

Handling large data in MySql

http://tagide.com/blog/2012/08/how-to-handle-large-data-in-mysql/

-> 위의 내용에 대한 간단한 요약입니다.

1. MySql의 설정 조정
 아래의 설정을 조정해 볼 수 있는데 아래의 값은 하나의 예이다.

key_buffer_size = 1G
sort_buffer_size = 16M
tmp_table_size = 4G
max_heap_table_size = 8G
read_buffer_size = 512K
read_rnd_buffer_size = 512K
myisam_sort_buffer_size = 4G

2. 하나의 테이블에 인덱스가 있는 것을 가져오는 것은 잘 가져온다. -> 여러 테이블을 건드리는 경우 느리게 동작할 가능성이 많다.

3. explain 명령어로 MySql 명령어의 상태를 살펴 볼 수 있다.

4. 현재 느리게 동작하는 명령일지라도 인덱스를 잘 사용하면 빠르게 동작하도록 바꾸어 줄 수 있다.

5. 필요에 따라 벌크 데이터를 가져온 다음에 자바나 파이썬으로 직접 필터링이나 프로세싱을 할 수도 있다.