본문 바로가기

Python

(10)

Collections 패키지 사용법 Listx# collections.Counter 예제 (1)# list를 입력값으로 함import collectionslst = ['aa', 'cc', 'dd', 'aa', 'bb', 'ee']print(collections.Counter(lst))'''결과Counter({'aa': 2, 'cc': 1, 'dd': 1, 'bb': 1, 'ee': 1})''' Dictionary - 요소의 갯수가 많은 것 부터 출력해준다.xxxxxxxxxx# collections.Counter 예제 (2)# dictionary를 입력값으로 함import collectionsprint(collections.Counter({'가': 3, '나': 2, '다': 4}))'''결과Counter({'다': 4, '가': 3,..

csv 저장 속도가 느릴 경우에 multiprocessing csv save 방법 주로 pandas의 대용량의 데이터를 저장하려고 한적이 있으시죠? 하지만 데이터가 클수록 메모리도 많이 차지하고, 속도도 엄청느리다는 것을 느끼셨겠죠 아래의 코드는 메모리는 일단 고려하지 않았고, 대용량의 데이터를 쓰레드를 이용하여, 파일을 나누어 빠르게 저장하는 코드입니다. ( 메모리 사양에 따라서 process 부분을 조정하시면 됩니다. ) 1. Python example ===> 테이블을 10만건씩 나누어서 파일로 저장 from multiprocessing import Process,Queue import os def big_table_save(num, table): table.to_csv(os.path.join('./test2','_'+str(num)+'.csv..

티스토리툴바