파이썬 Multiprocessing + tqdm 활용보통 수천~수만건의 API를 호출하거나 많은 양의 반복문을 처리할 때는 multiprocessing에서 pool.map() 함수를 활용한다.Dec 6, 2020Dec 6, 2020
Google Cloud Platform VM에 jupyter notebook 세팅하기.외국 웹 사이트를 크롤링할 때 한국 IP로 접속하기 힘든 경우가 있다. 이럴 때 해외 리전에 있는 IP를 활용하면 손쉽게 접근할 수 있으므로, GCP(Google Cloud Platform)의 VM을 활용하는 방법을 소개해보고자 한다.May 23, 2020May 23, 2020
네이버 블로그의 특정 키워드 크롤링하기네이버 블로그에서 특정 키워드를 검색하면 나오는 다양한 글들이 있다. 이 글들을 전부 수집하고 싶을 때 사용하는 방법을 공유하고자 한다.May 14, 2020May 14, 2020
GCP App Engine으로 Streamlit 웹 어플리케이션 배포하기.이번 포스팅은 Google Cloud Platform(GCP)의 Google Cloud SDK & App Engine을 활용하여 파이썬 기반의 웹 어플리케이션을 배포하는 방법에 대해서 공유해보고자 합니다.Apr 11, 2020Apr 11, 2020
[GCP] BIG QUERY 빅쿼리 partition table 만들기빅쿼리는 쿼리를 수행할 때 기본적으로 전체 데이터를 풀 스캔하게 된다. 그렇기 때문에 인덱스가 필요 없다는 장점이 있지만, 불필요한 데이터까지 스캔하기 때문에 성능과 과금이 부과된다는 큰 단점을 가지고 있다.Mar 27, 2020Mar 27, 2020
![[주식] 배당률이 높은 주식 찾기 -1](https://miro.medium.com/v2/resize:fill:160:106/1*xbwK20Gb_i-q56KqKZkB1A.png)
![[주식] 배당률이 높은 주식 찾기 -1](https://miro.medium.com/v2/resize:fill:320:214/1*xbwK20Gb_i-q56KqKZkB1A.png)
![[GCP] BIG QUERY 빅쿼리 partition table 만들기](https://miro.medium.com/v2/resize:fill:160:106/1*lysqJ5y2hzO6LM-exOHcXw.png)
![[GCP] BIG QUERY 빅쿼리 partition table 만들기](https://miro.medium.com/v2/resize:fill:320:214/1*lysqJ5y2hzO6LM-exOHcXw.png)
