John파이썬 Multiprocessing + tqdm 활용보통 수천~수만건의 API를 호출하거나 많은 양의 반복문을 처리할 때는 multiprocessing에서 pool.map() 함수를 활용한다.Dec 6, 2020Dec 6, 2020
John윈도우에서 우분투 서버로 파일 전송하기이번 포스팅은 윈도우 로컬파일에 있는 파일을 우분투 서버로 전송하는 과정을 적어보려고 한다.Jun 27, 20201Jun 27, 20201
JohnGoogle Cloud Platform VM에 jupyter notebook 세팅하기.외국 웹 사이트를 크롤링할 때 한국 IP로 접속하기 힘든 경우가 있다. 이럴 때 해외 리전에 있는 IP를 활용하면 손쉽게 접근할 수 있으므로, GCP(Google Cloud Platform)의 VM을 활용하는 방법을 소개해보고자 한다.May 23, 2020May 23, 2020
John네이버 블로그의 특정 키워드 크롤링하기네이버 블로그에서 특정 키워드를 검색하면 나오는 다양한 글들이 있다. 이 글들을 전부 수집하고 싶을 때 사용하는 방법을 공유하고자 한다.May 14, 2020May 14, 2020
JohnGCP App Engine으로 Streamlit 웹 어플리케이션 배포하기.이번 포스팅은 Google Cloud Platform(GCP)의 Google Cloud SDK & App Engine을 활용하여 파이썬 기반의 웹 어플리케이션을 배포하는 방법에 대해서 공유해보고자 합니다.Apr 11, 2020Apr 11, 2020
John[GCP] BIG QUERY 빅쿼리 partition table 만들기빅쿼리는 쿼리를 수행할 때 기본적으로 전체 데이터를 풀 스캔하게 된다. 그렇기 때문에 인덱스가 필요 없다는 장점이 있지만, 불필요한 데이터까지 스캔하기 때문에 성능과 과금이 부과된다는 큰 단점을 가지고 있다.Mar 27, 2020Mar 27, 2020
![[주식] 배당률이 높은 주식 찾기 -1](https://miro.medium.com/v2/resize:fill:160:106/1*xbwK20Gb_i-q56KqKZkB1A.png)
![[주식] 배당률이 높은 주식 찾기 -1](https://miro.medium.com/v2/resize:fill:320:214/1*xbwK20Gb_i-q56KqKZkB1A.png)
![[GCP] BIG QUERY 빅쿼리 partition table 만들기](https://miro.medium.com/v2/resize:fill:160:106/1*lysqJ5y2hzO6LM-exOHcXw.png)
![[GCP] BIG QUERY 빅쿼리 partition table 만들기](https://miro.medium.com/v2/resize:fill:320:214/1*lysqJ5y2hzO6LM-exOHcXw.png)
