오랜만에 포스팅을 쓰게 된다. 최근 주식에 관심이 많아졌고 작은 금액이지만 나만의 투자 철학에 따라서 여러 종목에 투자를 하고 있는 중이다. 나는 보통 미래에 성장성이 있으면서 배당금을 챙겨주는 주식에 넣는 편인데 회사를 다니면서 매번 관심 종목의 주가의 낙폭을 모니터링 하는 것은 여간 쉬운 일이 아니었다. 그래서 …

이번 포스팅은 윈도우 로컬파일에 있는 파일을 우분투 서버로 전송하는 과정을 적어보려고 한다. [준비물] 윈도우 명령 프롬프트 / 우분투(Ubuntu) 파일 전송 해당 코드는 윈도우 명령 프롬프트 -> 우분투 서버로 보내는 과정으로 윈도우 명령 프롬프트에서 실행시켜주어야 한다. scp C:윈도우/파일/경로 우분투계정@ip 주소: /home/우분투계정 example: scp C:\Users\Desktop\test.csv john@192.xxx:/home/john 으로 정상적으로 전송이 완료되었다. 에러 해결 만약 Permission denied (public) 에러가 발생할 경우는 다음과 같이 진행하면된다. sudo vi /etc/ssh/sshd_config 에 접속하여 #Port 22 -> Port 22 PermitRootLogin Yes PasswordAuthentication Yes PubkeyAuthentication No

최근에 굉장히 훌륭한 파이썬 라이브러리를 찾게 되었다. 라이브러리 이름은 pycaret이고 데이터셋만 있으면 간단하게 모델링부터 하이퍼 파라미터 튜닝 그리고 feature importance 등등의 작업까지 딱 코드 한줄로 가능하게끔 하는 기능이 있는 라이브러리다. 바로 샘플로 진행한다. 코드 iris와 더불어 튜토리얼에 요 …

외국 웹 사이트를 크롤링할 때 한국 IP로 접속하기 힘든 경우가 있다. 이럴 때 해외 리전에 있는 IP를 활용하면 손쉽게 접근할 수 있으므로, GCP(Google Cloud Platform)의 VM을 활용하는 방법을 소개해보고자 한다. 준비 VM 인스턴스 생성 우선 [GCP] -> [Compute Engine] -> [V …

네이버 블로그에서 특정 키워드를 검색하면 나오는 다양한 글들이 있다. 이 글들을 수집하고 싶을 때 네이버에서 제공하는 검색 api를 활용하는 방법을 공유하고자 한다. 1. 네이버 개발자 센터에서 애플리케이션 등록 NAVER Developers 네이버 오픈 API들을 활용해 개발자들이 다양한 애플리케이션을 개발할 수 있도록 API 가이드와 SDK를 제공합니다. 제공중인 오픈 API에는 네이버 로그인, 검색, 단축URL, 캡차를 비롯 기계번역, 음성인식…developers.naver.com 상기 url에 들어가서 애플리케이션을 등록을 하면, Application 목록에서 client Id와 client secret을 확인할 수 있다.

현실 세계의 데이터는 생각보다 이상적이지 않다. 데이터에서 각 클래스의 개수가 현저하게 차이가 난 상태로 모델을 학습하면, 다수의 범주로 패턴 분류를 많이하게 되는 문제가 생기고 이는 곧 모델의 성능에 영향을 끼치게 된다. 이번에는 불균형 데이터(imbalanced data)의 문제를 해결할 수 있는 SMOTE(sy …

이번 포스팅은 Google Cloud Platform(GCP)의 Google Cloud SDK & App Engine을 활용하여 파이썬 기반의 웹 어플리케이션을 배포하는 방법에 대해서 공유해보고자 합니다. 1. streamlit.py 파일 작성 (1) 샘플로 Uber의 공간 시각화 라이브러리인 Pydeck을 활용하여 도시별 코로나 총 확진자 수를 지 …

먼저 해당 포스트는 아래에 있는 페이지를 참고 했으며, Bitbucket Edit descriptionbitbucket.org mecab-ko와 mecab-ko-dic 파일이 설치되어 있는 전제로 진행해보려고 한다. 내가 해당 페이지에서 설치한 최신 파일은 “mecab-ko-dic-2.1.1–20180720”이다. 사용자 사전 추가하기 mecab-ko-dic-2.1.1–20180720 폴더에 들어가면 t …

빅쿼리는 쿼리를 수행할 때 기본적으로 전체 데이터를 풀 스캔하게 된다. 그렇기 때문에 인덱스가 필요 없다는 장점이 있지만, 불필요한 데이터까지 스캔하기 때문에 성능과 과금이 부과된다는 큰 단점을 가지고 있다. 그렇기에 쿼리 실행 시 본인이 지정한 파티션만 스캔하여 전체 스캔양을 줄이면서 성능을 올릴 수 있다 내가 …