소소한 블로그

다음주면 CES 관련 뉴스가 쏟아질 듯 하여, 하루에 한 번 씩 CES관련 뉴스를 크롤링하는 코드를 만들어뒀다. 나중에 키워드만 쓱 바꾸면 다른 주제로도 잘 써먹을 수 있을 듯! 1. CES 키워드로 네이버 뉴스탭에 나오는 뉴스를 크롤링한다 2. 네이버 뉴스는 알아서 클러스터링되기 때문에, 동일주제는 1개 뉴스만 가져온다 3. 페이징 처리가 되어있기 때문에 1페이지부터 10페이지까지 수집한다 4. 어제자 수집 파일과 비교하여 새로운 url만 수집한다 1. csv파일명에 날짜 넣기 2. 날짜 조작 (어제, 오늘 등) 3. pandas 컬럼명 변경 4. pandas 컬럼 삭제(drop) 5. pandas index 삭제, 초기화 ( reset) 6. pandas left join 7. pandas 중복 값 ..

CES 준비를 하는데 너무 리스트도 많고 힘이 들어서, 수상작 리스트 크롤링을 해봤다. 너무 오랜만에 하는지라 ^_^ 1. 설치 및 import #셀레니움,크롬드라이버 설치 !pip install selenium !apt-get update # to update ubuntu to correctly run apt install !apt install chromium-chromedriver !cp /usr/lib/chromium-browser/chromedriver /usr/bin import sys sys.path.insert(0,'/usr/lib/chromium-browser/chromedriver') from selenium import webdriver chrome_options = webdriver..

목표했던 날에 텐서플로 개발자 시험을 응시했고 따끈따끈한 합격메일을 받았다 😊 준비하며 어려움이 많았는데, 잠도 안오는 김에 꿀팁 방출! 1. 문제는 5문제 문제 구성은 테디노트 유튜브에서 알려주는 구성과 같았다. 난 문제 구성만 참고했고, 환경셋팅은 안참고했음 https://youtu.be/2QCxK4OEiKc 2. 추천강의 - 중간에 유료로 전환되는 코세라 강의보다는 계속 무료인 Udacity강의가 더 좋은듯 - Udacity 강의 중간에 colab 링크가 제공되어서 매우 도웅 된다! 3. 파이참 Pycharm 안쓰는데 어쩌지? 평소 파이참도 안쓰고 인텔칩 내장 GPU만 있는 노트북 사용 중이라, 로컬환경을 만들기 위해 동생 게임 데스크탑을 빌렸는데... 결론적으로 그럴 필요 0이다. output m..

텐서플로 자격시험을 준비하는 중인데, 보통 코세라 강의를 많이 듣는 것 같은데 나는 유다시티 강의를 듣고 있다! 더 짧고 간결한 것 같고, 기간에 관계 없이 *무료* 라서 더 좋은 것 같다. 내가 듣고 있는건 아래 주황색 글씨의 Intro to Tensorflow for Deep Learning course 이다. ▶ 강의 링크 www.udacity.com/course/intro-to-tensorflow-for-deep-learning--ud187 Intro to TensorFlow for Deep Learning | Udacity Free Courses Developed by Google and Udacity, this course teaches a practical approach to deep le..

친구가 알려준 웹 크롤링을 연습해보려고가끔 들어가서 보던 영진위 통합전산망 사이트에서 정보를 긁어와봤다! 나도 구글링으로 도움을 많이 받았는데,누군가에게 도움이 되면 좋겠다 :D Google colab 이용 했다..고쳐야할 것도 좀 있긴한데, 주석은 나중에 시간 될 때 달아보려고 한다. 대상되는 사이트는 아래와 같이 생겼다.영화의 목록이 총 몇개인지는 알 수 없으나, 표 하나를 온전히 긁어내려면더보기를 계속 눌렀어야 했다. 추가로, 영화 코드 정보도 함께 얻고 싶었지만영화코드는 영화를 클릭해서 가져오거나, 또는 html 코드 안에 있는 것을 가져와야 했다.html 코드 안에 있는 것을 가져오는게 더 수월하다고 판단했다. html 코드를 보려면, 크롬 브라우저에서 html 확인을 원하는 부분에 마우스를 대..