소소한 블로그

다음주면 CES 관련 뉴스가 쏟아질 듯 하여, 하루에 한 번 씩 CES관련 뉴스를 크롤링하는 코드를 만들어뒀다. 나중에 키워드만 쓱 바꾸면 다른 주제로도 잘 써먹을 수 있을 듯! 1. CES 키워드로 네이버 뉴스탭에 나오는 뉴스를 크롤링한다 2. 네이버 뉴스는 알아서 클러스터링되기 때문에, 동일주제는 1개 뉴스만 가져온다 3. 페이징 처리가 되어있기 때문에 1페이지부터 10페이지까지 수집한다 4. 어제자 수집 파일과 비교하여 새로운 url만 수집한다 1. csv파일명에 날짜 넣기 2. 날짜 조작 (어제, 오늘 등) 3. pandas 컬럼명 변경 4. pandas 컬럼 삭제(drop) 5. pandas index 삭제, 초기화 ( reset) 6. pandas left join 7. pandas 중복 값 ..

CES 준비를 하는데 너무 리스트도 많고 힘이 들어서, 수상작 리스트 크롤링을 해봤다. 너무 오랜만에 하는지라 ^_^ 1. 설치 및 import #셀레니움,크롬드라이버 설치 !pip install selenium !apt-get update # to update ubuntu to correctly run apt install !apt install chromium-chromedriver !cp /usr/lib/chromium-browser/chromedriver /usr/bin import sys sys.path.insert(0,'/usr/lib/chromium-browser/chromedriver') from selenium import webdriver chrome_options = webdriver..

오늘은 땅콩코딩님 영상 보고 스스로 연습한 부분을 정리해보겠다. 첫 typescript 파일 만들기 ! (설치는 이전글) 결국 typescript자체는 브라우저에서 동작하지 않기 때문에, typescript 를 javascript로 컴파일 해서 사용해야한다. 아직 정확하게 이해하지 못했지만, typescript는 언어의 이름에서 보여주는 것 처럼 type을 선언하고 관리하게 해줘서 javascript를 잘 정돈해 쓸 수 있는 것 같다 ㅎㅎㅎ 1. visual studio code 실행 2. file > add folder to workspace - 새 폴더를 하나 만들어서 foder 추가 3. 스크립트 파일 2개 추가 - 아래 아이콘 누르면 추가 가능함 1) typescript 스크립트 -> 스크립트 작..

구글느님은 내 관심사를 너무 잘 안다. 혹시 내 대화를 듣는건 아닐까 싶다.ㅎㅎ 갑자기 Typescript를 배워야겠다는 생각을 했었는데, 땅콩코딩님의 영상을 추천해줘서 공부를 시작했다! 짧게 구성되어있지만 입문용으로 좋았고, 감사해서 후원도 해봤다~ 난생처음 youtu.be/VJ8rvsw2j5w 공부 기록용으로 글을 써보고, M1칩에서 잘 작동하는지 궁금해하시는 분들도 계실 듯 하여 포스팅한다. 참고로 M1칩에서 Visual Studio Code 잘 작동되는데, 안되는 익스텐션들이 있을지도 모르겠다. > Typescript 설치 1) Node.js 설치 nodejs.org/ko/ Node.js Node.js® is a JavaScript runtime built on Chrome's V8 JavaScr..

새로 구매한 나의 m1 macbook pro 에 flutter를 설치해보겠다 ! 1. flutter 사이트에서 mac flutter 다운로드 flutter.dev/docs/get-started/install/macos macOS install How to install on macOS. flutter.dev 2. 터미널에서 development폴더 생성 mkdir ~/development 3. 다운로드 받은 flutter폴더를 ~/development 하위로 이동 4. development 폴더로 이동 cd ~/development 5. flutter tool 추가 export PATH="$PATH:`pwd`/flutter/bin" 6. flutter doctor로 부족한 것 check flutter d..

Flutter을 배워보려고 설치하는데 생각지도 못한 곳에서 막혀버렸다 분명히 환경변수까지 잘 추가했는데, Unable to find git in your PATH cmd 창에서 이런 에러메시지가 나오는 것 ㅠ_ㅠ 결국 아래 방법으로 해결 1. git설치 git-scm.com/download/win Git - Downloading Package Downloading Git Now What? Now that you have downloaded Git, it's time to start using it. git-scm.com 2. 환경변수에 아래 2가지 추가 C:\Program Files\Git\bin\git.exe;C:\Program Files\Git\cmd;C:\Windows\System32 Flutter..

목표했던 날에 텐서플로 개발자 시험을 응시했고 따끈따끈한 합격메일을 받았다 😊 준비하며 어려움이 많았는데, 잠도 안오는 김에 꿀팁 방출! 1. 문제는 5문제 문제 구성은 테디노트 유튜브에서 알려주는 구성과 같았다. 난 문제 구성만 참고했고, 환경셋팅은 안참고했음 https://youtu.be/2QCxK4OEiKc 2. 추천강의 - 중간에 유료로 전환되는 코세라 강의보다는 계속 무료인 Udacity강의가 더 좋은듯 - Udacity 강의 중간에 colab 링크가 제공되어서 매우 도웅 된다! 3. 파이참 Pycharm 안쓰는데 어쩌지? 평소 파이참도 안쓰고 인텔칩 내장 GPU만 있는 노트북 사용 중이라, 로컬환경을 만들기 위해 동생 게임 데스크탑을 빌렸는데... 결론적으로 그럴 필요 0이다. output m..

텐서플로 자격시험을 준비하는 중인데, 보통 코세라 강의를 많이 듣는 것 같은데 나는 유다시티 강의를 듣고 있다! 더 짧고 간결한 것 같고, 기간에 관계 없이 *무료* 라서 더 좋은 것 같다. 내가 듣고 있는건 아래 주황색 글씨의 Intro to Tensorflow for Deep Learning course 이다. ▶ 강의 링크 www.udacity.com/course/intro-to-tensorflow-for-deep-learning--ud187 Intro to TensorFlow for Deep Learning | Udacity Free Courses Developed by Google and Udacity, this course teaches a practical approach to deep le..

텐서플로우 자격시험을 결제해두었다. 결제 이후 6개월 안에 응시하면 된다. 결제하기 위해서는 셀피도 한 장 찍어야하고, ID Card도 등록해야하는데, 나는 여권으로 했다! ▶ 응시 준비물 [1] 신분증 - 여권 (단면) - 운전면허증, 주민등록증 (양면) → 사진 Upload 가능해서, 실물을 안가지고 있어도 된다! [2] 셀피 - 사진 Upload 불가하니, 노트북이나 웹캠이 없다면 휴대폰으로 접수과정을 진행하는게 좋을 듯하다! ▶ Tensorflow 자격시험 사이트 www.tensorflow.org/certificate TensorFlow 개발자 인증서를 받으세요 - TensorFlow TensorFlow 인증 프로그램을 통과함으로써 TensorFlow를 활용하여 딥러닝 및 머신러닝(ML) 문제를 ..

개인 노트북에는 정말 아무것도 셋팅되어있지 않기 때문에 집에서 간단히 SQL 관련 포스팅을 하기 위해, 이런 저런 방법들을 생각해보다가 적합한 Demo Site를 찾았다. (과연 내가 포스팅을 이어나갈 수 있을까 ㅎㅎㅎ ) Cloudera Hue 데모 사이트 demo.gethue.com/hue/home/ 아주 친절하게도, ID PW도 안내되어있다. Hue에서는 웹기반으로 질의를 수행할 수 있어서 별도 설치 없이 다양한 연습들을 진행해볼 수 있다. username : demo password : demo 물론 같은 계정으로 여럿이 들어가는 형태이기 때문에 훌륭한 환경이라고 보기는 어렵지만, 이정도면 꽤 충분했다. Hue 버전마다 버튼 위치나 지원되는 기능이 좀 다른 것 같긴한데, 데모 버젼 기준으로는 위와..