소소한 블로그

앞으로 종종 SQL 관련 글을 써보고 싶은데, 쓸만한 샘플 데이터를 고심하다가 kaggle에서 하나 골라보았다. kaggle에는 공개된 데이터가 굉장히 많기 때문에 원하는 데이터를 검색해서 다운받아 연습해 볼 수 있다. kaggle > 메뉴 > data (or dataset) 원하는 주제를 검색하면 공개된 데이터를 다운받을 수 있다! 예를 들어 나는 APP LOG 관련 샘플 데이터를 쓰고 싶어서, APP LOG라고 검색해봤고, 다양한 샘플을 확인할 수 있었다! 원하는 데이터를 누르면, 데이터에 대한 간략한 설명과 컬럼 정보 등을 얻을 수 있고, 다운로드 할 수 있다 ! 내가 다운 받은 데이터는 이렇게 구성되어 있다! 파이프로 나눠져있고, 아래와 같은 컬럼이 존재한다 ! TIMESTAMP / USER_NA..

친구가 알려준 웹 크롤링을 연습해보려고가끔 들어가서 보던 영진위 통합전산망 사이트에서 정보를 긁어와봤다! 나도 구글링으로 도움을 많이 받았는데,누군가에게 도움이 되면 좋겠다 :D Google colab 이용 했다..고쳐야할 것도 좀 있긴한데, 주석은 나중에 시간 될 때 달아보려고 한다. 대상되는 사이트는 아래와 같이 생겼다.영화의 목록이 총 몇개인지는 알 수 없으나, 표 하나를 온전히 긁어내려면더보기를 계속 눌렀어야 했다. 추가로, 영화 코드 정보도 함께 얻고 싶었지만영화코드는 영화를 클릭해서 가져오거나, 또는 html 코드 안에 있는 것을 가져와야 했다.html 코드 안에 있는 것을 가져오는게 더 수월하다고 판단했다. html 코드를 보려면, 크롬 브라우저에서 html 확인을 원하는 부분에 마우스를 대..