소소한 블로그

개인 노트북에는 정말 아무것도 셋팅되어있지 않기 때문에 집에서 간단히 SQL 관련 포스팅을 하기 위해, 이런 저런 방법들을 생각해보다가 적합한 Demo Site를 찾았다. (과연 내가 포스팅을 이어나갈 수 있을까 ㅎㅎㅎ ) Cloudera Hue 데모 사이트 demo.gethue.com/hue/home/ 아주 친절하게도, ID PW도 안내되어있다. Hue에서는 웹기반으로 질의를 수행할 수 있어서 별도 설치 없이 다양한 연습들을 진행해볼 수 있다. username : demo password : demo 물론 같은 계정으로 여럿이 들어가는 형태이기 때문에 훌륭한 환경이라고 보기는 어렵지만, 이정도면 꽤 충분했다. Hue 버전마다 버튼 위치나 지원되는 기능이 좀 다른 것 같긴한데, 데모 버젼 기준으로는 위와..

앞으로 종종 SQL 관련 글을 써보고 싶은데, 쓸만한 샘플 데이터를 고심하다가 kaggle에서 하나 골라보았다. kaggle에는 공개된 데이터가 굉장히 많기 때문에 원하는 데이터를 검색해서 다운받아 연습해 볼 수 있다. kaggle > 메뉴 > data (or dataset) 원하는 주제를 검색하면 공개된 데이터를 다운받을 수 있다! 예를 들어 나는 APP LOG 관련 샘플 데이터를 쓰고 싶어서, APP LOG라고 검색해봤고, 다양한 샘플을 확인할 수 있었다! 원하는 데이터를 누르면, 데이터에 대한 간략한 설명과 컬럼 정보 등을 얻을 수 있고, 다운로드 할 수 있다 ! 내가 다운 받은 데이터는 이렇게 구성되어 있다! 파이프로 나눠져있고, 아래와 같은 컬럼이 존재한다 ! TIMESTAMP / USER_NA..

친구가 알려준 웹 크롤링을 연습해보려고가끔 들어가서 보던 영진위 통합전산망 사이트에서 정보를 긁어와봤다! 나도 구글링으로 도움을 많이 받았는데,누군가에게 도움이 되면 좋겠다 :D Google colab 이용 했다..고쳐야할 것도 좀 있긴한데, 주석은 나중에 시간 될 때 달아보려고 한다. 대상되는 사이트는 아래와 같이 생겼다.영화의 목록이 총 몇개인지는 알 수 없으나, 표 하나를 온전히 긁어내려면더보기를 계속 눌렀어야 했다. 추가로, 영화 코드 정보도 함께 얻고 싶었지만영화코드는 영화를 클릭해서 가져오거나, 또는 html 코드 안에 있는 것을 가져와야 했다.html 코드 안에 있는 것을 가져오는게 더 수월하다고 판단했다. html 코드를 보려면, 크롬 브라우저에서 html 확인을 원하는 부분에 마우스를 대..