웹 크롤링 2

파이썬 초보 프로젝트 크롤링 2편 - 웹 크롤링 심화 selenium 사용하기.

크롬드라이버 설치가 필요함. from selenium import webdriver import time #크롤링에 주의가 필요함. #네이버 정책상 자사의 데이터를, 다른 개인이나 업체가 디비화하는 것을 금지하고 있습니다. #실습시 너무 빠르게 요소를 클릭하거나 이상할정도의 빈번한 접근은 네이버에 의해 차단이 걸림 딜레이를 5초~ 이상 주면서 주의합니다... #크롬 개발자 모드에 대한 설명이 필요하다. ctrl+ f로 필요한 태그 찾는 방법도 알아야됨. def macroRun(): #chromedriver를 다운받는다. driver = webdriver.Chrome('/Users/gimdonghwan/파이썬강의준비/chromedriver') url = "https://finance.na..

파이썬 python 2021.08.20

인터넷 프로그래밍 크롤링 과제1 (php로 인해 헤매는 내용;;)

음 자유 주제로 서버 클라이언트 구조로 크롤링해서 프로젝트를 진행하라 하셨다... 몇일동안 고민해본 결과 평소에 생각하던 아이디어까지 일단 적어보면 1. 중간, 기말 고사 문제 구글에서 찾아서 보여주기 - 단원,키워드 검색시 문제들을 보여주는 것이다. 2. 넷플릭스 볼만한것 블로그들 추천 종합해서 추천 해주기 - 구글에 넷플릭스 추천 목록 찾아서 꽤나 추천율이 높은 것을 리스트로 추천해주는 것이다. 아니면 제목 입력하면 구글 블로그들 내가 종합해서 추천 점수 매겨주는거임. 후자로 할듯 일단은 전자는 내가 넷플릭스 영화 목록을 못찾았다. 그래서 영화나 드라마 제목 입력하면 구글에 내가 대신 검색해서 블로그들이 얼마나 추천해주는지 나만의 방식으로 평가해주는것임 !ㅎㅎ. 3. 아마존 블랙 프라이 데이 할인 적..