-
파이썬 requests 크롤링프로젝트/개인 프로젝트 2022. 5. 26.반응형
* 프로젝트 개요
리퀘스트 크롤링 언어 Python 3.8.5 개발 툴 VSCode 프레임워크, 라이브러리 Python 3.8.5, Requests, BeautifulSoup, xlwings, pandas DB 개발 기간 2022.01.26 ~ 2022.01.31 개발 인원 1명 특이점 url 하나에 한페이지 + Ajax 탭 2개 크롤링
고객의 요청으로 셀레니움 방식 금지
Ajax로 인한 동적 데이터 존재 -> 리퀘스트 방식으로 크롤링 불가능
-> XMLHttpRequest / Fetch API으로 받는 JSON 데이터 파싱
일부 값이 없는 데이터는 엑셀에 따로 표시 요청앞으로 추가되는 페이지고려 총 3000개 url 크롤링 - 약 7분
반응형'프로젝트 > 개인 프로젝트' 카테고리의 다른 글
크몽 자동 응답 프로그램 개발 (6) 2023.10.28 자동 출석체크 프로젝트(2) (2) 2023.02.03 [웹] 서프라이즈 프로젝트 (0) 2022.05.30 자동 출석체크 프로젝트 (0) 2022.05.24 [팀] 당근마켓 카피 (0) 2022.01.15