python - selenium shadow dom 트러블슈팅

 

홈페이지의 구조가 바뀌어 크롤링이 막혔다.

이에 따른 해결 과정을 기록해 둔다.

 

문제 : HTML의 구조에 변경이 있음 일반적인 구조에서 shadow-root 이라는 dom이 생성되어져 있음.

dom은 일반적인 방법으로는 요소 파싱이나 값을 바꿀 수 없음.

 

해결 : selenium 라이브러리의 자바스크립트를 사용할 수 있게 해주는 메소드를 이용하여 해당 페이지에서의 HTML 태그 내부 value 값을 바꾸었음.

 

# shadow-root dom 회피

id = "'test'"
pwd = "'test'"

driver.execute_script("document.getElementsByName('name 태그')[0].value=" + id)
driver.execute_script("document.getElementsByName('name 태그')[0].value=" + pwd)
time.sleep(1)
driver.find_element('xpath', '버튼xpath').click() # 버튼 클릭
time.sleep(2)
print("1 - 메소드 성공")