[파이썬] 웹페이지에서 값 긁어오기 (크롤링)

1. 크롬, 엣지 에서 개발자도구로 소스를 파악할 수 있다
[F12] or
[ctrl] + [shift] + [i]

2. 오른쪽에 소스창이 나타남
'요소' 탭에서 각 태그들에 마우스를 갖다 대면 왼편 페이지에 영역표시가 된다
해당요소 찾으면 우클릭 - Copy - Copy XPath

3. 붙여넣기 하면 아래의 형식임
//*[@id="listForm"]/div[3]/table/tbody/tr[1]

4. 웹드라이버를 최신으로 유지해야 하는 번거로움..

[예제]

url = '웹페이지 주소'
driver.get(url)
print(url)
sleep(10)

for i in range(1,6) : #1~5
    ElementString = '//*[@id="listForm"]/div[3]/table/tbody/tr[' + str(i) + ']'
    try:
        element = driver.find_element(By.XPATH, ElementString)    #https://dejavuqa.tistory.com/109
        notice = element.text
        print(notice)
    except Exception as e:
        temperature = "except : " + e
        print(temperature)
        continue