내마음대로만들어보자/크롤링5 특정 시간동안 계속해서 scroll down 하기 특정 시간동안 계속해서 scroll down 하기 아래와 같이 datetime 을 이용해서 정해진 초 동안 1초에 한번씩 스크롤 다운합니다. 동적 웹페이지의 데이터를 다 가져올 수 없을 때 시간을 정하고 그 시간동안 크롤링을 실행합니다. import datetime def doScrollDown(whileSeconds): start = datetime.datetime.now() end = start + datetime.timedelta(seconds=whileSeconds) while True: driver.execute_script('window.scrollTo(0, document.body.scrollHeight);') time.sleep(1) if datetime.datetime.now() > en.. 2021. 6. 11. Selenium / BeautifulSoup- 만개의레시피 (무한스크롤, 특정값 가져오기) from selenium import webdriver broswer = webdriver.Chrome("./chromedriver 2") broswer.maximize_window() # 페이지 이동 url = "https://m.post.naver.com/my.nhn?memberNo=11566067" broswer.get(url) # 지정한 위치로 스크롤 내리기 # 해상도의 높이인 900으로 스크롤 내리기 # broswer.execute_script("window.scrollTo(0, 900)") # 해상도의 높이인 1900으로 스크롤 내리기 # broswer.execute_script("window.scrollTo(0, 1900)") # 화면 가장 아래로 스크롤 내리기 # broswer.execut.. 2021. 6. 11. Selenium / BeautifulSoup- 구글무비 (무한스크롤, 특정값 가져오기) from selenium import webdriver broswer = webdriver.Chrome("./chromedriver 2") broswer.maximize_window() # 페이지 이동 url = "https://play.google.com/store/movies/top" broswer.get(url) # 지정한 위치로 스크롤 내리기 # 해상도의 높이인 900으로 스크롤 내리기 # broswer.execute_script("window.scrollTo(0, 900)") # 해상도의 높이인 1900으로 스크롤 내리기 # broswer.execute_script("window.scrollTo(0, 1900)") # 화면 가장 아래로 스크롤 내리기 # broswer.execute_script(.. 2021. 6. 9. Selenium 무한 스크롤 from selenium import webdriver broswer = webdriver.Chrome("./chromedriver 2") broswer.maximize_window() #페이지 이동 url = "https://play.google.com/store/movies/top" broswer.get(url) # 지정한 위치로 스크롤 내리기 # 해상도의 높이인 900으로 스크롤 내리기 # broswer.execute_script("window.scrollTo(0, 900)") # 해상도의 높이인 1900으로 스크롤 내리기 # broswer.execute_script("window.scrollTo(0, 1900)") # 화면 가장 아래로 스크롤 내리기 # broswer.execute_script(".. 2021. 6. 8. 이전 1 2 다음