특정 시간동안 계속해서 scroll down 하기

특정 시간동안 계속해서 scroll down 하기

아래와 같이 datetime 을 이용해서 정해진 초 동안 1초에 한번씩 스크롤 다운합니다.
동적 웹페이지의 데이터를 다 가져올 수 없을 때 시간을 정하고 그 시간동안 크롤링을 실행합니다.

import datetime

 

def doScrollDown(whileSeconds):

      start = datetime.datetime.now()

      end = start + datetime.timedelta(seconds=whileSeconds)

while True:

       driver.execute_script('window.scrollTo(0, document.body.scrollHeight);')

       time.sleep(1)

      if datetime.datetime.now() > end:

         break