프로젝트 형식으로 공부하면서 정리 하기
목표
1. 크롤링을 통해 네이버 금융주가 주가 가져오기
2. 머신러닝알고리즘을 적용해 주가 예측 모델 만들기
3. 성능 좋은 모델을 만들기
1-4. 크롤링 방지 우회하기
Http 요청시 헤더 정보의 User-Agent 가 프로그래밍 방식으로 되어 있는 경우 포털 홈페이지에서 이를 필터하므로, 요청시 헤더 정보를 아이폰의 User-Agent로 변경하여 우회하여 가져와 보자
import requests # HTTP 요청 라이브러리
from bs4 import BeautifulSoup # python으로 HTML을 다루는 기능
import time #시간
import pandas as pd # 엑셀화
headers = {'User-Agent' : 'Mozilla/5.0 (Macintosh: Intel OS X 10_13_6}'}
url = "https://finance.naver.com/item/sise_day.naver?code=005930&page=1"
url = requests.get(url, headers = headers)
print(url.text)
처음과 달리 정상적으로 페이지를 가져오는 것이 확인된다!
반응형
'백엔드 프레임워크 & 언어 > Python' 카테고리의 다른 글
[프로젝트]데이터수집-머신러닝을 통한 삼성전자 주가 예측(6) (0) | 2023.07.09 |
---|---|
[프로젝트]데이터수집-머신러닝을 통한 삼성전자 주가 예측(5) (0) | 2023.07.09 |
[프로젝트]데이터수집-머신러닝을 통한 삼성전자 주가 예측(4) (0) | 2023.07.09 |
[프로젝트]데이터수집-머신러닝을 통한 삼성전자 주가 예측(2) (0) | 2023.07.09 |
[프로젝트]데이터수집-머신러닝을 통한 삼성전자 주가 예측(1) (0) | 2023.07.09 |