부동산 통계 자료 내가 만들까? (개요)

어제 포스팅한 내용처럼, 부동산의 다양한 지표이 있지만 어떻게 자료를 취합하고 가공을 쉽게 할 수 있을지에 대한 고민을 많이 하게 됩니다. 실제로 부동산은 복잡한 변수가 많고 매수자 매도자의 심리에 의해 움직이는 재화이다보니 다양한 통계 자료를 적절하게 가공을 할 필요가 있습니다.

2023.06.29 - [부동산] - 부동산 상승과 하락 예상할 수 있을까?

부동산 상승과 하락 예상할 수 있을까?

부동산 시장은 항상 이슈가 되는 분야인 만큼, 많은 사람들이 부동산 정보를 검색하고 있습니다. 물론 현재는 다양한 정보 속에서 어떠한 유의미한 값을 도출하는냐는 계속 연구하고 다듬어 나갈 필요가 있지요.

그 중에서도 네이버 부동산은 매우 인기 있는 사이트 중 하나입니다. 아직까지 대중적인 포털 사이트이고 부동산에 대한 정보도 많이 있습니다. 이러한 네이버 웹사이트에서 필요한 정보를 적절하게 가공하는 것이 키포인트입니다.

물론, 사람이 하나하나 정보를 취합해서 분석하는 것도 가능하겠으나, 시간이 많이 소요되고 데이터 가공을 하면서 오류도 발생할 수 있습니다. 그래서 오늘부터 부동산 정보를 가공하고 유의미한 값을 찾아가는 내용에 대한 포스팅을 하려고 합니다.

어떠한 정보를 쉽게 수집하기 위해 오늘은 크롤링에 대해서 알아 보도록 하겠습니다.

1. 크롤링이라는 것은 무엇인가?

---

크롤링은 웹 사이트에서 데이터를 추출하는 프로세스입니다. 이를 통해 데이터를 수집하고 분석할 수 있습니다.

크롤링을 하는 방법은 여러 가지가 있지만, 이번에는 Python 언어를 사용하여 네이버 부동산을 크롤링하는 방법에 대해 알아보겠습니다.

네이버 사전에서 검색한 크롤링에 대한 설명

2. 크롤링 방법

---

(참고) 파이썬을 설치하고 설정하는 방법은 생략합니다. 파이썬에 대한 정보는 별도로 포스팅 하겠습니다.

크롤링을 하기 위해 파이썬을 먼저 설치합니다.

파이썬에 대한 포스팅을 기다리기전에 먼저 파이썬을 설치하시고 싶은 분들은 아래 공식 홈페이지에서 다운받으시기 바랍니다.

https://www.python.org

Welcome to Python.org

그 다음 크롤링을 위해 필수로 필요한 몇개의 라이브러리 설치 및 과정을 설명드리면,

• 라이브러리 설치: 크롤링을 위해 필요한 라이브러리인 BeautifulSoup와 requests를 설치합니다.
• URL 분석: 크롤링할 페이지의 URL을 분석합니다.
• HTML 파싱: requests를 사용하여 HTML을 가져온 후, BeautifulSoup을 사용하여 필요한 데이터를 추출합니다.
• 데이터 저장: 추출한 데이터를 CSV 파일로 저장합니다.

3. 라이브러리 설치

---

먼저, Python 언어를 사용하기 위해서는 필요한 라이브러리를 설치해야 합니다. 이번 예제에서는 크롤링에 많이 사용되는 BeautifulSoup와 requests 라이브러리를 사용합니다.

$ pip install beautifulsoup4

$ pip install requests

 

4. URL 분석

---

크롤링할 페이지의 URL을 분석해야 합니다. 이번 예제에서는 네이버 부동산에서 서울시 강남구 아파트 매물을 검색하는 페이지를 사용합니다. URL은 다음과 같습니다.

url = '<https://m.land.naver.com/search/result?query=강남구+아파트&isRecentDate=false&isPremium=false&btm=0&service=>'

네이버는 여타 사이트와 비슷하게 모바일 주소와 PC 접속 주소가 다릅니다. 모바일 주소를 사용하는 이유는 우리가 크롤링을 할때 PC보다 좀 더 직관적이고 URL분석을 쉽게하기 위함입니다.

5. HTML 파싱

---

requests를 사용하여 HTML을 가져온 후, BeautifulSoup을 사용하여 필요한 데이터를 추출합니다. 이번 예제에서는 강남구 아파트 매물의 이름, 가격, 면적, 매물 종류를 추출합니다.

import requests

from bs4 import BeautifulSoup



res = requests.get(url)

soup = BeautifulSoup(res.content, 'html.parser')



items = soup.select('.item_info_wrap')



for item in items:

    name = item.select_one('.item_title').text.strip()

    price = item.select_one('.price').text.strip()

    area = item.select_one('.area').text.strip()

    type = item.select_one('.type').text.strip()



    print(name, price, area, type)

 

6. 데이터 저장

---

추출한 데이터를 CSV 파일로 저장합니다.

import csv



with open('apartments.csv', 'w', encoding='utf-8', newline='') as file:

    writer = csv.writer(file)

    writer.writerow(['Name', 'Price', 'Area', 'Type'])



    for item in items:

        name = item.select_one('.item_title').text.strip()

        price = item.select_one('.price').text.strip()

        area = item.select_one('.area').text.strip()

        type = item.select_one('.type').text.strip()



        writer.writerow([name, price, area, type])

주의사항 : 크롤링은 웹 사이트의 서버 부하를 일으킬 수 있으므로, 네이버 부동산의 크롤링을 할 때는 서버에 부하를 주지 않도록 주의해야 합니다. 또한, 크롤링을 할 때는 반드시 웹 사이트의 이용 약관을 확인하고, 법적인 문제가 생기지 않도록 주의해야 합니다.

7. 활용

---

네이버 부동산 크롤링은 부동산 정보를 수집하고 분석하는데 매우 유용한 도구입니다. 다음과 같은 활용 방법이 있습니다.

부동산 시장 분석

네이버 부동산에서 매물 정보를 크롤링하여, 부동산 시장의 동향을 파악할 수 있습니다. 예를 들어, 특정 지역의 아파트 가격이 급등하고 있는지, 원룸의 인기가 상승하고 있는지 등을 분석할 수 있습니다.

투자 정보 수집

부동산 투자를 고려하는 경우, 네이버 부동산에서 매물 정보를 크롤링하여 투자 정보를 수집할 수 있습니다. 예를 들어, 투자 목적으로 아파트를 구매하려는 경우, 해당 지역의 아파트 가격과 수익률을 분석하여 최적의 투자 지역을 파악할 수 있습니다.

부동산 정보 서비스 개발

네이버 부동산 크롤링 데이터를 활용하여 부동산 정보 서비스를 개발할 수 있습니다. 예를 들어, 해당 지역의 아파트 평균 가격과 인근 지하철역 정보를 제공하는 서비스를 개발할 수 있습니다.

8. 결론

---

이상으로 네이버 부동산을 크롤링하는 방법과 활용 방법에 대해 알아보았습니다. 크롤링을 할 때는 항상 책임을 지고, 법적인 문제가 없도록 주의해야 합니다. 하지만, 적절하게 활용한다면 크롤링은 매우 유용한 도구가 될 수 있습니다.

부동산 통계자료를 직접 만들기 시작하다.

앞서 설명드린 부분은 대략적인 개괄을 설명드린 것입니다. 앞으로 살을 붙혀가며 설명드리도록 하겠습니다.

감사합니다.