작업로그

구글 검색엔진에 등록하기 위해서는 URL을 입력하고 소유자 확인 절차를 거치게 됩니다.

소유권 확인 방법으로는 웹사이트에 HTML 파일을 업로드 하는 방법과 홈페이지 소스의 메타 태그에 소유자 확인 코드를 등록하는 방법 입니다.

네이버는 정상적으로 소유자 확인이 완료되었습니다.

그러나 구글의 경우 아래와 같이 소유자 파일을 업로드 해도 안됩니다.

메타 태그를 업로드 해도 소유권 확인이 불가능 합니다.

이러한 문제의 요인은 해외 유입되는 해킹 공격이나 과도한 트래픽을 발생하는 검색엔진을 방화벽에서 차단하는 경우가 많습니다.

해당 문제는 호스팅 업체에서 구글 검색 엔진만 허용 해 주면 해결되는 부분으로 협조가 필요합니다.

아래 구글 검색 센터에서 Googlebot과 Google 클로러 허용이 필요 하며 해당 IP 허용을 해야 합니다.

임시로 허용하는 경우 구글에 등록되더라도 다시 삭제되는 문제가 발생 할 수 있습니다.

https://developers.google.com/search/docs/crawling-indexing/verifying-googlebot?hl=ko

Googlebot이란?

Google이 웹사이트 정보를 수집하기 위해 사용하는 웹 크롤러(봇)입니다. 내 사이트에 접속하는 트래픽이 진짜 Googlebot인지 확인하는 것은 보안과 검색엔진 최적화(SEO)에 매우 중요합니다.

Googlebot 확인, 왜 필요할까요?

• 가짜 봇 차단: 악의적인 봇이 내 사이트 리소스를 낭비하거나 정보를 훔쳐 가는 것을 막을 수 있습니다.
• 서버 리소스 보호: 불필요한 트래픽을 줄여 서버 부하를 낮추고 사이트 속도를 개선할 수 있습니다.
• 정확한 SEO 데이터 확보: 실제 Googlebot의 활동만 분석하여 더 정확한 SEO 전략을 세울 수 있습니다.

Googlebot 확인 방법

Googlebot을 확인하는 방법은 크게 두 가지가 있습니다.

1. IP 주소 확인 (수동)

• 1단계: 역방향 DNS 조회: 접속 로그에 기록된 IP 주소로 host 명령어를 실행하여 도메인 이름을 확인합니다. googlebot.com 또는 google.com으로 끝나야 합니다.
• 2단계: 정방향 DNS 조회: 1단계에서 얻은 도메인 이름으로 다시 host 명령어를 실행하여 IP 주소를 확인합니다. 이 IP 주소가 원래 접속 로그의 IP 주소와 일치해야 합니다.

2. Google IP 주소 목록과 대조 (자동)

Google은 공식적으로 Googlebot 및 기타 크롤러의 IP 주소 범위를 JSON 파일로 제공합니다.

Googlebot IP 주소: https://developers.google.com/search/apis/ipranges/googlebot.json 

기타 Google 크롤러 IP 주소: https://www.gstatic.com/ipranges/goog.json 

웹사이트에 접속하는 IP가 이 목록에 있는지 확인하여 Googlebot 여부를 판단할 수 있습니다.

핵심 정리

가장 확실한 방법: 역방향 DNS 조회와 정방향 DNS 조회를 모두 사용하여 확인하는 것이 가장 정확합니다.

대규모 확인: 많은 IP를 한 번에 확인해야 할 경우, Google에서 제공하는 IP 주소 목록을 활용하는 것이 효율적입니다.

방화벽 및 해외 접속 차단 해제가 불가능한 경우에는?

서버나 호스팅 회사를 이전 하는 방법만 가능합니다.