1. 문제 상황

웹사이트의 /public/assets 폴더 내의 모든 이미지가 검색 엔진에 의해 크롤링되고 있습니다.

 

색인화가 불필요한 이미지까지 크롤링하기 때문에 경고로 표시

 

2. 목표

• 불필요한 이미지 크롤링 방지

• 중요한 이미지의 SEO 가치 유지

• 웹사이트 성능 최적화

 

3. 해결 방안

3.1 robots.txt 설정

가장 간단하고 효과적인 방법은 robots.txt 파일을 사용하여 /assets/ 디렉토리의 크롤링을 차단하는 것입니다.

User-agent: *
Disallow: /assets/

 

3.2 중요 이미지 관리 (선택사항)

SEO에 중요한 이미지가 있다면, 다음과 같이 관리할 수 있습니다:

1. /public/important-images/ 디렉토리 생성

2. 중요 이미지를 이 디렉토리로 이동

3. robots.txt 파일 수정

User-agent: *
Allow: /important-images/
Disallow: /assets/

 

중요 이미지의 정의:

• SEO에 직접적인 영향을 미치는 이미지 (예: 대표 이미지, 제품 이미지)

• 브랜딩 관련 이미지 (로고 등)

• 사용자 경험에 중요한 이미지 (튜토리얼, 스크린샷 등)

• 고유한 가치를 지닌 이미지 (독점 콘텐츠)

• 소셜 미디어 공유용 이미지

 

4. 구현 단계

1. 프로젝트 루트에 robots.txt 파일 생성 또는 수정

2. 필요시 /public/important-images/ 디렉토리 생성

3. 중요 이미지 식별 및 이동 (선택사항)

4. 웹서버 설정에서 robots.txt 파일이 올바르게 제공되는지 확인

 

5. 모니터링 및 최적화

• 주기적으로 Google Search Console을 확인하여 크롤링 상태 모니터링

• 웹사이트 트래픽 및 이미지 검색 유입 분석

• 필요시 robots.txt 설정 및 이미지 관리 전략 조정

 

6. 결론

이미지 크롤링 자체가 문제 될 이유는 없지만, 이미지 자체를 크롤링해서, 사용자가 이미지를 보고 클릭한 경우, 이미지만 보여지는 문제가 있기 때문에 사용자 경험을 떨어트리게 된다. 따라서 불필요한 이미지의 경우에는 크롤링을 `robots.txt` 를 통해 제한하고, 중요 이미지에 대한 `alt` 텍스트와 파일명 최적화가 필요하다.