검색엔진에서 삭제당하기
다른 분들은 어떤지 모르겠습니다만, refer를 보고있다가 이런 생각이 들었습니다. “링크를 타고 들어오시는 분은 좋다. 하지만 검색엔진으로 들어오시는 것은 왠지 꺼려지네..” 라는 생각입니다.
링크를 타고 오는 분은 마치 “아는 사람의 소개로 알게된 분” 같지만, 검색엔진을 타고오는 분한테는 마치 “길가에서 마주친 불특정인간“이 되어버리는 느낌입니다.
소개로 알게된 분한테야, 제 소개를 해도 괜찮고, 유치하더라도 속에 있는 이야기를 드러내볼 수 있겠지만, 길에서 마주치는 사람한테는 그럴 수도 없고, 그래봤자 남는 것도 별로 없는 듯합니다. (저한테는 별다른 사건사고는 없었지만.. 아시죠??)
처음에는 그런 것, 잘 모르고는 검색엔진에 노출되는 것이 더 좋겠구나, 했었는데, 결코 그렇지 않습니다. 뭐, 이런 것 가지고 법석이냐, 라고 하는 오래된 블로거분들의 칫. 하는 소리가 들리는 듯도 합니다… 만. 암튼.
다음은 지난달 말부터 시작된 검색엔진에서 삭제당하기 진행상황입니다.
(지난 달부터 그냥 생각나는 대로 메일을 보내거나, 하다보니까 별로 도움되는 자료가 되지는 못한 것같습니다. 그냥, 참고만 하세요.)
일단 검색엔진에게 “나를 빼주오”라고 이야기 해야하는데, 가장 간편한 것은 /robots.txt 를 만드는 것입니다. 구글의 해당항목참조 .. 다.. 아시죠? ^^
다음: 2003년 11월 26일
검색에 걸리지 않게 해달라고 했는데, “요청하신 사이트는 등록되지 않은 URL” 이라는 이상한 답이 왔습니다. 그래서,
“검색에 걸리지 않게 해달라는 뜻입니다”라고 다시 메일을 보냈습니다. 그 다음엔 지금까지 감감 무소식. 오늘 확인해보니 여전히 검색결과에 포함되어있군요. 방금 그쪽 고객센터에 들어가서 글을 올렸습니다. 답이 오기를 기다리는 중입니다.
다음에서 빠지는 방법은 아마도, http://search.daum.net/이곳에서 제일 아래쪽의 “의견 및 제안”을 클릭하고, “유형”을 적절한 것으로 (저는 검색결과장애라고..) 선택해서 글을 쓰는 것이 아닐까, 하고 추측됩니다.
구글: 2003년 12월 4일 목.
“저의 홈페이지가 구글에서 검색되고 있습니다. 검색되지 않도록 해주세요.”
라고 보냈습니다. 답장은 다음날인 12월5일에 바로 오더군요. 하지만, 뭔가 그럴싸한 답이라기 보다는..
안녕하세요, Google입니다. robots.txt를 추가하셨다면, 조금만 기다려주세요.. 처리하는데 시간이 걸리는 것 같습니다.
라고 왔습니다. 내부에서 로봇한테 “이봐, 쩌어기에 함가봐, robots.txt가 있는지 말야..” 라고하는 명령이 있을 법도한데, 이걸, 그냥 로봇이 언젠가 갈테니 기다려보라고 하는 건좀.. 이라고 투덜거렸습니다.
하지만, 12월9일현재 구글검색결과는 사방에서 저를 링크해주신 분들만 보일뿐 제 홈페이지는 보이지 않습니다.
구글은 korean@google.com 으로 메일을 보내면 자동처리 시스템이 담당자한테 내용을 할당하는 시스템인 것 같습니다.
네이버 : 2003.12.6
방금 요청메일을 보냈습니다.
네이버.. 잘 되겠죠?
메일로 하는 것은 아닌 것 같고, 요기에서 요청했습니다.
네이트 : 2003.12.5
여기도 고객센터 게시판을 통해서 올려야 답이 오는 구조더군요. 올리고 나서 하루정도 지나니까 답장이 왔습니다만, 검색서비스는 와이즈넛을 이용한다는군요.
와이즈넛: 2003.12.5
와이즈넛은 그냥 이메일을 노출시키고는 메일을 보내면 해결해주겠다.. 라고 되어있습니다. 이곳은 금방 답이 왔습니다. 12월8일 월요일. 그동안 받은 메일들 중에서 가장 친절하고, 상세한 것 같아서 전문을 옮깁니다.
안녕하십니까 코리아 와이즈넛입니다. 말씀하신 부분은 확인되었습니다. 저희 회사에서는 robots.txt 규정을 준수하고 있습니다. 혹시 robots.txt 설정을 최근에 하셨나요? 참고로 현재 보이는 검색결과는 11월 초에 수집된 데이터를 바탕으로 한 것입니다. 제가 보기에 귀하께서는 robots.txt 설정을 11월 초 이후에 하셔서 현재 검색결과로 보이게 된 것 같습니다. 저희 회사에서는 개인정보가 노출됐을경우만 삭제하고 있습니다만, 이번의 경우 robots.txt로 설정된 상태가 확실하기 때문에 삭제 하도록 하겠습니다. 내일이면 (12⁄9) 삭제 작업이 완료 된 것을 웹 에서 확인 하실 수 있습니다. 문제는 robots.txt가 루트 부터 설정된 경우 저희 회사에서는 해당 사이트의 top page는 크롤하도록 하고 있습니다. 만약 한 페이지도 크롤되는 것을 원하지 않으신다면 메일 보내주십시요. 그때 저희 쪽에서 한 페이지도 크롤되지 않도록 조치를 취하겠습니다. 혹시 또 연락을 주시지 않으신다면 top page를 크롤해도 좋다는 말씀으로 알도록 하겠습니다. 추운 겨울 감기 조심하시고 좋은 하루 되십시요.
와이즈넛은.. Webmaster@wisenut.co.kr 로 메일을 보내라고 되어있습니다. 이메일 주소를 보고는 별로 기대하지 않았지만, 답도 금방오고 좋습니다. 다만, 12월9일 현재 삭제되지 않았군요.
그리고,
오늘 부터는 joins에서도 들어오고 있지만 여기는 naver 쪽의 검색엔진을 쓰고있는 듯합니다. 네이버가 해결되면 이쪽도 해결되겠지요.. 지금 refer를 뒤져보면, naver가 거의 대부분입니다.
어쩐지, 정말 쓸데없는데 시간쏟고 있는 것 같네요.
댓글
nohmad : 만일 제가 검색싸이트 관리자라도 메일로 요청하는 것에 일일이 응답하기보다는 robots.txt를 이용하는 방법을 알려줄 것 같습니다. 메일 발신자와 웹싸이트 소유주(?)의 동일인 확인이 어렵고, 문제가 생길 소지가 항상 있으니까요. 물론 이것은 핑계고, 사실은 자신들이 보유한 레퍼런스를 쉽게 삭제하기 싫은 거겠죠. 대신 robots.txt를 생성한 날짜 이후에도 검색로봇이 싸이트 컨텐트를 긁어갔다는 것이 밝혀지면, 명백한 정책 위반이라고 경고할 수 있을 것 같습니다. :) (2003-12-09 06:07:40)
jinto : 맞습니다. 위의 과정은 모두 robots.txt를 만든 후에 검색엔진들에게 빨리 알려주고 싶어서 한 짓들인데.. 문제는 아무도 그런 것 하고 싶지 않아 한다는 거죠.. (2003-12-09 19:07:33)