Apache error.log が煩(わずら)わしい

1. 現象


Apache の error.log に不要なエラーが多く記録されている
実害は無いが、鬱陶(うっとう)しい

ディストリビューション(distribution) : Debian 7 (wheezy)
Apache version : 2.2.22
ログファイル : /var/log/apachw2/error.log

他のディストリビューションでは、ログのディレクトリが異なるかも知れない

error level : error
error 内容 :

[Sun Jun 01 22:51:09 2014] [error] [client 157.55.39.132] File does not exist: /var/www/robots.txt
[Sun Jun 01 23:51:38 2014] [error] [client 66.249.70.70] File does not exist: /var/www/robots.txt
[Mon Jun 02 01:08:35 2014] [error] [client 219.110.180.20] File does not exist: /var/www/favicon.ico
[Mon Jun 02 08:03:10 2014] [error] [client 182.18.23.26] File does not exist: /var/www/manager
[Mon Jun 02 13:40:08 2014] [error] [client 66.249.70.70] File does not exist: /var/www/robots.txt
[Mon Jun 02 14:57:23 2014] [error] [client 101.102.137.225] File does not exist: /var/www/favicon.ico
[Mon Jun 02 17:17:00 2014] [error] [client 101.102.137.225] File does not exist: /var/www/favicon.ico
[Mon Jun 02 18:07:53 2014] [error] [client 210.169.150.239] File does not exist: /var/www/favicon.ico
[Mon Jun 02 18:15:48 2014] [error] [client 140.127.219.96] File does not exist: /var/www/phpTest
[Mon Jun 02 21:41:56 2014] [error] [client 66.249.64.126] File does not exist: /var/www/robots.txt
と記録されている



2. 原因


想定しているファイルが存在しない、と言うだけの事で あるが、実害は無く、エラーと言うべき事態では ない
特に対応が必要な状況では ないと思われる

各ファイルが読み込もうとする要因は、以下の通り

.1 robots.txt


検索エンジンが想定しているファイル

検索エンジンが公開サーバに対して どの様な対応を すべきかを指定しているファイルなので、まずは このファイルを読み取ろうとする
ファイルが存在していなければ読み込みが失敗するので、その際にエラーとして返して来ている事が原因
root:/etc# dig -x 157.55.39.132

; <<>> DiG 9.8.4-rpz2+rl005.12-P1 <<>> -x 157.55.39.132
;; global options: +cmd
;; Got answer:
;; ->>HEADER<<- opcode: QUERY, status: NOERROR, id: 54175
;; flags: qr rd ra; QUERY: 1, ANSWER: 2, AUTHORITY: 5, ADDITIONAL: 10

;; QUESTION SECTION:
;132.39.55.157.in-addr.arpa.    IN      PTR

;; ANSWER SECTION:
132.39.55.157.in-addr.arpa. 3600 IN     PTR     po18-218.co2-6nf-srch-2b.ntwk.msn.net.
132.39.55.157.in-addr.arpa. 3600 IN     PTR     msnbot-157-55-39-132.search.msn.com.

;; AUTHORITY SECTION:
55.157.in-addr.arpa.    14377   IN      NS      ns5.msft.net.
55.157.in-addr.arpa.    14377   IN      NS      ns1.msft.net.
55.157.in-addr.arpa.    14377   IN      NS      ns4.msft.net.
55.157.in-addr.arpa.    14377   IN      NS      ns2.msft.net.
55.157.in-addr.arpa.    14377   IN      NS      ns3.msft.net.

;; ADDITIONAL SECTION:
ns1.msft.net.           39576   IN      A       65.55.37.62
ns1.msft.net.           39576   IN      AAAA    2a01:111:2005::1:1
ns2.msft.net.           39576   IN      A       208.84.2.53
ns2.msft.net.           39576   IN      AAAA    2620:0:32::53
ns3.msft.net.           39576   IN      A       213.199.180.53
ns3.msft.net.           39576   IN      AAAA    2a01:111:2020::1:1
ns4.msft.net.           39576   IN      A       208.76.45.53
ns4.msft.net.           39576   IN      AAAA    2620:0:37::53
ns5.msft.net.           39576   IN      A       65.55.226.140
ns5.msft.net.           39576   IN      AAAA    2a01:111:200f:1::1:1

;; Query time: 694 msec
;; WHEN: Tue Jun  3 11:17:25 2014
;; MSG SIZE  rcvd: 459

root:/etc#
なるほど、msn.net の bingbot (Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)) である と言う事か
しかし、bing の robot は何故に MSIE を名乗らずに Mozilla に見えてしまうのか、良く分からない


.2 favicon.ico


IE(Internet Explorer) および Opera が想定しているファイル

IE でお気に入り(Favorites) 登録する際に、公開サーバ側で登録アイコンを提供していれば それを読み込もうと言う動作を している、らしい
アイコンファイルが存在していなければ IE が勝手にアイコンファイルを割り当てて登録するが、その際にエラーとして返して来ている事が原因
私は普段 IE を使用していないので、この機能に ついては良く分からない

Opera はタブページの左端に公開サーバで提供しているアイコン画像を表示するので、そのアイコンファイルを読み取ろうとしている動作を確認した
なるほど、この機能と動作は道理に適(かな)っていると思う


.3 manager, phpTest


何故これ等のファイルを読み込もうと するのか、良く分からない
root:/etc# dig -x 140.127.219.96

; <<>> DiG 9.8.4-rpz2+rl005.12-P1 <<>> -x 140.127.219.96
;; global options: +cmd
;; Got answer:
;; ->>HEADER<<- opcode: QUERY, status: NXDOMAIN, id: 50789
;; flags: qr rd ra; QUERY: 1, ANSWER: 0, AUTHORITY: 1, ADDITIONAL: 0

;; QUESTION SECTION:
;96.219.127.140.in-addr.arpa.   IN      PTR

;; AUTHORITY SECTION:
219.127.140.in-addr.arpa. 6742  IN      SOA     ccdns.nuk.edu.tw. root.ccdns.nuk.edu.tw. 2010050402 10800 900 604800 86400

;; Query time: 0 msec
;; WHEN: Tue Jun  3 11:24:41 2014
;; MSG SIZE  rcvd: 102
台湾？ なにゆえ？



3. 対処


特に対処は不要と思われる

ただ、無意味エラーが延々記録され続けると言うのは、少々煩わしくも鬱陶しい

エラーを記録させない様に対処すると言う事で あれば、単に検索エンジン等が想定するファイルを配置して おけば良い

Aoache の DocumentRoot に robots.txt ファイルを作成する

cd /var/www/
touch robots.txt

robots.txt は内容が空虚な空ファイルでも良いが、適当に以下の内容を記述して おく

vi robots.txt

User-Agent: *
Disallow: /webalizer
Disallow: /css
Disallow: /js

最終行は空行で なければ ならない らしい

アイコンファイルも空ファイルで良いので あろうか？

touch favicon.ico

或(ある)いは、面倒がらずに何かしら適当に画像ファイルを用意しても良いか

拡張子 .ico ファイルを作成するアプリケーションも ある様で あるが、そこまで凝る気が無ければ、.bmp 型式の BMPファイル(favicon.bmp) を用意し、拡張子を .ico に変更して ごまかして しまっても良い
用意したら Apache の DocumentRoot に置けば対処完了



4. 関連 URI


参考と なる URI は以下の通り

ロボット対策

公開 : 2014年6月3日
戻る
pagetop