障害報告 10/4-10/6 8:14までのaccess_log生成失敗+対応状況進捗報告

[ガラケー版(QRコード)] 総閲覧回数:3,925,327回 / ブログ拍手:2,554
作品DB等各サービスの機能追加情報や、技術系・面白系記事を中心に提供。
記事の投稿は基本Twitterでも告知させて頂いています。
連絡は作品DBの論客の方なら私書、DB外ユーザの方ならメールTwitterで可能です。
アクセス記録[推移 / PV内訳(過去1日 / 過去1週間) / 外部アクセス元 (昨日 / 過去1週間) / ログイン論客足跡]
プロフィール私書(メール)
   /   /送済
評価(一覧   /)
投票   /共:   /
ファン登録
作品/情報/
DB構築()
ブログ
[書く]
攻略記事リンク集
My Play List
<=次の記事 1.携帯版削除改善提案 2.携帯版共感コメント機能復旧 3.開発予定管理再開
=>前の記事 mod_evasive::IPだけでなく指定UserAgentとURLも例外(whitelist)に入れる

1.
2011/10/06 作品DB開発/運用 > 障害報告 10/4-10/6 8:14までのaccess_log生成失敗+対応状況進捗報告」
[この書込みのみ表示(記事URL紹介用) / 編集 / 削除 / トラバ送信 / 共有分類に追加(タグ付け)]

1. 障害報告
2. 原因調査結果
3. 対応進捗報告

1. 障害報告

主に日記を使われている方に関係する障害報告です。

10/4 2:30 - 10/6 8:14までのaccess_logの生成に失敗しており、結果アクセス数の更新が
昨日 = 4日
今日 = 5日
の回について起きていない状態です。
また、明日(10/6のアクセスログ分)の更新については、00:00-08:14までのアクセスログが欠けている状態での数字になります。

誠に申し訳ないのですが、この障害はデータソースとなるaccess_logが書き込まれていない為、回復不可能な障害になります。

影響としては、
・作品ページ
・個人ページ
のアクセス解析系情報がその期間分抜けてしまうことになります。

この障害が起きた原因としては、10/2にWebサーバーのソフトの更新をした事が考えられます。
Webサーバーの更新作業をした時点ではログに書き込まれていましたが、access_logが切り替わる2:30からのファイルがサイズがゼロのままでした。
原因については調査中ですが、logrotateとの相性の問題がありそうです。
とりあえず本日のaccess_logの更新については目視で監視しようと思います。
また、負荷を考えて、そのログ切りの時間が深夜だったことも、一つ確認漏れの原因とも考えられるので、まだ起きている事が可能な24:00にログを切り替えをするようにしておこうと思います。

気付くのに遅れた原因は、自分の日々のチェックの習慣が甘かったのもありますが、
他の方からもアクセスログ解析が更新されていないというご連絡が今日になったというのは、
一つにはデータ更新を気にされている方もいらっしゃると思いますが、その更新時間が深夜と決まっているとはいえ、この時間を過ぎても更新されていないのはおかしい、というデッドラインが不明確なのもあるかなと思っています。

これを期に、少なくとも個人ページについては、データ更新の間隔を調整しようかなと思います。
今迄1日経ってからの解析だけでしたが、当日のログ解析も何回か利用可能にする事で、作動の確認をもうちょっと出来るようにしようと思います。

この度は大変ご迷惑をおかけする事をお詫びさせて頂きます。
2. 原因調査結果

今迄もapacheは/usr/localの使っていましたがServerRootはシステムデフォルトのまま使っていました。
それを今回httpd.confのServerRootを/usr/local/apache2に変更したが、システムのlogrotateはその処理に/etc/init.d/httpdを使用するようになっていたので、logrotateの処理の為には/etc/init.d/httpdを自分で書き換えないといけなかった。
しかし、それをしていなかった為、2:30にcronにより自動的にlogrotateが実行された時に問題が発生した。

のが原因だと思われます。
本日深夜の作動で再度確認予定です。
3. 対応進捗報告

今迄のaccess_logは2:30-翌2:29までの1日分データでしたが、logのlotate処理は0:00に動くようにしたので、前日0:00-23:59きっちりのログになります。
また、深夜の定期処理は今迄3:05から走り始めていたのを、0:40から動くようにしました。
今回の深夜更新のジョブ実行状況

http://www.accessup.org/anime/logs/update_daily/today.html

↑については更に調整しますが、結果的に今の状態だと深夜の1:30位には、アクセスログ解析と論客ポイントの更新は終わっている状態になる予定です。

当日分のアクセスログの中間報告機能については、12:00, 18:00に動かすといった事を、週末に機能として追加しておこうと思います。

コメントする


[他の記事も読む]
<=次の記事 1.携帯版削除改善提案 2.携帯版共感コメント機能復旧 3.開発予定管理再開
=>前の記事 mod_evasive::IPだけでなく指定UserAgentとURLも例外(whitelist)に入れる


大分類が「作品DB開発/運用」の記事
この論客の記事全て
↑上へ