作品追加と同時に検索可能に & 作品追加の時の検索高速化 + α

総閲覧回数:4,015,276回 / ブログ拍手:2,618
作品DB等各サービスの機能追加情報や、技術系・面白系記事を中心に提供。
記事の投稿は基本Twitterでも告知させて頂いています。
連絡は作品DBの論客の方なら私書、DB外ユーザの方ならメールTwitterで可能です。
アクセス記録[推移 / PV内訳(過去1日 / 過去1週間) / 外部アクセス元 (昨日 / 過去1週間) / ログイン論客足跡]
プロフィール私書(メール)
   /   /送済
評価(一覧   /)
投票   /共:   /
ファン登録
作品/情報/
DB構築()
ブログ
[書く]
攻略記事リンク集
My Play List
<=次の記事 変動::ランキング更新停止の後ランキング激変@日本
=>前の記事 kernel(カーネル)::バージョンを調べるには

1.
2008/06/02 作品DB開発/運用 > 作品追加と同時に検索可能に & 作品追加の時の検索高速化 + α」
[この書込みのみ表示(記事URL紹介用) / 編集 / 削除 / トラバ送信 / 共有分類に追加(タグ付け)]

1. 作品追加と同時に検索可能に
2. 作品追加の時の検索高速化
3. 検索時間
4. 検索システムの構造の変更

1. 作品追加と同時に検索可能に

今まで作品の検索対象への追加は1日1回の定期更新時だったので、作品の追加があってもすぐには検索が可能にはなりませんでしたが、作品の追加と同時に検索が可能になるようにしました。
2. 作品追加の時の検索高速化

作品追加画面の検索機能は、作品DB内の作品検索とは仕組みが異なり、かなり時間のかかるものだったのですが、今回作品の追加と同時に検索が可能になったので、作品DB内の高速な検索の仕組みと同一のプログラムを使えるようになりました。
作品数の増加に伴って自分でもイライラする位そこの処理が遅くなっていましたが、これによってかなりスムーズに追加作業ができるようになるかと思われます。
3. 検索時間

些細なことですが検索処理にかかった秒数を表示するようにしました。
検索結果例
インデックス型検索なので、大概0秒か1秒になると思われます。
4. 検索システムの構造の変更

外からは見えないことですが、今まで検索の処理をwww.accessup.orgのサーバー1台で処理していたのが
役割
サーバー
メモリー
HDD
CPU
OS
検索受け/表示サーバーwww.accessup.org2GB240GB(7200rpm/RAID1)Intel(R) Core(TM)2 CPU T7200 2.00GHz(デュアルコア)RHE4
検索処理サーバー1search1.minakoe.jp8GB600GB(15000rpm/RAID0)Intel(R) Xeon(R) CPU X3220 2.40GHz(クアッドコア)CentOS5
検索処理サーバー2search2.minakoe.jp8GB600GB(15000rpm/RAID0)Intel(R) Xeon(R) CPU X3220 2.40GHz(クアッドコア)CentOS5
クローラー&インデックサーbackup.minakoe.jp8GB292GB(15000rpm/RAID1)Intel(R) Xeon(R) CPU X3220 2.40GHz(クアッドコア)CentOS5
と4台使って検索する仕組みになりました。
また、検索のインデックスもHDD(ハードディスク)ではなくRAM(メモリー)の方に載せる仕組みにしました。
HDDだとどうしても回転して読むという物理的な制限が大きいですが、メモリーに載せるとそういう回転数制限が無くなるので、書き込み・読み込み共に処理が高速になります。
ということで、ユーザー側には見えないことですが、運用側にとっては大きな作業になるサーバーの追加作業が行われました。
追加サーバーは元々作品DB用ではない用途がメインのかなり高スペックなサーバーですが、検索サービスを提供する予定なので、機能的に利用できるということで拝借しました。

コメントする


[他の記事も読む]
<=次の記事 変動::ランキング更新停止の後ランキング激変@日本
=>前の記事 kernel(カーネル)::バージョンを調べるには


大分類が「作品DB開発/運用」の記事
この論客の記事全て
↑上へ