作品追加と同時に検索可能に & 作品追加の時の検索高速化 + α

[ガラケー版(QRコード)] 総閲覧回数:3,615,506回 / ブログ拍手:2,143
作品DB等各サービスの機能追加情報や、技術系・面白系記事を中心に提供。
記事の投稿は基本Twitterでも告知させて頂いています。
連絡は作品DBの論客の方なら私書、DB外ユーザの方ならメールTwitterで可能です。
アクセス記録[推移 / PV内訳(過去1日 / 過去1週間) / 外部アクセス元 (昨日 / 過去1週間) / ログイン論客足跡]
プロフィール私書(メール)
   /   /送済
評価(一覧   /)
投票   /共:   /
ファン登録
作品/情報/
DB構築()
ブログ
[書く]
攻略記事リンク集
My Play List
<=新記事2008/06/03 変動::ランキング更新停止の後ランキング激変@日本
=>古記事2008/05/31 kernel(カーネル)::バージョンを調べるには

1.
2008/06/02 作品DB開発/運用 > 作品追加と同時に検索可能に & 作品追加の時の検索高速化 + α」
[この書込みのみ表示(記事URL紹介用) / 編集 / 削除 / トラバ送信 / 共有分類に追加(タグ付け)]

1. 作品追加と同時に検索可能に
2. 作品追加の時の検索高速化
3. 検索時間
4. 検索システムの構造の変更

    1. 作品追加と同時に検索可能に

今まで作品の検索対象への追加は1日1回の定期更新時だったので、作品の追加があってもすぐには検索が可能にはなりませんでしたが、作品の追加と同時に検索が可能になるようにしました。
    2. 作品追加の時の検索高速化

作品追加画面の検索機能は、作品DB内の作品検索とは仕組みが異なり、かなり時間のかかるものだったのですが、今回作品の追加と同時に検索が可能になったので、作品DB内の高速な検索の仕組みと同一のプログラムを使えるようになりました。
作品数の増加に伴って自分でもイライラする位そこの処理が遅くなっていましたが、これによってかなりスムーズに追加作業ができるようになるかと思われます。
    3. 検索時間

些細なことですが検索処理にかかった秒数を表示するようにしました。
検索結果例
インデックス型検索なので、大概0秒か1秒になると思われます。
    4. 検索システムの構造の変更

外からは見えないことですが、今まで検索の処理をwww.accessup.orgのサーバー1台で処理していたのが
役割
サーバー
メモリー
HDD
CPU
OS
検索受け/表示サーバーwww.accessup.org2GB240GB(7200rpm/RAID1)Intel(R) Core(TM)2 CPU T7200 2.00GHz(デュアルコア)RHE4
検索処理サーバー1search1.minakoe.jp8GB600GB(15000rpm/RAID0)Intel(R) Xeon(R) CPU X3220 2.40GHz(クアッドコア)CentOS5
検索処理サーバー2search2.minakoe.jp8GB600GB(15000rpm/RAID0)Intel(R) Xeon(R) CPU X3220 2.40GHz(クアッドコア)CentOS5
クローラー&インデックサーbackup.minakoe.jp8GB292GB(15000rpm/RAID1)Intel(R) Xeon(R) CPU X3220 2.40GHz(クアッドコア)CentOS5
と4台使って検索する仕組みになりました。
また、検索のインデックスもHDD(ハードディスク)ではなくRAM(メモリー)の方に載せる仕組みにしました。
HDDだとどうしても回転して読むという物理的な制限が大きいですが、メモリーに載せるとそういう回転数制限が無くなるので、書き込み・読み込み共に処理が高速になります。
ということで、ユーザー側には見えないことですが、運用側にとっては大きな作業になるサーバーの追加作業が行われました。
追加サーバーは元々作品DB用ではない用途がメインのかなり高スペックなサーバーですが、検索サービスを提供する予定なので、機能的に利用できるということで拝借しました。

コメントする


[他の記事も読む]
<=新記事2008/06/03 変動::ランキング更新停止の後ランキング激変@日本
=>古記事2008/05/31 kernel(カーネル)::バージョンを調べるには


大分類が「作品DB開発/運用」の記事
この論客の記事全て
RSS購読
RSS
ブログ表示スタイル
リスト/携帯(QRコード)
画像/動画/音声/リンク
表示開始年月
分類
全て
1.このサイトについて
2.作品DB開発/運用
3.ホームページ制作技術
4.Perl
5.C言語 / C++
6.検索エンジン&SEO
7.サッカー
8.自分のこと
9.Linux
10.旅行
11.思ったこと
12.パソコン
13.Berkeley DB
14.その他技術系
15.企画
16.スマートフォン
17.鑑賞
18.皆声.jpニュース
19.インターネット業界
20.運用マニュアル(自分用)
21.技術系以外実用書
22.料理
23.ALEXA
24.アニメ
25.会計
26.漫画
27.設計書
28.色々サイト作成
29.サーバー
30.自分専用
31.生活
32.OP/ED/PV
33.ゲーム
34.DB整備
35.新規開始作品紹介
36.英語圏の話題
37.大道芸
38.映画
39.PHP
40.ダイエット
41.Mac
42.JavaScript
43.MySQL
44.介護
45.作品DB作品追加作業
46.BI
47.Web API
48.パフォーマンス
49.インターネットの活用方法
50.Riak
51.Androidアプリ開発
52.Cassandra
53.スパム
54.写真
55.iOSアプリ開発
56.AWS
57.マーケティング
58.Web漫画
59.法律
60.mongodb
61.開発環境整備
62.Google Apps Script
63.meteor
64.Pentaho
65.Ansible
66.VPS
67.技術書メモ
68.Vagrant
69.Docker
70.dokuwiki
71.Apple Watch
72.Webサービス
73.セキュリティ
74.Elastic Search
75.Wordpress
76.クラウド
77.英語
78.MVNO
79.シンガポール
80.マレーシア
81.管理人さん
82.管理人さん
日記の主な内容
サイト運営/開発
検索エンジン情報
・技術ネタ(Berkeley DB,
Linux, Perl, サイト作成)等

サイト管理
全まとめ
サーバー管理
定期処理状況
開発予定
削除提案
作品追加依頼
OP/ED追加依頼
OP/ED not found
作品提案承認欄

格言 fromスクライド
この世の理は即ち速さ
20年かければ馬鹿でも
傑作小説を書ける

助けられたら助け返す
それが俺のルール

強くなるには
一番弱い考えをする事だ
そしてその考えに反逆する




右側に何か入れてみるテスト


仕事でのサイト
介護DB
Helpyou
Doctor career
Nurse career
上へ ↑上へ 最速検索作品DB皆声