管理人さんのサイト開発・運用報告+αの書

[ガラケー版(QRコード)] 総閲覧回数:3,618,365回 / ブログ拍手:2,143
作品DB等各サービスの機能追加情報や、技術系・面白系記事を中心に提供。
記事の投稿は基本Twitterでも告知させて頂いています。
連絡は作品DBの論客の方なら私書、DB外ユーザの方ならメールTwitterで可能です。
 30日29日28日27日26日25日24日23日
閲覧444 (+40)404 (-190)594 (+109)485 (-41)526 (+120)406 (-68)474 (-115)589

アクセス記録[推移 / PV内訳(過去1日 / 過去1週間) / 外部アクセス元 (昨日 / 過去1週間) / ログイン論客足跡]
プロフィール私書(メール)
   /   /送済
評価(一覧   /)
投票   /共:   /
ファン登録
作品/情報/
DB構築()
ブログ
[書く]
攻略記事リンク集
My Play List
 作成日時分類記事タイトル
12017/02/26作品DB開発/運用..作品DBの画像投稿機能復旧+日記拍手全体履歴機能復旧..
22017/02/25作品DB開発/運用..サーバーを(AWS内で)移行させました..
32017/02/24作品DB開発/運用..まだまだ色々不安定でご迷惑をお掛けいたします&..
42017/02/12作品DB開発/運用..サーバー移転作業/こちらは新サーバーです..
52016/11/28マレーシア..クアラルンプールは日本人にとって暮らせる所かどうか..
=>古記事6. 2016/11/15 リリースノート(スプリント6)
 反応日時来客名来客者の最近のメッセージ
12017/02/25Merciこんばんは。サーバー移転後からだと思いますが、以前は見られた..
22017/02/17ねこじゃらしブログ投稿やコメントをしようとすると、たまにエラーになります..
32017/02/16Barnirunお世話になっております。https対応の影響か(またはhtm..
42016/11/10伏魔の剣こんばんわ。形式変更お疲れ様でした。 ところでこの改定につい..
52016/10/31雪霞いつもありがとうございます。ところで、ログアウトした時にポッ..
その他最近のコメント
1.
2017/02/26 作品DB開発/運用 > 作品DBの画像投稿機能復旧+日記拍手全体履歴機能復旧+HTTPSの説明+HTTPS移行によるソーシャルブックマーク系数字の初期化+α」
[この書込みのみ表示(記事URL紹介用) / 編集 / 削除 / トラバ送信 / 共有分類に追加(タグ付け)]拍手:7個

1. 作品DBの画像投稿機能の復旧
2. 日記拍手全体履歴機能復旧
3. 完全なHTTP化
4. HTTPS化によるソーシャルブックマーク系数字の初期化

1. 作品DBの画像投稿機能の復旧

画像投稿機能に問題があったことを確認したので修正して使えるようにしました
https://image.sakuhindb.com/
2. 日記拍手全体履歴機能復旧

日記の拍手で、数・個別のURLの拍手履歴には問題ありませんでしたが、全体の履歴について問題が発生してしまっていたので、解決させました。
なお、機能的に復旧をさせましたが、全体の履歴の方には欠けている間のものはデータ回復できていません。
個別の拍手を分析する事で補充することも可能だとは思いますが、優先度的には後回しになります。
3. 完全なHTTP化

作品DBトップについては、外部サイトからの読み込む画像等もhttpsからのみにして、ChromeでURL前にグリーンのフラグが立つようにしました。
なお、ブログコンテンツ内に画像等を組み込む時に、それがhttps://から始まるものではなく、http://で始まる場合には、完全な暗号化フラグがChromeでは立ちません。

作品DBの方はhttpsで通信は暗号化されていますが、そこで呼び出されている画像等は皆さまがどのようなものを埋め込むのか次第であり、それがhttpとしてあれば、その部分は誰かが盗み見をすることも、理論的には可能ということになります。
なので、そこはご自身の方でご配慮をお願い致します。

また、HTTPS化との相性でですが、組み込み系スクリプト・iframeでhttp://のままではそれは動かないけれども、https://に書き換えたら動くというものもありますので、そちらもご確認お願い致します。
4. HTTPS化によるソーシャルブックマーク系数字の初期化

httpからhttpsへ移行しましたが、はてなブックマーク、Facebookいいね機能等が、URLを別のものとして認識してしまう&きちんとした対応方法がない為、数字として初期化されてゼロからになります。

色々デメリットはありつつもHTTPS化を急いだのは、本来の通信の暗号化により誰にも通信を盗み見されないようにするというメリットは勿論あるのですが、それに加えてログイン機能があるサービスでHTTPS化していない場合、Chromeによる警告が近い将来に実装される予定であったという、外部環境の変化があった為です。

コメントする7個

2.
2017/02/25 作品DB開発/運用 > サーバーを(AWS内で)移行させました」
[この書込みのみ表示(記事URL紹介用) / 編集 / 削除 / トラバ送信 / 共有分類に追加(タグ付け)]拍手:5個

サーバーの1台への集中する形としてのスペックアップ&データ保存領域の高速な環境への移行作業を行いました。

なお、本日の3:00位から旧データから新データ領域へのコピーをしていましたが、
旧データ領域からの読み込みに時間がかかりすぎ&不安定化していたので、
誠に申し訳ないのですが、その間のデータロスの可能性があります。

現在安定性・速度の向上の度合いについては様子見中ですが、向上しているとは思われます。
定期更新系のデータ更新は現在走らせ中です。

処理速度の変化の検証の為、代表的な処理時間がかかる処理、論客ポイントの再計算処理について、実行時間について処理時間比較をしてみました。
AWS移行前の環境(2/12)1,150秒
AWS移行後の問題があった環境(2/23)11,306秒
AWSの現在の環境(2/25)470秒
この処理についてだけで比較すると、AWS移行後の速度の極度の劣化については解消され、最終的には最初の状態より6割近く程速くなっているようです。

コメントする5個

3.
2017/02/24 作品DB開発/運用 > まだまだ色々不安定でご迷惑をお掛けいたします&幾つかの対策予定」
[この書込みのみ表示(記事URL紹介用) / 編集 / 削除 / トラバ送信 / 共有分類に追加(タグ付け)]拍手:10個

1. AWSヘ移行してからの現状報告
2. とはいえの短期的な解決方法
3. 本日の作業予定
4. 中期的な解決策

1. AWSヘ移行してからの現状報告

AWSに移行してからですが、それに起因する問題は、多くは解決させましたが、まだ解決すべき問題が残っている状態です。
不安定性の大元の大体の問題はEFS(Elastic File System)というNFS(Network File System)システムの導入から起因している問題です。
昨日はEFSが性能を使い果たした時間が発生してしまった為、システムが不安定化してしまいました。

AWS以外のサーバー環境に移行すれば直せる事ではありますが、AWSのメリットは享受したいと思っているので、AWS枠内での解決を考えています。
各種ご報告に対しての対応については、大元の安定が先なので遅れていますが、それぞれ全て対応させて頂きます。

なお、来週頭にはシンガポールからマレーシアに移動する予定なので、かなりドタバタしております。
2. とはいえの短期的な解決方法

暫くの間はお金で解決&Sing Point of Failure(単一障害点)の存在を受け入れる
その為

- 一台のサーバーのスペックを上げて、複数台ではなく一台でのサービス提供に戻す
- 一旦EFSからSPFはあるけど速度は速いEBSにファイルを移動
- ログ系のファイルだけはs3に置いて仮想NFSマウント
3. 本日の作業予定

これはこれから行う予定なので、土曜日の朝方に一時的にアクセスできなくなる時間があり得るかと思います。
なお、現在ファイルのコピーに時間を使って待ち中です(数時間以上といった感じでかなりかかりそうです)。
それが終わったら変更作業を行います。
4. 中期的な解決策

- プログラム系のファイルとデータ系・HTML系ファイルの場所を完全に分ける。アプリケーションバランサーの機能をフル活用する。
- 静的なファイル機能は毎日更新で変わるものには使わなくする

方向性
ファイルのタイプ元々のファイルシステム変更予定のファイルシステム
プログラム系EFSEBSまたはLambda+API
HTML系EFSs3
テキストデータ系EFSDynamoDBまたはRDS
ログ、静的ファイルEFSs3
KV型データEFSDynamoDBまたはRDS


コメントする10個


管理人さん さんのコメント (2017/02/26) [編集/削除(書込み者/所有者が可能)]
こんばんは。
1) 環境依存の問題だとは思うので解決できるかどうかは分からないのですが、

https://m.sakuhindb.com/

を見たら警告が表示されるという事になりますでしょうか?
その場合には私書でも良いので機種をお教え頂ければと思います。

因みに、
「携帯3社、SSL証明書の更新で影響を受ける機種を案内」
http://k-tai.watch.impress.co.jp/docs/news/711892.html
という記事があるのですが、基本的にそこに挙げられている携帯は、作品DBに限らずですが、HTTPSの対応がもう出来ないガラケー機種になります。

総務省 案内
http://www.soumu.go.jp/main_sosiki/joho_tsusin/security/enduser/security01/12.html

NTTドコモ機種リスト
https://www.nttdocomo.co.jp/info/notice/pages/150715_00.html

au機種リスト
http://www.kddi.com/important-news/20150715/

ソフトバンク機種リスト
http://www.softbank.jp/mobile/info/personal/news/support/20150715a/

2) 追記です。
元々のHTTP版のガラケーのサイト
http://m.sakuhindb.com/?guid=ON
からのリダイレクト先がPC・スマホ版になっているという問題があったので、そちらが
https://m.sakuhindb.com/?guid=ON
にきちんとリダイレクトするように変更しました。
もしもこちらが原因でしたらば、これで直るかと思います。
Merci さんのコメント (2017/02/25) [編集/削除(書込み者/所有者が可能)]
こんばんは。
サーバー移転後からだと思いますが、以前は見られたガラケー版に接続が出来ません。
「これ以降のページはセキュリティが確保されていません」
というポップアップがOKを押しても延々と出てきます。
これを機にガラケー向け終了されるようなら仕方がないのですが、
貴重なガラケーでも楽しめるサイトでしたので、お時間のある時に対応いただけると嬉しいです。
ちなみにauです。
よろしくお願いします。

4.
2017/02/12 作品DB開発/運用 > サーバー移転作業/こちらは新サーバーです」
[この書込みのみ表示(記事URL紹介用) / 編集 / 削除 / トラバ送信 / 共有分類に追加(タグ付け)]拍手:12個

1. この書き込みを見ている場合、こちらは新サーバーです
2. 予期される不具合
3. 移転の目的
4. エラー報告につきまして
5. 報告頂いた問題
    1. 私書を読んでも受信箱が赤い

1. この書き込みを見ている場合、こちらは新サーバーです

12日の深夜より作品DBのサーバ移転作業をしていますが、この書き込みを見ている場合、貴方は新サーバーを見ています。
なので書き込みをしても問題ありません。
2. 予期される不具合

- 定期更新系の更新遅延
- 速度的な問題
- 暫くの不安定化
- 何らかの不具合
3. 移転の目的

- https導入 (通信の暗号化) <= URLがhttpsで始まる形に変わっています。ネットワーク上の通信を第三者が読む事を防ぐ事ができるようになります。
- システム的なセキュリティの向上 <= システム的な話ですが採用しているOSとホスティングの組み合わせでOSアップデートが出来なくなっていた問題が解決します
- AWSへの移転によるインフラ機能面の向上 <= AWSの機能をどう活用するかは別としましてAWSの各種機能をインフラ的には利用できるようになります。費用はかかりますが
4. エラー報告につきまして

時間不足の中の移行作業なので、不具合がある程度想定されますが、システム的な不具合に遭遇しましたらば、こちらに報告を宜しくおねがいたします。
なお、問題に対応できるのは、夜になると思います。
5. 報告頂いた問題


    1. 私書を読んでも受信箱が赤い

調査の上、解決済み。

コメントする12個


管理人さん さんのコメント (2017/02/27) [編集/削除(書込み者/所有者が可能)]
ねこじゃらしさん

最初に採用したAWSのファイルシステムが遅かった

そのファイルシステム的にはキャパオバーの利用の仕方をしていると認識されて更に遅くなった

そのファイルシステムから別のファイルシステムに移行しようとしたけれども、ファイルを読みだしてコピーしなくてはいけなかったので、遅い状態になっているファイルシステムから無理して読み出しをさせる事になり、その間ほぼ死亡な状態な位遅くなった

といった、ファイルシステム的な問題から起因する、システム全体の速度の劣化・結果としての処理貯まりの為かと思います。

現在こちらについては、幾つかの対応により解決・移行前の環境よりは速い処理がされるようになっているので、大丈夫になっているかと思います。
まだ問題がありましたらお知らせ下さい。
宜しくお願い致します。
管理人さん さんのコメント (2017/02/27) [編集/削除(書込み者/所有者が可能)]
Barnirunさん

1) 埋込系で動かないものは、埋め込むスクリプト・iframe自体をhttpsにする必要があるかと思います。
HTTPSに対応しているサービスならそれで動くのではないかと。

...と思いましたが、
http://anond.hatelabo.jp/20151125121926
https://www.dopr.net/guide/info_nicovideo
ニコニコ動画がHTTPSに対応していないので無理なようです。

出来る範囲としては、画像だけならhttps対応をしていそうなので、画像をHTTPSのURLでとってきて、それをAタグで囲む位でしょうか(プレイヤー埋め込みではなく、リンク付き動画付き画像になる)。

2) リダイレクトについてですが、HTTPSへのリダイレクトの設定が妥当な形になっていなかったので、修正しました。
基本的にHTTPS対応をしているガラケーにはまだ機能の提供はさせて頂く予定ですが、HTTPS対応をしていないガラケーへの対応は中々難しいところはあるかと思います。
その場合にはガラケー版には逆にHTTPSが適用されないようにするとするしかないかと思います。
はまっている方がどれ位いらっしゃるか次第ではありますが、世の方向性としては狭くなっていく方面&Google先生がログインサイトでHTTPなら警告を出すというペナルティ宣言をしている状況なので、中々厳しいところではあります。

なお、以下に記載されているガラケーはHTTPSには既に対応出来ない機種とされています。

NTTドコモ機種リスト
https://www.nttdocomo.co.jp/info/notice/pages/150715_00.html

au機種リスト
http://www.kddi.com/important-news/20150715/

ソフトバンク機種リスト
http://www.softbank.jp/mobile/info/personal/news/support/20150715a/
ねこじゃらし さんのコメント (2017/02/17) [編集/削除(書込み者/所有者が可能)]
ブログ投稿やコメントをしようとすると、たまにエラーになります。
どうしたら直るでしょうか…
Barnirun さんのコメント (2017/02/16) [編集/削除(書込み者/所有者が可能)]
お世話になっております。

https対応の影響か(またはhtml5とブラウザの相性のせい?)、
個人ページの左メニューに埋め込んでいたFlashがChromeから再生できなくなっています。
(IEからは再生できるので、GoogleがFlash妨害のために何かしている??)

niconicoプレーヤーなんかも表示できなくなっている現状ですが、
html5対応プレーヤーを探してきて乗り換えるのがベターなんでしょうか。。。


(02/17追記)
16日午後より500エラーが頻発して表示しづらくなったり、日記拍手時に↓↓のエラーが表示されたりしております。。
Failed to create write dbh for /home/www/public_html/anime/bdb/j/applaud/2017/identity_by_f_id.bdb
Please inform this error to this site's administrator.

AWS全体の調子が悪いのでしょうか……


(02/22追記)
拍手のほうは(たまに504エラーが出ますが概ね)復旧しておりました。
https対応により、ガラケー版の作品DBにアクセスしてもPC版に繋がるようになっていました。
https://m.sakuhindb.com/?guid=ON
(↑原因はURLを古い「http」からアクセスしていたため。このときPC版にリダイレクトされています)
httpsにURLを変えるとSSLの証明書不一致で閲覧できなくなるため、いよいよガラケー版廃止になるのでしょうか……

5.
2016/11/28 マレーシア > クアラルンプールは日本人にとって暮らせる所かどうか」
[この書込みのみ表示(記事URL紹介用) / 編集 / 削除 / トラバ送信 / 共有分類に追加(タグ付け)]拍手:5個

1. 文章目的
2. 各所紹介
    1. クアラルンプール空港
    2. スバン空港
    3. 職場周辺(Taman jaya駅周辺)
        1.
        2. ショッピングモール
        3. 滞在ホテル
    4. KLCC
        1.
        2. 物価
        3. ツインタワー
        4. 水族館
    5. Pavilion界隈
        1. Pavilionまでの道
        2. Pavilion
        3. Paviion周辺
3. 結論
    1. 良い点
    2. 悪い点・注意すべき点
    3. 総論

1. 文章目的

マレーシアでジョホールバルは一歩主要な所を離れると危険!、という感じでマレーシアとか日本人には結構厳しいなと思っていましたが、クアラルンプールは雰囲気が違うと感じた所もあり、実際どうかなと見てきました。
マレーシアに移住しようかと考えている人向けに参考になればと。
2. 各所紹介


    1. クアラルンプール空港





KLセントラルにExpres電車で移動する事も出来ます。
レストランは微妙ですが綺麗な所ではありますね。
    2. スバン空港

今回は働きに行く所からより近いスバン空港を使いました。


行きは運転手が違う所に行き80ドル、帰りは23ドル(但し釣りが十分には無いとのこと事で29ドルに)、タクシーのおっちゃんは陽気だけど、住所がおかしかったと言い訳し続ける此奴どうしてくれようか。。。と行きの時は思ったものです。
行きも帰りも相手のお釣りが完全にはなくて、有り金だけ渡されたという感じで、釣り銭渡す気Nothing...?

<マレーシアでタクシーを使う時の注意点>
- 値段が先に分かる・間違いがない事もありGrabる方が良い
- タクシーの兄ちゃんはGPS使っていても信頼しない。自分のGoogleマップで常に確認。
    3. 職場周辺(Taman jaya駅周辺)


      1. 駅




      2. ショッピングモール

綺麗に描かれていたのでパシャ


人があまりいませんがスタバがあります。


特撮系のおもちゃ屋とかが多いので、ちょっと一昔な感じになっています。


あんまり美味そうには見えませんね。。。味は程々でした!

      3. 滞在ホテル

朝食はバイキングですが、代わり映えがしないので、最後の方はオレンジジュースが主食になりました。

    4. KLCC


      1. 駅

ビジャブを被った女性も歌っています。


一階のモール。クリスマスにデコレートされています。

      2. 物価

SGより多少安いです。

      3. ツインタワー

ツインタワーなんてメジャー所。。。と思っていましたが、純粋に綺麗で、KL行くのなら訪れるべきだなと思いました。








ツインタワーの内部のショッピングモール
伊勢丹・紀伊国屋等・ユニクロも入っています。







      4. 水族館

行った時間には閉まっていましたが、公園の裏手に水族館がありました。

    5. Pavilion界隈

KLCC駅からかなり離れているが、グーグル曰くモノレールに乗り換えて行くよりKLCCから行った方が早いと出てきたので、歩いて行きました。
      1. Pavilionまでの道

日本ではないようなトラップが道路に多々あるので、スマホを見ながら歩く事はお勧め出来ない。
足元には常に注意して歩きましょう。




10時過ぎと夜遅くになってもここら辺は人が沢山います。

      2. Pavilion









映画館もあります。


レストランはシンガポールに比べると遥かに安いです。
こんな良い雰囲気の食事が1000円位で。



      3. Paviion周辺



不動産選びをVR(仮想現実)を通じて行えます。
ここら辺は日本でも中々見かけない事で、発展しているなと感じられます。

3. 結論


    1. 良い点

- クアラルンプールの中心街なら夜遅くまでいても大丈夫
- クアラルンプールの中心街は他の国と遜色がない綺麗さ
- 適切な場所・電車・タクシー(Grab)を組み合わせれば、車無しの生活も可能
- レストラン・住居はSGより遥かに安い
- 普通のものの値段はSGよりちょい安い
- 電車には結構遅くまで女性・子供とかも乗っている
    2. 悪い点・注意すべき点

- クアラルンプールとその他の格差が激しい
- KLは安全そうといってもできるだけ人気がない所は夜に一人で徒歩ではいかない
- 歩道では足元注意。歩きスマホで画面を見ながら歩く時には注意
- 車・バイクは微妙に信号を守らない事があるので注意
    3. 総論

自分のライフスタイル(車使うのか・電車だけなのか)と合わせて適切な所を選ばないといけないですが、日本人な人でも問題なく暮らしていけるのではないかと思いました。

コメントする5個

=>古記事6. 2016/11/15 リリースノート(スプリント6)
RSS購読
RSS
ブログ表示スタイル
リスト/携帯(QRコード)
画像/動画/音声/リンク
表示開始年月
分類
全て
1.このサイトについて
2.作品DB開発/運用
3.ホームページ制作技術
4.Perl
5.C言語 / C++
6.検索エンジン&SEO
7.サッカー
8.自分のこと
9.Linux
10.旅行
11.思ったこと
12.パソコン
13.Berkeley DB
14.その他技術系
15.企画
16.スマートフォン
17.鑑賞
18.皆声.jpニュース
19.インターネット業界
20.運用マニュアル(自分用)
21.技術系以外実用書
22.料理
23.ALEXA
24.アニメ
25.会計
26.漫画
27.設計書
28.色々サイト作成
29.サーバー
30.自分専用
31.生活
32.OP/ED/PV
33.ゲーム
34.DB整備
35.新規開始作品紹介
36.英語圏の話題
37.大道芸
38.映画
39.PHP
40.ダイエット
41.Mac
42.JavaScript
43.MySQL
44.介護
45.作品DB作品追加作業
46.BI
47.Web API
48.パフォーマンス
49.インターネットの活用方法
50.Riak
51.Androidアプリ開発
52.Cassandra
53.スパム
54.写真
55.iOSアプリ開発
56.AWS
57.マーケティング
58.Web漫画
59.法律
60.mongodb
61.開発環境整備
62.Google Apps Script
63.meteor
64.Pentaho
65.Ansible
66.VPS
67.技術書メモ
68.Vagrant
69.Docker
70.dokuwiki
71.Apple Watch
72.Webサービス
73.セキュリティ
74.Elastic Search
75.Wordpress
76.クラウド
77.英語
78.MVNO
79.シンガポール
80.マレーシア
81.管理人さん
82.管理人さん
日記の主な内容
サイト運営/開発
検索エンジン情報
・技術ネタ(Berkeley DB,
Linux, Perl, サイト作成)等

サイト管理
全まとめ
サーバー管理
定期処理状況
開発予定
削除提案
作品追加依頼
OP/ED追加依頼
OP/ED not found
作品提案承認欄

格言 fromスクライド
この世の理は即ち速さ
20年かければ馬鹿でも
傑作小説を書ける

助けられたら助け返す
それが俺のルール

強くなるには
一番弱い考えをする事だ
そしてその考えに反逆する




右側に何か入れてみるテスト


仕事でのサイト
介護DB
Helpyou
Doctor career
Nurse career
上へ ↑上へ 最速検索作品DB皆声