AzCopyでAzure BLOBストレージから56万ファイルをローカルに移す

ここ見て終わりではあるんだけど。
AzCopy on Windows を使ったデータの転送

今回の対象ファイルは提督業も忙しい!プラグインで収取した艦これのJSONファイル、数にして56.3万ファイル、容量14GBです。
キャプチャ

以前、CyberDuckがAzureストレージにアクセス出来るので試してみたところ、転送予想時間が10何時間とか出た挙句、最終的に転送失敗に終わったので改めて。

コンテナ内の全ファイルをダウンロードしたいのでコマンドは以下になります。

AzCopy /Source:https://myaccount.blob.core.windows.net/mycontainer /Dest:C:\myfolder /SourceKey:key /S

実行結果

Finished 563639 of total 563639 file(s).
[2017/10/25 02:43:05] Transfer summary:
-----------------
Total files transferred: 563639
Transfer successfully:   563639
Transfer skipped:        0
Transfer failed:         0
Elapsed time:            00.01:00:10

そこそこ時間かかるだろうと思って寝る前じに実行しましたが思ったより早く終わっていました。

広告

Logic AppsやMicrosoft FlowのトリガーにTwitterを指定する場合のメモ

コミュニティ(devcussion)のSlackに関連ツイートを拾って投げるLogic Appsを設定してるんですがその設定メモ。

トリガーとなるTwitterの設定は「When a new tweet is posted(新規ツイートが投稿された時)」しかなく、設定内容はFlowは「検索テキスト」のみで、Logic Appsは「実行頻度」も指定出来る。
(Flowはプランによって実行頻度が異なる)

キャプチャ.JPG

ここで検索テキストに「devcussion」と入れるとTwitterの検索で「devcussion」を検索した時と同じ結果が得られる。(重要)

この検索結果を元に条件、もしくはアクションを追加できるが、RTされたものは弾きたい。
そこで条件を追加しようとした場合、条件は「ツイートテキスト」に「RT @」が「含まれるない」にすればいい。

いいんだが、ということは検索テキストに「-“RT @”」を入れるのと同じなのでこうする。

キャプチャ

Logic AppsやFlowの料金体系上、こういった無駄は削ったほうが安く済むので積極的に削っていきたい。

Azure Web AppsにMySQLが来た!(Preview)

Announcing MySQL in-app (Preview) for Web Apps

ついに来たか!って感じですね。
Web AppsでMySQLを使うっていうのは以前にしばやん先生が既にやってましたけどついに公式で対応来たか!って感じです。

ポータルから設定できるのは、MySQL In Appの有効化、スロークエリログの有効化、一般ログ有効化の3つ。キャプチャ.JPG

冒頭のリンク先にも書いてありますが、MySQL In Appにはいくつか制限があります。

  • オートスケールをサポートしていない
  • ローカルキャッシュをサポートしていない
  • リモートアクセス出来ない

データを見るときはPHPMyAdminを使えということらしいです。
PHPMyAdminから新しいDBも作れるのでそこそこ使えそうです。

ユーザーは作ってもログインしてるアカウントにGrant権限がないので意味なさそう。

Azure Web Appsの初回?アクセスが時間かかる問題

明石の工廠 と devcussionのSlack招待 をAzure Web Appsで動かしてるんですが、アクセス自体頻繁にあるわけではなく長時間全くアクセスがないことが普通な状態です。

そんな上記2サイトですが、久々にアクセスされた際に初回のみ非常に遅いです。
ページ読込中なんだろうけどくっそ遅い。
リロードするとすぐ表示されるので困ってるわけじゃないんだけど、うーん…

[追記]
Twitterで常時接続onにすればいいと答えが来た。(※Standard以上)
新ポータルならWebアプリ > 設定 > アプリケーション設定 > 常時接続

キャプチャ.PNG

Azure Web Appsで爆発した話(その後)

この記事のその後です。

前回の記事の対応では一時的な対応にしかっておらず、
最終的にはHTTPサーバーのデータではなく、Azure Storageの生成済みjsonファイルへリダイレクトをかける対応を取りました。
その対応以降は(リダイレクトしてるだけなので)徐々にインスタンスが減っていき最終的に1つになりました。
BizSparkのクレジットは最終日に4000円ぐらい残ってました。

いい経験にはなったけど、もう同じ経験は要らないですね…

無題.png

Azure Web Appsでほぼ爆発した話

艦これのイベントが始まりましたね。
ぐらばくさんが作っている提督業も忙しい!のプラグインにゔぇいさんが作っているMapHPという物があります。

2016-02-13 (1).png

こんな感じでゲージ破壊のマップがある場合、あと何回でクリア出来るか表示してくれるやつです。
実は前回のイベントから出撃制限札を提督業も忙しい!本体ではなく、僕が管理してるサーバーにデータを設置してそれを取得する形式になっていましたが、今回はMapHPのプラグインもプラグインデータを本体で持つのではなく、サーバーに設置するという話になりました。

イベント開始前に既にプラグイン側、サーバー側とも実装が完了しており、イベント開始後に動作確認も取れたので提督業も忙しい!4.2.1としてリリースされた。
※WebJobが回ってる時、サーバーレスポンスが遅い気がするという不安要素を残しつつ

続きを読む