GCP: GAE node.js standard 環境で、Facebook Messanger のBot を立ち上げるまで

• Goal
  FacebookMessengerのBOTをGoogle App Engine Node.js Standard 環境上に立ち上げる。
  ・テキストメッセージながらオウム返し
  ・それ以外のメッセージなら「ああ、それな〜」と返す
• How
1. Facebook Developerでの作業
   （１）アプリの作成
   
   （2）Messangerプラットフォームの設定
   ・トークン作成で、PAGE_ACCESS_TOKENを作成
   
   
   ・Webhookとして、まずはmessages と、messaging_postbacksを有効にする。
   ・コールバックURLに、Google app engine のURLを入力
   ・トークン欄には、自分自身で決めた文字列を入力する。この値がFacebook側からGAEのWebhookに渡されるので、GAEのアプリケーション内のVERIFY_TOKENにセットする必要がある。
   
2. GAE アプリケーションの作成
   （１）GCPプロジェクトを作成 (割愛)
   （２）GITからサンプルコードをPull
   git clone https://github.com/pumpkinpietea/facebookMessengerBot.git
   
   
   
   （３）Facebook Developerで発行したPAGE_ACCESS_TOKENと自身で決めたVERIFY_TOKENを貼り付ける
   
   （４）gcloud コマンドでDeploy
   $ gcloud init
            $ gcloud app deploy
3. 完成
   

• 参考サイト　Thanks!!
• facebook のサンプルコード
  https://github.com/fbsamples/messenger-platform-samples
• Google App Engine の説明サイト
  https://cloud.google.com/appengine/docs/standard/nodejs/quickstart?hl=ja
• 編集後記
• PythonのSDKは、Facebookは公開していなかったので、Node.jsで実施。
• Node.jsのrequestが、Deprecatedなので置き換えが必要。どこかで、やろうかな。。。

GCP: gcloud コマンドラインで、GAEの全インスタンスを停止する --- GCP,GAE,shellscript,gcloud

・Goal
　テストで作成したGAEの全サービスの全インスタンスをコマンドラインから削除・停止する。バージョン名等を指定せずに、どんどんデプロイすると稼働中のインスタンスが増える。それをコマンドラインで一気に全停止する。コンソール画面からだと、サービス毎/バージョン毎にプチプチと停止する必要があり面倒だった。。。

・How
　これが基本形
　~$ gcloud app instances delete [instance ID] -v [version] -s [service]

・Example
# step1  一覧で確認
~ $ gcloud app instances list
SERVICE  VERSION  ID                                      VM_STATUS  DEBUG_MODE
default  master   00XXXXXXX                               N/A
test1    master   00XXXXXX1                               N/A
test2    master   00686ff30                               N/A

# step2 削除
~ $ gcloud app instances list | sed 1d | awk '{print $1, $2, $3}' | while read s v id; do gcloud app instances delete $id -v $v -s $s --quiet; done
Deleting the instance [default/master/00XXXXXXX].
Deleted [https://appengine.googleapis.com/v1/apps/---].
Deleting the instance [test1/master/00XXXXXX1].
Deleted [https://appengine.googleapis.com/v1/apps/---].
Deleting the instance [test2/master/00686ff30].
Deleted [https://appengine.googleapis.com/v1/apps/---].

# 説明
~ $ gcloud app instances list | \ # インスタンスのリストを出力
sed 1d | \ # 一行目をカット
awk '{print $1, $2, $3}' | \ # awk できれいにする。（この処理は不要・・・）
# 以下のハイライトの箇所で、順番に消していく。y/nを聞かれるので　--quiet　を追加
while read s v id; do gcloud app instances delete $id -v $v -s $s --quiet; done

GCP: Cloud Tasksにおける queueの設定 (GAEの特定のserviceへリクエストを投げたい) -- GAE 2nd gen, Python3, gcloud

・背景
　GAEをタスクハンドラーとして使っている。
　GAE-py の2nd Genへの移行に伴い、従来のapp engine task queueは
　使えなくなり、Cloud Tasksへの移行が必要。
　それに伴い従来のqueue.yaml の設定も不要。
　今後は、コンソールからgcloudコマンドでqueueを作ることになるとのこと。
   https://cloud.google.com/tasks/docs/migrating?hl=ja

　そこで、試していたのだが、GAEのデフォルトじゃなくて、特定のサービスや、
　バージョンに対してのリクエストの投げ方が解らずハマる。。。
　　http://[project ID].appspot.com/
　　ではなくて例えば、
　　http://[service]-dot-[project ID].appspot.com/
　　にリクエストを投げたい。

・Goal
　GAEの特定のサービスに対するqueueを作成したい。

・How
　gcloud コマンドで、--routing-overrideを設定すればよい。

　[As-is]
XXX@cloudshell:~$ gcloud tasks queues describe queue-sample
name: projects/[project ID]/locations/us-central1/queues/queue-sample
rateLimits:
  maxBurstSize: 100
  maxConcurrentDispatches: 1000
  maxDispatchesPerSecond: 500.0
retryConfig:
  maxAttempts: 100
  maxBackoff: 3600s
  maxDoublings: 16
  minBackoff: 0.100s
state: RUNNING

　[変更]
XXX@cloudshell:~$ gcloud tasks queues update queue-sample --routing-override=service:test
WARNING: You are managing queues with gcloud, do not use queue.yaml or queue.xml in the future. More details at: https://cloud.google.com/tasks/docs/queue-yaml.
Updated queue [queue-sample].

　[To-be]
XXX@cloudshell:~$ gcloud tasks queues describe queue-sample
appEngineRoutingOverride:
  host: test.[project ID].appspot.com
name: projects/[project ID]/locations/us-central1/queues/queue-sample
rateLimits:
  maxBurstSize: 100
  maxConcurrentDispatches: 1000
  maxDispatchesPerSecond: 500.0
retryConfig:
  maxAttempts: 100
  maxBackoff: 3600s
  maxDoublings: 16
  minBackoff: 0.100s

state: RUNNING

・Thanks!!
https://cloud.google.com/sdk/gcloud/reference/tasks/queues/update#--routing-override

GCP: GAE/Py から、ElasticSearch(GCE上で稼働)を呼び出す -- Python

• GOAL: レコメンドエンジンとしてElasticSearchを立ち上げ＆セットアップする。その後、Google App Engine(GAE)から、ElasticSearchのAPIを呼び出して使う。
  
• POINT
  1.GAEからの外部HTTP（REST API）呼び出しは、POSTで行うこと！　GETは使うな！！
  (GAE/Py27の環境で、requestsを利用して呼び出す場合)
  2.Logstashは、必ず「Ctrl+D」で終了させること！
  Ctrl+Zで終了させていたため、サービスが起動中となりハマりました。
  
• HOW
  1.Martket Placeから、ELK(ElasticSearch+Logstash+Kibana)を起動
  2.Logstashを使って、CSVデータをElasticSearchにロード
  3.GAEから、ElasticSearchに検索クエリーを発行して結果を取得
  ----------------
  1.Martket Placeから、ELK(ElasticSearch+Logstash+Kibana)を起動
     ・Bitnamiの仮想マシンを選択
     ・手順に沿って、選択をしていくだけ
  
  
  
  
  
  
  
  2.Logstashを使って、CSVデータをElasticSearchにロード
  
  
  3.GAEから、ElasticSearchに検索クエリーを発行して結果を取得

GCP: Google App EngineのランタイムPython3.7を使ってみる2 -- Rest API

前回メモ(hello world with Python3.7)の続編。Restサービスの立上げ。
App Engine APIs が使えなくなっているので、代わりにGCPのPython用のライブラリを使う。(例えば、Datastoreの読み書きにndbは使えない。)

• Goal
  GAE(Google App Engine) + python3.7ランタイム上にREST　API(メソッドはPOST)を作成する。
  APIが呼び出されたら、GCP(Google Cloud Platform)のDatastoreに新規Entity(レコード)を追加する。
• case
  名前、点数、教科名をjsonでPOSTしたら、GCPのDatastoreに書き込みして、Keyを返信する。
• How
  1. 開発前準備
  1)開発環境に、google-cloud-datastoreをインストール
  2)GOOGLE_APPLICATION_CREDENTIALS 環境変数を設定
  あくまで、ローカルでテストするために必要。
  以下コマンドを打つと、betaコンポーネントのダウンロードを聞かれる。
  「Y」を入力すると、ダウンロードされて環境変数の設定までしてくれる。
  $ gcloud beta auth application-default login
  
  2. requirements.txt の中身。google-cloud-datastoreも追加すること。
  
  
  
  3. main.py の中身。
  
  
  
• Result --- curlのサンプルと結果
  Toshiのhistoryが67点
  
  
  $ curl -i -H "Content-Type: application/json" -X POST -d '{"name":"toshi","points":67,"subject":"history"}' https://.appspot.com/addtest
  HTTP/2 201 
  content-type: application/json
  x-cloud-trace-context: 4140694e3538666bb96627febc6130e4;o=1
  date: Sun, 14 Oct 2018 14:08:21 GMT
  server: Google Frontend
  content-length: 35
  alt-svc: quic=":443"; ma=2592000; v="44,43,39,35"
  {"result":{"id":5635703144710144}}
  
  
  

  

  
  

GCP: Google App EngineのランタイムPython3.7を使ってみる1 -- Hello World

GAEのStandard Environment に、Python3のランタイムがbeta版でリリースされていたので使ってみる。SecondGenerationというらしい。OPENCVかPillowが使えるかどうか？までテストする予定。まずはHello Worldまで。
https://cloud.google.com/appengine/docs/standard/python3/

• Goal
  GAEのStandardEnvironmentにおいて、Python3.7のランタイムを使ってHelloWorldする。
• How
  1.　app.yaml, main.py, requirement.txt を用意する。サンプルは以下。
  　　https://github.com/pumpkinpietea/py37.git
  
  $ ls -lt
  total 32
  -rw-r--r--@ 1 Toshi_Admin  staff  817 Oct 14 11:22 app.yaml
  -rw-r--r--  1 Toshi_Admin  staff  101 Oct 14 10:08 README.md
  -rw-r--r--@ 1 Toshi_Admin  staff  956 Oct 14 01:17 main.py
  -rw-r--r--@ 1 Toshi_Admin  staff  197 Oct 14 00:11 requirements.txt
  
  2.　ローカルでテスト
       $ pip install -r requirements.txt
       $ python main.py
  
  3.　deploy
  
  
  
        $ gcloud app deploy ./py37/app.yaml
  
  
  
• Comment
  1.　libフォルダーに、pip -t でインストールは不要。逆にすべてrequirements.txtに記入する必要がある。
  2.　ローカルテスト用のdev_appsever.py　は、使えない。
  　　逆に普通に、local で実行すればよい。便利になった！3.　deploy は、gcloud コマンドで実施が必要、appcfg.py　は、使えない。
  4.　普通のpython3をそのままGAE上で動かす事を狙っているようなので、Cとかのライブラリも動くと思われる。別途テスト予定。

GCP: gcloud のバージョンアップ時のエラーと解消方法 on Windows Subsystem for Linux

• GAEのFlexible environmentを利用するにあたり、コンソール画面でデプロイしたソースを見れるようにするには、gcloudを195以上にしないと駄目らしい。
• 188から最新版にUPDATEしようとしたら、エラーが出たので経緯と対応手順メモ
• 開発環境は、Windows10＋Bash on windows(Ubuntu 16.04.3)

以下、ログ

~# gcloud components update
# 普通にアップデートしようとしたら以下のエラー

ERROR: (gcloud.components.update)

You cannot perform this action because the Cloud SDK component manager is disabled for this installation. You can run the following command to achieve the same result for this installation:

sudo apt-get update && sudo apt-get --only-upgrade install kubectl google-cloud-sdk google-cloud-sdk-datastore-emulator google-cloud-sdk-pubsub-emulator google-cloud-sdk-app-engine-go google-cloud-sdk-app-engine-java google-cloud-sdk-app-engine-python google-cloud-sdk-cbt google-cloud-sdk-bigtable-emulator google-cloud-sdk-app-engine-python-extras google-cloud-sdk-datalab

~# sudo -E apt-get update

# 私の環境では　−E　が必要

Hit:1 http://archive.ubuntu.com/ubuntu xenial InRelease

Get:2 http://packages.cloud.google.com/apt cloud-sdk-xenial InRelease [6,372 B]

Err:2 http://packages.cloud.google.com/apt cloud-sdk-xenial InRelease

  The following signatures couldn't be verified because the public key is not available: NO_PUBKEY 6A030B21BA07F4FB

(省略)

Reading package lists... Done

W: An error occurred during the signature verification. The repository is not updated and the previous index files will be used. GPG error: http://packages.cloud.google.com/apt cloud-sdk-xenial InRelease: The following signatures couldn't be verified because the public key is not available: NO_PUBKEY 6A030B21BA07F4FB

(省略)

# よくわからないけど、Public Key が使えないとかなんとか。。。

# Google Groupsのトピによると、以下でKeyを追加せよとのこと

~# curl https://packages.cloud.google.com/apt/doc/apt-key.gpg | apt-key add -

  % Total    % Received % Xferd  Average Speed   Time    Time     Time  Current

                                 Dload  Upload   Total   Spent    Left  Speed

100  1326  100  1326    0     0   2062      0 --:--:-- --:--:-- --:--:--  2062

OK

# 再トライ 

~# sudo -E apt-get update

Get:1 http://packages.cloud.google.com/apt cloud-sdk-xenial InRelease [6,372 B]

Hit:2 http://archive.ubuntu.com/ubuntu xenial InRelease

Get:3 http://packages.cloud.google.com/apt cloud-sdk-xenial/main amd64 Packages [45.3 kB]

Hit:4 http://archive.ubuntu.com/ubuntu xenial-updates InRelease

Get:5 http://security.ubuntu.com/ubuntu xenial-security InRelease [107 kB]

Fetched 158 kB in 1s (84.8 kB/s)

Reading package lists... Done

# うまくいった

# つづいて、SDKのUPDATE 余計なパッケージ名もあるけど、そのまま実行

~# sudo -E apt-get --only-upgrade install kubectl google-cloud-sdk google-cloud-sdk-datastore-emulat

or google-cloud-sdk-pubsub-emulator google-cloud-sdk-app-engine-go google-cloud-sdk-app-engine-java google-cloud-sdk-app

-engine-python google-cloud-sdk-cbt google-cloud-sdk-bigtable-emulator google-cloud-sdk-app-engine-python-extras google-

cloud-sdk-datalab

Reading package lists... Done

Building dependency tree

Reading state information... Done

Skipping google-cloud-sdk-app-engine-go, it is not installed and only upgrades are requested.

Skipping google-cloud-sdk-app-engine-java, it is not installed and only upgrades are requested.

Skipping google-cloud-sdk-app-engine-python, it is not installed and only upgrades are requested.

Skipping google-cloud-sdk-app-engine-python-extras, it is not installed and only upgrades are requested.

Skipping google-cloud-sdk-bigtable-emulator, it is not installed and only upgrades are requested.

Skipping google-cloud-sdk-cbt, it is not installed and only upgrades are requested.

Skipping google-cloud-sdk-datalab, it is not installed and only upgrades are requested.

Skipping google-cloud-sdk-datastore-emulator, it is not installed and only upgrades are requested.

Skipping google-cloud-sdk-pubsub-emulator, it is not installed and only upgrades are requested.

Skipping kubectl, it is not installed and only upgrades are requested.

The following package was automatically installed and is no longer required:

  snap-confine

Use 'sudo apt autoremove' to remove it.

Suggested packages:

  google-cloud-sdk-app-engine-java google-cloud-sdk-app-engine-python google-cloud-sdk-pubsub-emulator

  google-cloud-sdk-bigtable-emulator google-cloud-sdk-datastore-emulator kubectl

The following packages will be upgraded:

  google-cloud-sdk

1 upgraded, 0 newly installed, 0 to remove and 155 not upgraded.

Need to get 19.2 MB of archives.

After this operation, 28.8 MB of additional disk space will be used.

Do you want to continue? [Y/n] y

Get:1 http://packages.cloud.google.com/apt cloud-sdk-xenial/main amd64 google-cloud-sdk all 212.0.0-0 [19.2 MB]

Fetched 19.2 MB in 11s (1,652 kB/s)

(Reading database ... 50185 files and directories currently installed.)

Preparing to unpack .../google-cloud-sdk_212.0.0-0_all.deb ...

Unpacking google-cloud-sdk (212.0.0-0) over (188.0.1-0) ...

Processing triggers for man-db (2.7.5-1) ...

Setting up google-cloud-sdk (212.0.0-0) ...

# 完了 

~# gcloud --version

Google Cloud SDK 212.0.0

alpha 2018.08.13

beta 2018.08.13

bq 2.0.34

core 2018.08.13

gsutil 4.33

GCP: gcloud コマンドで GAEのログを取る方法

備忘録
GAE アプリのログ解析をする場合、Stackdriver logging からログを取り出す必要あり。gcloud コマンドで簡単にできる。

GCP: GAE appcfg.py の使い方

GAEの appcfg.py　の使い方。Deploy以外にも使うことがあり、備忘録

GCP: GAE上にAPI(POST)を作成ーDatastoreの操作(Create) ー Python

• Goal
  GAE(Google App Engine)上にREST　API(メソッドはPOST)を作成する。
  APIが呼び出されたら、GCP(Google Cloud Platform)のDatastoreに新規Entity(レコード)を追加する。言語・環境はPython+flask。
• case
  名前、点数、教科名をjsonでPOSTしたら、GCPのDatastoreに書き込みして、Keyを返信する。
• How
  1:開発環境は、以下でセットアップ
    Ubuntu16.4　＋　Pyenv：Python2.7.13 on GCE
    GCP: Google App Engine上にPython(Flask)アプリを立ち上げる手順
  
  2:ライブラリのセットアップ
    app.yaml に、flaskの記述を追加
    - name: flask
      version: 0.12
  
  3:mainプログラム　と　curl 結果
  
  
  4:Datastoreの結果
  
  
  
• Thanks!

GCP: GAE(Google App Engine)のバージョン別のURL

GAEは、バージョン別に個別のURLをもっている。
なので、同時に複数バージョンを公開してテストできる。
知らなかった。。。

サンプル

https://"バージョン名"-dot-"プロジェクト名".appspot.com/

GCP: Google App Engine上にPython(Flask)アプリを立ち上げる手順

• Goal
  開発環境も何も無い状態から、GAE(Google App Engine)上にFlaskアプリ(Hello World)を30分以内に立ち上げる。GAEは、Standard Environmentなので、Pythonは、2.7
• How
  1.　GCP上に新プロジェクト作成(xxxxx-test−0001) ⇒ 手順割愛
  2.　GCP上で、GAEを有効にする。　⇒　手順割愛
  　　初めてのアプリ作成で、Pythonを選ぶ。
  　　チュートリアルはやらなくて良いので、途中で抜ける。
  　　1プロジェクトで、1GAEアプリしか持てない。
  3.　GCP上に新VMインスタンス(Ubuntu16.4)作成(dev001) ⇒　手順割愛
  　　TYPEはMicro(無料マシン)でOK。
  　　別にローカルマシンがあればそれでもOK。
  4.　VM(dev001)の設定　ー　開発環境構築
      4-1. 初期設定　＋　Pyenv　＋　GAEのSDKの導入
    　　　　以下のファイルを実行
           ~$ . UbuntuSetupForGAE.sh
  
      4-2. Localに開発用フォルダの作成とPyenvのセットアップ　　　　　　
         
  
  5.　Deploy
  　　localでのテスト。main.pyがあるディレクトリで以下を実行
        $ dev_appserver.py .
   
     Deploy。 main.pyがあるディレクトリで以下を実行する
        $ appcfg.py update --noauth_local_webserver -A "project id" -V "version" .
  
  6.　確認する。以下のURLにアクセスする。
  　　https://”projectid”.appspot.com
       
  

Notes
これを使って、LineのBotなどマイクロサービスを立ち上げれる
main.pyの編集と必要なlibのインストールが必要

Thanks!!

• appengine-flask-skeleton
• Flask

GCP: Google App Engineにアプリーケーションをデプロイする方法 ー GAE/Py

• 備忘メモ
  Google App Engine にデプロイするコマンド
  EC2上のUbuntu16.04からデプロイ
  APP.yamlファイルがあるディレクトリで実行すること
  
  

(pytest2.7.13) ubuntu@ip-10-0-0-253:~/pytest$ appcfg.py update --noauth_local_webserver -A "projectid" -V "version" .←Main.pyがあるディレクトリで流しているので。。。

• 結果 --- これは何も更新されてないけど
  
  
  10:43 AM Application: (was: None); version:  (was: None)
  10:43 AM Host: appengine.google.com
  10:43 AM Starting update of app: , version: 
  10:43 AM Getting current resource limits.
  10:43 AM Scanning files on local disk.
  10:43 AM Scanned 500 files.
  10:43 AM Cloning 896 application files.
  10:43 AM Compilation starting.
  10:43 AM Compilation completed.
  10:43 AM Starting deployment.
  10:43 AM Checking if deployment succeeded.
  10:43 AM Deployment successful.
  10:43 AM Checking if updated app version is serving.
  10:43 AM Completed update of app: , version:
• 
  

テキストファイルをRDBのテーブル(イメージは、品番マスターとか)風に使う - Python

• Goal
  ChatBotが受信したテキストメッセージと、テキストファイル(CSV)をマッチングさせる。テキストファイルのままで、品番マスタの用に使って参照させる。
• 準備
  マスターファイルを作る
  テキストファイル　menu.csv
  　
  UDON001,500
  UDON0012,700
  SUSHI0123,1200
  TONKATSU001,2000
  RAMEN10,1000
• How
  1.　unicodedata　を使って、ひらがな・カタカナ・漢字判定と、全角・半角変換する
  2.　lineでテキストファイルから1行取得して、比較を繰り返す
  3.　先頭からで一致したら抜き出す
  
  
• 結果
  
  
  (pytest2.7.13) ubuntu@ip-10-0-0-253:~/pytest$ python testmatch.py
  UDON001,500
• Thanks!!
  以下、参考にさせて頂きました。
  http://minus9d.hatenablog.com/entry/2015/07/16/231608