GCP: Google App EngineのランタイムPython3.7を使ってみる2 -- Rest API

前回メモ(hello world with Python3.7)の続編。Restサービスの立上げ。
App Engine APIs が使えなくなっているので、代わりにGCPのPython用のライブラリを使う。(例えば、Datastoreの読み書きにndbは使えない。)

• Goal
  GAE(Google App Engine) + python3.7ランタイム上にREST　API(メソッドはPOST)を作成する。
  APIが呼び出されたら、GCP(Google Cloud Platform)のDatastoreに新規Entity(レコード)を追加する。
• case
  名前、点数、教科名をjsonでPOSTしたら、GCPのDatastoreに書き込みして、Keyを返信する。
• How
  1. 開発前準備
  1)開発環境に、google-cloud-datastoreをインストール
  2)GOOGLE_APPLICATION_CREDENTIALS 環境変数を設定
  あくまで、ローカルでテストするために必要。
  以下コマンドを打つと、betaコンポーネントのダウンロードを聞かれる。
  「Y」を入力すると、ダウンロードされて環境変数の設定までしてくれる。
  $ gcloud beta auth application-default login
  
  2. requirements.txt の中身。google-cloud-datastoreも追加すること。
  
  
  
  3. main.py の中身。
  
  
  
• Result --- curlのサンプルと結果
  Toshiのhistoryが67点
  
  
  $ curl -i -H "Content-Type: application/json" -X POST -d '{"name":"toshi","points":67,"subject":"history"}' https://.appspot.com/addtest
  HTTP/2 201 
  content-type: application/json
  x-cloud-trace-context: 4140694e3538666bb96627febc6130e4;o=1
  date: Sun, 14 Oct 2018 14:08:21 GMT
  server: Google Frontend
  content-length: 35
  alt-svc: quic=":443"; ma=2592000; v="44,43,39,35"
  {"result":{"id":5635703144710144}}
  
  
  

  

  
  

GCP: Google App EngineのランタイムPython3.7を使ってみる1 -- Hello World

GAEのStandard Environment に、Python3のランタイムがbeta版でリリースされていたので使ってみる。SecondGenerationというらしい。OPENCVかPillowが使えるかどうか？までテストする予定。まずはHello Worldまで。
https://cloud.google.com/appengine/docs/standard/python3/

• Goal
  GAEのStandardEnvironmentにおいて、Python3.7のランタイムを使ってHelloWorldする。
• How
  1.　app.yaml, main.py, requirement.txt を用意する。サンプルは以下。
  　　https://github.com/pumpkinpietea/py37.git
  
  $ ls -lt
  total 32
  -rw-r--r--@ 1 Toshi_Admin  staff  817 Oct 14 11:22 app.yaml
  -rw-r--r--  1 Toshi_Admin  staff  101 Oct 14 10:08 README.md
  -rw-r--r--@ 1 Toshi_Admin  staff  956 Oct 14 01:17 main.py
  -rw-r--r--@ 1 Toshi_Admin  staff  197 Oct 14 00:11 requirements.txt
  
  2.　ローカルでテスト
       $ pip install -r requirements.txt
       $ python main.py
  
  3.　deploy
  
  
  
        $ gcloud app deploy ./py37/app.yaml
  
  
  
• Comment
  1.　libフォルダーに、pip -t でインストールは不要。逆にすべてrequirements.txtに記入する必要がある。
  2.　ローカルテスト用のdev_appsever.py　は、使えない。
  　　逆に普通に、local で実行すればよい。便利になった！3.　deploy は、gcloud コマンドで実施が必要、appcfg.py　は、使えない。
  4.　普通のpython3をそのままGAE上で動かす事を狙っているようなので、Cとかのライブラリも動くと思われる。別途テスト予定。

3ヶ月の使い方で人生は変わる 佐々木大輔 ー 本

メモ
　1.ある意味「いらない」と言われていること自体が業界のニッチな状況を作る参入障壁となっている。p57 ---　問題の本質が見えにくくなることはよくあり、Userにいらないと言われたとしても、本当に価値があるかどうかまでUserがわかっている訳ではない。
　2.「これとこれを組み合わせるだけ」＝イノベーション　p61
　3.長期的なゴールも、3ヶ月ごとのテーマ設定が肝心
　4.まず考えるべきは「理想」や「本質的な価値」。自分の能力や、できることにとらわれる必要はない。理想を軸に考える癖をつければ、自分の能力を自分で制限することはなくなる。P71
　5.目標は自分がコントロールできること。ゴールは、「売上100万円(達成目標)」ではなく、「クライアントへの訪問回数20回(行動目標)」というように自分がやることに的を絞る。P73
　6.グーグルで働きながら、インターネットやAIを中心とするテクノロジーの活用で日本のすべてのビジネスをアップデートできるのではないか、という思いが強くなっていった。P76 
　7.長期的なゴールは、「世の中にどれだけ貢献できるか」p79
　8.どんな条件より「ストーリー」が大切。誰もが納得できる「腹落ち感」が欠かせない。p87
　・誰に対して、何がしたいのか？
　・それを実現できたら何がおきるのか？
　・それにはどんな意味があるのか？
　9.意思決定の場を振り分ける「それは自分で決めたらいいんじゃない」「それは、あのチームの確認だけ取ってすすめる」「それは難しいから、だれを集めてミーティングしてきめよう」p95
　10.「他人の目を気にすると時間を奪われる」P102
　11.「この文書はわかりやすいか？これを読んだ人は行動してくれるか？」mail　p111

平積みされてて、帯みて購入。あまり、3ヶ月の使い方って感じの本ではない。後半は、いわゆる仕事の効率化テクの記述がおおい。

アマゾン 成毛 眞 ー 本

メモ

1. ”プライム”マークは、自社で物流している会社でも表示できる。
   (アマゾンの提示するサービスレベルを満たせばもらえる)
2. FBAサービス：　倉庫＋配送業の請負もしてくれる。アマゾンに出店して、楽天に出店して、でも物流はアマゾン頼むとかできる
3. ヒット商品だと判ると、中抜き・直販をする。結果、どこよりも低価格を出せる。
4. 低関与商品（なんでもいいや）をダッシュボタンで取り込み。
5. ADRS：　トナーとかがなくなったら自動で発注。IoTのしかけ。
6. 安い卸からから順番に必要な数になるまで仕入れる。何も考えなくてよい。結果、常にサプライヤから提示されている最安値で買える。サプライヤは安い値段を出す以外、取引ができない。
7. アマゾンは、地域・商圏に縛られることも、販売促進協力も関係ない。安いものが売れる。(ECとは、そういうことだと納得する)
8. KIVA：　物流倉庫のロボットは、アマゾンでしか使えないようにした。
9. 卸の中抜きは安値の基本。2018年2月から、取次を経由するのを止めた。直販にした。
10. 間接材のECについて、アマゾンサプライ(卸機能)をまずトライする。しばらくしたら、アマゾンビジネス(直販)をスタートした。B2Bの勉強のため？結果、今はアマゾンサプライは停止している。
11. 配送業務のシェアリング、アマゾンフレックスというサービスもある。荷物を取りに来た、買い物に来たついでに、隣の家の人の荷物を持って帰る
12. 音声認識は、家庭内のポストスマホとなる。
13. ベゾスの考え：コミュニケーションを必要とする組織は、きちんと機能していないという証拠でしかない。協調よりも、個のアイデアが優先される組織がよい。

読みやすいのでサクサク行ける。

silicon valley シリコンバレー

シーズン１〜シーズン４まで一気に見た。やたらF○ckって単語が出てくるのと、下ネタ重視、ちょっと差別的な話も多いけど面白い。あと、１話３０分なので、通勤中に見やすいのと、深く考えずに見れるのがよかった。

英語としては、下ネタ系の言い回しを学ぶにはいいのかもしれない(テキトー)。
アマゾンプライムで視聴。

GCP: GCP外のサーバーからDatastoreへデータをインポートする（GCPのKeyを使う場合）

• Goal
  タブ区切りのテキストファイルをローカルマシン(OR AWSのEC2でも同じ)GCPのDatastoreにインポートする。pythonのプログラムで実施。
  
  前のPOSTのKeyを自分で設定しないバージョン
  
  
• Case
  以下のようなテキストファイルを、Datastoreにインポートする。
  想定するのは、DatastoreをGAEのマスタのように利用していて、バッチで更新をするようなケース。keyは、GCPで自動設定されるKeyを使う。
  list.txtの中身(タブ区切り)
  id     shimei   score
  1234   山田      89
  2341   田中      90
  1238   佐藤      81
  
  
• How
  1.GCPのコンソールで、Service Account Keyを作成する
  　形式は、JSON
  　権限は、DatastoreのOwner(これは、Import&Exportでも良いのかも？)
  　作成された、JSONはローカルマシンのどこかに設置する。
  2.Google cloud datastore のクライアントライブラリをインストールする。
  　~$ pip install google-cloud-datastore
  3.pythonのプログラムでインポートする。
    ##utf-8に変換⇒Unicodeに変換して、インポートすること!
  　　　あとで、Pythonから呼び出しをする事を想定している。
  
  
  
• Result
  
  

GCP: GCP外のサーバーからDatastoreへデータをインポートする（keyを自分で設定する場合）

• Goal
  タブ区切りのテキストファイルをローカルマシン(OR AWSのEC2でも同じ)GCPのDatastoreにインポートする。pythonのプログラムで実施。
  Keyは自分で設定したい。
  
  Keyを自分で設定する必要がない場合はこちら。
• Case
  以下のようなテキストファイルを、Datastoreにインポートする。
  想定するのは、DatastoreをGAEのマスタのように利用していて、バッチで更新をするようなケース。id をKeyとして登録したい。
  list.txtの中身(タブ区切り)
  id     shimei   score
  1234   山田      89
  2341   田中      90
  1238   佐藤      81
  
• How
  1.GCPのコンソールで、Service Account Keyを作成する
  　形式は、JSON
  　権限は、DatastoreのOwner(これは、Import&Exportでも良いのかも？)
  　作成された、JSONはローカルマシンのどこかに設置する。
  2.Google cloud datastore のクライアントライブラリをインストールする。
  　~$ pip install google-cloud-datastore
  3.pythonのプログラムでインポートする。
    ##utf-8に変換⇒Unicodeに変換して、インポートすること!
  　　　あとで、Pythonから呼び出しをする事を想定している。
  
  
  
• Result