週次レビューを再開したので、ついでにこちらにも書いておく。
今週のアウトプット
PACKERS FUNの更新
今週からスタートしたNFLについて、シーズン全体の記事と試合に関する記事など。先々週とあわせて10記事以上を更新。
AWSチュートリアルを終える
チュートリアルを読みながら、ウェブサイトの構築を行った。
AWSの概要はなんとなく理解したが、CloudFormationのテンプレートを理解していないので実践で使うには勉強が足りなそう。とはいえ人と話すときには困らなくなった。
それよりもAWSは個人で使うにはお金がかかるので、基本無料で使えるGoogle Cloud Platform（GCP）をキャッチアップした。末尾の日記の通り、GCPをつかってアプリを構成することができた。ほぼこれでよさそう。
保育園の見学プランを立てる
大体立てた。ビックリしたのは見学概要がサイトに掲載されてから数時間で予約が埋まってしまったこと。スクレイピングでページ更新を確かめようかどうか迷っている。
子どもの動画を集めなおす
Dropboxと簡単なプログラムを使って、簡単にHDDへ転送するようにした。このうち「使う動画」や「使える時間」をまとめておきたいなと考えている。
いま求められているスキルを調べる
最近の求人情報をちょっと確認。やっぱりAWS系の知識が優遇されている。GCPの知識をつけておいて、クラウド全体の知識として自己紹介できればいいかな。あとはPM経験。
それほど「そんな知識／経験が！」というのはなかったので、いったんはもういいかな。
2020年9月19日、土曜日
Bを連れて散歩。予定通り寝てくれたが、今日は1時間近く寝てくれたことにビックリ。その間に週次レビューを復活させ（上記の通り）、来週の目標を決めた。
そのあとTodoistを自分好みに使うために、簡単なプログラムを作成した。Pythonのライブラリがボランティアで提供されているので、30分もあれば作ることができた。
お昼ころ、はじめて離乳食を食べさせてみた。思ったよりも食べてくれて順調。口の中に入れるだけでも立派だと思う。
これまで撮影した写真や動画の整理について悩む。とりあえず写真や動画を保存するとして、
- どのようにスマホ（またはデジカメ）の写真をHDDへ移動するか* これをどのように流れ作業にするかというところで色々と考えた。いろいろと試してみた結果、（スマホは）Dropboxに同期させつつ、適当な間隔でこれをゴッソリHDDに移すことにした。
その際、日付ごとに整理したくなったので、Todoist同様にPythonのプログラムをちゃちゃっと書く。これで思いたったときにHDDを接続してプログラムを走らせれば自動的にHDDへ保存ができるようになった。
ここまでいくと、NATを導入して適宜HDDにコピーするようにしたくなってきた。次のセール期間はNAT導入を検討しよう。
みたいなことをやっているうちにもう夜。新日本プロレスG1 CLIMAXの開幕戦を見つつ（オスプレイのヘビー転向は成功したと思う）、パッカーズの直前情報を確認。ブログにして寝る。
2020年9月20日、日曜日
雨を気にして自宅で過ごす。Bはずっと「クマーバチャンネル」を見ている。私の時代とくらべて最近のキッズソングは低音が出ていると思う。
AWSのチュートリアルはDBの追加に進んだ。そのままユーザ認証もチャレンジしてみる。認証メールの本文が味気なくスパムっぽく見えたので、実際に使う場合は修正しないといけなさそう。
配偶者がLINEスタンプを作っているので、「画像をLINEスタンプの形式に変換できれば楽なのにな」と思って調べてみたら、やっぱり既にやっている人がいた。
上記を参考にさせてもらいつつ、クロップ機能も追加してライブラリを作った。スタンプ画像ができあがったら実際に使ってみてもらって上手くいくかテストする予定。
2020年9月21日、月曜日
起床後、Bと一緒にパッカーズの試合を観る。結果は圧勝。最終クォータはBの面倒を見ながら横目で観戦する程度だった。
試合結果のブログも書き終えると昼間だったが、涼しいので散歩に出かける。忘れてたけど今週は4連休で、人出はほとんど元に戻ってきた感じ。休日はふつうに働いている人たちのものだと思うので、なるべく邪魔をしないように散歩して、公園ですこし寝てもらって帰宅。
配偶者がNetflixで江原啓之MCのスピリチュアル番組を見つけた。出演者の中に澤穂希がいて驚いたが、それよりもアシスタントが住吉美紀だったことに震える。
ふと最近の転職事情を知りたくなって、いくつか求人情報を確認してみた。やっぱりAWSが求められてるんだなと実感。あとはリーダー経験とか。そろそろ「経験」でご飯を食べるフェーズに入ってきている。
2020年9月22日、火曜日
起床後、AWSチュートリアルをやる。とりあえず終わった。各サービスのイメージを掴めたかな、という程度。請求がすごいきて驚いた（1日4ドルぐらい）。
感覚はつかんだので、GCPでもやってみようと思う。個人用のPythonのテンプレートを準備したあと、ためしにCloud Functionsを使ってみた。
最初の関数: Python | Google Cloud Functions に関するドキュメント
gcloud経由で操作するにはCloud Build APIを利用する必要があるみたいなので、APIを有効にした。
時間があったので、Cloud Firestore を使ってみる | FirebaseでFirestoreとの連携も試してみる。とりあえず上手くいった。
わからないのはGCPとFirebaseの関連性について。GCPがFirebaseを包括しているようなイメージだけど、勘違いしていそう。困ったときにちゃんと調べるか。
夜はCloud Runを触ってみる。Cloud Build、Container Repositoryあたりを使ってDockerイメージからCloud Runのサービスを起動できた。いい感じ。
明日以降にCloud RunからCloud Firestoreを触ることができれば（今日作成したコレクションを利用しよう）、簡単にAPIをつくることができそう。フロントエンドはFirebaseかNetlifyでいこうか。
2020年9月23日、水曜日
雨が降るそうだったのでBの散歩は諦める。
一緒に『ロンドンハーツ』を見ていたら、炎上騒ぎのあったシュウペイに対して有吉から「間違った意見に屈するな」の一言。ちょっといいシーンだったし、世代の断絶にも気づくシーンだった。
GCPはCloud RunからFirestoreに接続させることもできた。せっかくなのでFastApiを使ったテンプレートプロジェクトを作ろうと思う。
Firestoreについて調べていたら、「FirebaseのCloud Firestoreを発展させて、最近GCPのCloud Firestoreができた」という旨の記事を読んだ。少し納得。ドキュメントの位置がわからなくなるので、こっちにリンクを張っておこう。
Firestoreのドキュメント
ちなみに現在はDatastoreでなく、Firesotreを利用しているはず。この差もいずれ重要になるかもしれないが、いまは無視しておく。
認証情報まわりでミスった（誤ってキーをレポジトリにアップしてしまっていた）ので、その解決策を検討。
どうやら同じプロジェクト（正確にはサービスアカウントだと思う）なら認証情報の受け渡しが不要みたい。そのため開発環境ではキーを利用して、本番環境はGoogleに任せるようにした。
テレワークが進んだおかげで、育休中も会社の情報が追いやすくなった。
気持ちを切り替えるためにまったく見ないようにしていたが、大きな全社イベントがあったので、その映像を見る。
今日一日でGCPについては割と詳しくなった気がする。明日は時間をつくってAPIサーバの公開をドキュメント化・テンプレート化しよう。
またpackersfun.comをGoogleDomainに移管した。このkoboriakira.comも移管する予定。
2020年9月24日、木曜日
珍しくBが大泣きした。散歩に連れていけれないからだろうか。どちらにせよ活動時間がオーバーしていたので頑張って寝てもらった。
GCPを使ったAPIサーバは、最終的に下の技術を使うことにした* FastAPI: PythonのAPIサーバ* Docker: コンテナ* git: リビジョン管理* Google Cloud Run: コンテナのデプロイサービス* Google Cloud Builder: CD/CIサービス* Google Container Respository: Dockerイメージ管理サービス* Google Cloud Firestore: データベースとりあえずメモ。
0. 前提
Docker、gcloudはインストールしておいてもらう。
bash $ docker --version Docker version 19.03.12, build 48a66213fe $ docker-compose --version docker-compose version 1.26.2, build eefe0d31 ``````bash $ gcloud --version Google Cloud SDK 311.0.0 bq 2.0.60 core 2020.09.18 gsutil 4.53 ### 1. プロジェクトを作成するmy-awesome-apiという名前でプロジェクトを作成した。次のキーを混同しないように。
- プロジェクト名: my-awesome-api * プロジェクトID: my-awesome-api-290501 * プロジェクト番号: 359948014733 ### 2. gitリポジトリを作成、クローンする
awesomeapiという名前でgitリポジトリを作成した。
bash mkdir ~/git cd ~/git git clone git@github.com:koboriakira/awesomeapi.git cd awesomeapi ### 3. Dockerコンテナ内でFastAPIサーバを立てるDockerfileをつくって、イメージをbuildして、コンテナをrunする。
```Dockerfile FROM python:3.8.5-slim WORKDIR work ADD awesomeapi /work/awesomeapi ``````bash docker build -t awesomeapi-image .
docker run -v $(pwd)/awesomeapi/:/work/awesomeapi -p 7777:8000 -it —rm —name awesomeapi-container awesomeapi-image /bin/bash ```ファイルを作成して、Dockerコンテナ内にもファイルが共有されていることを確認する。
ローカル上にawesomeapi/main.pyを作成。
├── Dockerfile ├── README.md └── awesomeapi └── main.py ``````python main.py from typing import Optional from fastapi import FastAPI app = FastAPI()
@app.get("/")
def read_root():return {"Hello": "World"}@app.get("/items/{item_id}")
def read_item(item_id: int, q: Optional[str] = None):return {"item_id": item_id, "q": q}```Dockerコンテナ内で、ファイルを確認。
```bash # pwd work # ls awesomeapi main.pu ```Dockerコンテナ内で、必要なPythonライブラリをインストール。
```bash # 先にpip自体のバージョンを最新化$ pip install --upgrade pip $ pip install fastapi uvicorn ```Dockerコンテナ内で、FastAPIサーバを起動。
```bash $ uvicorn awesomeapi.main:app --host 0.0.0.0 --reload ````http://localhost:7777/`にアクセスして、Docker内の`localhost:8000`に立てられたFastAPIサーバと疎通できていることを確認。
具体的にはブラウザに`{"Hello":"World"}`と表示されるはず。これがレスポンス。
ためしに`main.py`の`read_root`メソッドにある`{"Hello":"World"}`を編集してブラウザをリロードしてみる。するとレスポンスも変わるはず。
### 4. Docker ComposeでFastAPIサーバを起動する
コンテナ内に入らずに開発できるようにする。
まず必要なPythonライブラリを`requirements.txt`にまとめる。
```bash .
├── Dockerfile ├── README.md ├── awesomeapi │ ├── __pycache__ （以降は省略）
│ └── main.py └── requirements.txt ``````requirements.txt fastapi uvicorn ```次にrequirements.txtをDockerイメージ内に追加してライブラリをインストールするように、Dockerfileに追記する。
```Dockerfile FROM python:3.8.5-slim WORKDIR work ADD awesomeapi /work/awesomeapi ADD requirements.txt /work/requirements.txt RUN pip install --upgrade pip && \pip install --no-cache-dir -r requirements.txt ```さらにDockerコンテナを起動したときにFastAPIが起動されるように追記する。
```Dockerfile FROM python:3.8.5-slim WORKDIR work ADD awesomeapi /work/awesomeapi ADD requirements.txt /work/requirements.txt RUN pip install --upgrade pip && \pip install --no-cache-dir -r requirements.txt CMD ["uvicorn","awesomeapi.main:app","--host","0.0.0.0","--reload"]```新しいDockerイメージをbuildして、そのイメージからコンテナをrunする。`docker run`の末尾の`/bin/bash`がなくなったことに注意```bash docker build -t awesomeapi-image .
docker run -v $(pwd)/awesomeapi/:/work/awesomeapi -p 7777:8000 --rm --name awesomeapi-container awesomeapi-image ```最後に、これらのDockerイメージのbuild・コンテナのrunを簡単にするためにDocker Composeを使う。
次のようなdocker-compose.ymlを作成して、`docker-compose up`で起動```bash .
├── Dockerfile ├── README.md ├── awesomeapi │ └── main.py ├── docker-compose.yml └── requirements.txt ``````docker-compose.yml version: '3'services:app:build: .
ports:- '7777:8000'volumes:- ./awesomeapi:/work/awesomeapi ``````bash docker-compose up ```同じく`localhost:7777`にアクセスでき、`main.py`を編集すれば反映されることを確認。
ここまでで、（データベースを使わない）APIサーバの開発環境を作成することができた。いったんgitリポジトリにコミット。
```bash git add .
git commit -m "Initial Commit"git push origin master ```### ４. Google Cloud Runにデプロイしてサービスを公開するCloud Runに移動して、「サービスを作成」をクリック。
* リージョン: asia-northeast1 * サービス名: awesomeapi * 「未認証の呼び出しを許可」
「次へ」をクリックしたあと、「コンテナイメージのURL」でawesomeapi-imageのlatestを選択。
すると自動でGoogle Cloud Buildをつくってビルド、デプロイをしてくれる。
しかしこの状態では失敗する。Cloud RunでDockerを使う場合は8080ポートで通信を待つ必要があるからだ。
そのためDockerfileを修正して、gitにpush。
```Dockerfile FROM python:3.8.5-slim WORKDIR work ADD awesomeapi /work/awesomeapi ADD requirements.txt /work/requirements.txt RUN pip install --upgrade pip && \pip install --no-cache-dir -r requirements.txt CMD ["uvicorn","awesomeapi.main:app","--host","0.0.0.0","--port","8080"]```ビルドが自動開始するのを確認。完了したらCloud Runに戻って、Cloud RunのURLに飛ぶと、同様のレスポンスを取得できる。これでサービスが公開された。
## 5. FirestoreをつかってNoSQLを利用できるようにする
Google Cloud Firestoreに移動。「ネイティブモードを選択」をクリック。リージョンはasia-northeast1にして「データベースを作成」をクリック。
先にコレクションを作ってしまう。テストで次のようにした。
* コレクションID: users * ドキュメントID: 自動割り当て* フィールド:* name: koboriakira (フィールドタイプ string)
* age: 31（フィールドタイプ number）
つぎにFirestoreのデータを読み取れるように実装を進める。
```requirements.txt fastapi uvicorn google-cloud-firestore ``````main.py from typing import Optional from fastapi import FastAPI from google.cloud import firestore app = FastAPI()
db = firestore.Client()
@app.get("/")
def read_root():docs = db.collection(u'users').stream()
result = {}for doc in docs:result[doc.id] = doc.to_dict()
return result @app.get("/items/{item_id}")
def read_item(item_id: int, q: Optional[str] = None):return {"item_id": item_id, "q": q}```いったんローカルのテストは無視して、`git commit`そして`git push`する。Cloud Buildが自動的にスタートする。
ビルドが成功してCloud Runのコンテナが最新化したことを確認したら、サービスのURLに飛ぶ。
レスポンスが`{"4Ja4sXQ6DiIDX3N0kYmW":{"age":31,"name":"koboriakira"}}`のようになっていれば、データベースを利用できていることがわかる。
### 6. Firestoreをつかった開発環境をつくる
さきにdocker-compose.ymlのportsも8080に修正しておく。
```docker-compose.yml version: '3'services:app:build: .
ports:- '7777:8080'volumes:- ./awesomeapi:/work/awesomeapi ```つぎにこのFirestoreを扱えるように認証まわりの設定をする。
「IAMと管理」 > 「サービスアカウント」に移動。`<プロジェクトID>@appspot.gserviceaccount.com`というアカウントがあるはずなので、クリックしてアカウント詳細画面へ。
画面下の「キー」で「鍵を追加」をクリック。JSONでキーを作成すると、jsonファイルがローカルに自動でダウンロードされる。
このファイルを内に配置し、誤ってpushしないように.gitignoreを編集する```bash .
├── Dockerfile ├── README.md ├── awesomeapi │ ├── __pycache__ │ │ └── main.cpython-38.pyc │ └── main.py ├── docker-compose.yml ├── my-awesome-api-290501-9b5ca70ce0e8.json └── requirements.txt ``````.gitignore # credentials my-awesome-api-290501-9b5ca70ce0e8.json （以下省略）
```念のため`git status`でjsonファイルがgit管理対象でないことを確認しておく。
このjsonファイルをDockerコンテナに入れたいので、docker-compose.ymlを編集する。
```docker-compose.yml version: '3'services:app:build: .
ports:- '7777:8080'volumes:- ./awesomeapi:/work/awesomeapi - ./my-awesome-api-290501-9b5ca70ce0e8.json:/work/credentials.json environment:- GOOGLE_APPLICATION_CREDENTIALS=/work/credentials.json ```※Dockerfileにjsonファイルを含めるような編集をすると、のちの自動ビルド時にjsonファイルが見つからないためエラーになる。
`docker-compose up`でコンテナを開始して、`localhost:7777`にアクセスして、同様にデータベースを使っていることを確認する。
## 7. ビルド構成をファイル管理する
Google Cloud Buildの「トリガー」に移動して、作成されたトリガーの詳細に移る。
`cloudbuild.yaml`を作成し、詳細内にある「インライン」で定義されている設定ファイルの記述をコピペする。
```bash .
├── Dockerfile ├── README.md ├── awesomeapi │ └── main.py ├── cloudbuild.yaml ├── docker-compose.yml ├── my-awesome-api-290501-9b5ca70ce0e8.json └── requirements.txt ``````cloudbuild.yaml steps:- name: gcr.io/cloud-builders/docker args:- build - '--no-cache'- '-t'
- '$_GCR_HOSTNAME/$PROJECT_ID/$REPO_NAME/$_SERVICE_NAME:$COMMIT_SHA'
- .
- '-f'
- Dockerfile
id: Build - name: gcr.io/cloud-builders/docker args:- push - '$_GCR_HOSTNAME/$PROJECT_ID/$REPO_NAME/$_SERVICE_NAME:$COMMIT_SHA'id: Push - name: gcr.io/google.com/cloudsdktool/cloud-sdk args:- run - services - update
- $_SERVICE_NAME
- '--platform=managed'
- '--image=$_GCR_HOSTNAME/$PROJECT_ID/$REPO_NAME/$_SERVICE_NAME:$COMMIT_SHA'
- >-
--labels=managed-by=gcp-cloud-build-deploy-cloud-run,commit-sha=$COMMIT_SHA,gcb-build-id=$BUILD_ID,gcb-trigger-id=$_TRIGGER_ID,$_LABELS
- '--region=$_DEPLOY_REGION'
- '--quiet'
id: Deploy entrypoint: gcloud images:- '$_GCR_HOSTNAME/$PROJECT_ID/$REPO_NAME/$_SERVICE_NAME:$COMMIT_SHA'options:substitutionOption: ALLOW_LOOSE substitutions:_TRIGGER_ID: 33942bf8-952d-4bf8-8bf0-52dd2d45409d _SERVICE_NAME: awesomeapi _DEPLOY_REGION: asia-northeast1 _GCR_HOSTNAME: asia.gcr.io _PLATFORM: managed _LABELS: gcb-trigger-id=33942bf8-952d-4bf8-8bf0-52dd2d45409d - gcp-cloud-build-deploy-cloud-run - gcp-cloud-build-deploy-cloud-run-managed - awesomeapi
```Google Cloud Buildのビルド構成を「インライン」から「Cloud Build構成ファイル」に変えて「保存」をクリック。
## 8. テストを作成して、CIを整える
テスト用に適当なメソッドをつくる。
```bash .
├── Dockerfile ├── README.md ├── awesomeapi │ ├── calculate.py │ └── main.py ├── cloudbuild.yaml ├── docker-compose.yml ├── my-awesome-api-290501-9b5ca70ce0e8.json ├── requirements.txt └── tests └── test_calculate.py ``````calculate.py def add(a: int, b: int) -> int:return a + b ``````test_calculate.py from awesomeapi import calculate def test_add():assert calculate.add(2, 3), 5 ```ローカルでpytestを実行。
```bash $ python -m pytest ========================== test session starts ===========================platform darwin -- Python 3.8.2, pytest-6.0.1, py-1.9.0, pluggy-0.13.1 rootdir: /Users/canary/git/awesomeapi collected 1 item tests/test_calculate.py . [100%]=========================== 1 passed in 0.02s ============================```Docker上でもテストが行えるように、pytestをライブラリに追加し、testsフォルダをDockerイメージに追加する。
```requirements.txt fastapi uvicorn google-cloud-firestore pytest ``````Dockerfile FROM python:3.8.5-slim WORKDIR work ADD awesomeapi /work/awesomeapi ADD tests /work/tests ADD requirements.txt /work/requirements.txt RUN pip install --upgrade pip && \pip install --no-cache-dir -r requirements.txt CMD ["uvicorn","awesomeapi.main:app","--host","0.0.0.0","--port","8080"]```cloudbuild.yamlを編集して、テストを追加する。
```cloudbuild.yaml steps:- name: gcr.io/cloud-builders/docker args:- build - '--no-cache'- '-t'
- '$_GCR_HOSTNAME/$PROJECT_ID/$REPO_NAME/$_SERVICE_NAME:$COMMIT_SHA'
- .
- '-f'
- Dockerfile
id: Build - name: gcr.io/cloud-builders/docker args:- run - '$_GCR_HOSTNAME/$PROJECT_ID/$REPO_NAME/$_SERVICE_NAME:$COMMIT_SHA'- python
- -m
- pytest
id: Test （以下略）
```gitにコミットして、Cloud Buildを走らせる。ビルドが通ればテストの自動実行設定もできた。
### 9. このあとやりたいこと
* ビルド結果をSlack等に通知* そのアプリをつくる？
* またはPubSubを勉強する必要がありそう* ストレージに保存したい* 保存はできた。バゲットを示す環境変数はCloud Runにも必要* svgを作成して保存したりしたい* svgは別途勉強しないといけない
---
パッカーズ対セインツのプレビューを書いて（あまり深い内容にならなくて反省）、とりあえず今日は終わり。明日以降はフロントエンドをやりなおして、APIサーバを利用したサイトを作ってみて終わり。
## 2020年9月25日、金曜日
今日も雨でBと散歩には行けなさそう。
ドルフィンズ対ジャガーズの試合をチラ見しながらReactとCircleCIの導入にチャレンジ。またkoboriakira.comをGoogle Domainsに移行した。サブドメインを使ったアプリ公開が楽になりそうなので嬉しい。
---
個人開発に関して、すこしまとめておこうと思う。
* 管理* masterブランチとfeatureブランチで運用する* masterブランチにコミットしないようpre-commitを利用する* masterブランチにはPRでマージする* CircleCIを利用して、各コミットごと（PRごと）にテストを回す* フロントエンド* React + TypeScriptで開発* masterブランチをNetlifyにデプロイして公開する* バックエンド* Google Cloud Runを利用して、REST APIでサービス公開する* Cloud Runには、Google Cloud Build(Google Container Repository)を利用して自動デプロイを整える* データベースはGoogle Cloud Firestore、ファイル管理はGoogle Cloud Storageを利用する* 今後のチャレンジ* フロントの認証機能をつける* ネットワークやロギングについて改善できることがないか調べる* CIにおいて、テスト結果をSlackなどに連携させる* 上記のプロジェクトのテンプレートを用意する* Firestore、NoSQLを使ったモデリングのベストプラクティスを学ぶ* 他のGPCのサービスを利用する* gRPCを学ぶこの数週間で個人でアプリケーション開発ができる状態にはなってきた。一方で運用フェーズでは必ず問題点が発生しそうな気がしている。なのでさまざまなことを出来るようにしつつ、公開後に必要となる知識もすこしずつ触れてみようかなと考えている。
とりあえずFirebase Authenticationを使って会員登録／ログイン機能を実装してみて（以前にやったけどもう忘れていた）、いよいよアプリケーション開発にとりかかる。シンプルなカウンターのアプリにするつもり。
## 来週のアウトプット
- Google認証を実装する
- カウントアプリのページ遷移をつくる
- 保育園の見学プランを立てる（残り分）
- 初日と2日目のパートをつくる
- 試合に関する情報を集める
バックエンドはなんとか最初のステージを突破したので、フロントエンドを再学習しながらアウトプットに努める。