VMWorld 2020でTanzu Mission Controlのハンズオンを受けたのでそのまとめ

VMware Tanzu Mission Controlが必要とされる背景

VMwareが提唱するTanzuの世界観においては、Kubernetes Clusterはオンプレミス、パブリッククラウド問わずどこにでもデプロイされる。加えてマルチテナンシーの提供やアプリケーション毎の隔離要件等の理由でクラスタは増加の一途をたどる。そうしたマルチクラウドプロバイダー/マルチクラスターの環境に置いて一貫した管理を提供する。

VMware Tanzu Mission Controlとは

公式はこちら。

Tanzu Mission Controlは様々なクラウドプロバイダー上に展開された複数のKubernetesクラスターに対して、単一の操作ポイントを提供するSaaSサービス。以下のような機能を提供する。
-クラスタライフサイクル管理
- Identity and Access Management
- セキュリティと構成管理
- 監視（Observability and Diagnostics）
- バックアップ/リカバリ―
- 監査とコンプライアンス
- 接続性とトラフィック管理

このうち代表的な以下の機能について取り上げる。
クラスタマネジメント
TMCでデプロイしたクラスタだけでなく、外部のKubernetesクラスタも取り込んで管理ができる（Attached Clusters）

クラスタインスペクション
SonobuoyはKubernetesのコンフォーマンステスト（規格適合試験）機能を提供する。Sonobuoyにセットされた試験をパスすることで、ベストプラクティスにのっとった構成か、予測可能な状態（意訳:変な設定入ってないか）か、互換性のある状態になっているかがチェックできる。

アーキテクチャ

SaaSサービスのため、プラットフォーム的なアーキテクチャは単純に各Kubernetes クラスタが当該SaaSに接続する形になる。
ソフトウェア的には（当然と言えば当然だが）マルチテナンシーを考慮した構成が可能。それぞれのカスタマーは「組織」の元で「クラスターグループ」と「ワークスペース」を作成する。
「クラスターグループ」はKubernetesクラスターを似たようなポリシーを配布するかたまりとしてグルーピングする際に使用する。
「ワークスペース」はNamespaceを束ねる単位として使用する。
グループは階層化して管理することができ、DirectポリシーとInheritポリシーのそれぞれが利用可能である。

どうやって使う

SaaS上のサービスのため、該当のURLにログインしたのちTanzu Mission Controlを選択してログインする。

クラスターの作成

Clusters から”CREATE CLUSTER”を選択して作成する。クラスタを展開するプロバイダの指定などはできなかった、、、まだAWSしか対応していない？のか？
クラスタは名前、Region、マスターの冗長性（Single or HA）およびインスタンスのサイズ（デフォルトはm5.large）をウィザードに従い指定することで作成できる。HAを選択した場合は各マスターノードのAZが指定できる。

作成されたクラスタはこんな感じで見える。

…とここまででLabの有効期限が切れてしまい検証終了。

感想

あくまで個人の意見です。

・Sonobuoyによる設定/ポリシーのチェックが複数のKubernetesクラスターに対してかけられるのは管理者にとってメリットが大きい。あとはいろんなクラスタを試した段階でどれだけノイズ（誤検知）がでるか、ポリシーのカスタマイズが容易にできるかが気になるところ。
・クラスタのプロビジョニングは当然ながらとても簡単。
・この界隈はRancher、Google Anthos、OpenShift Advanced Cluster Managementなども同じくマルチクラウド/マルチKubernetesクラスタの管理ツールを提供しており今後も激しい競争があると予想される。今後次々と機能拡充されることが期待できるため現時点での機能比較はあまり意味がないため言及しないが、後発であるVMwareが今後Tanzuファミリー全体としてのシェアを拡大してくにあたり、TMCが同カテゴリの主要なプレイヤーの一人として上がってくるであろう。

会社の補助があってオンライン英会話@Englishのレッスンを受ける機会があったのでその記録。

What is ＠English

以下は法人契約によるものも含まれるため@English全般の話ではないのでご注意を。

• オンライン英会話。1レッスン30分。
• Skypeを使って講師と会話レッスンをする。
• ネイティブ講師中心、カナダの講師が多い。そのためレッスンは夜2030~2300。昼のコースは講師がフィリピンからJoinするとのこと。

私の英語レベルと英語利用頻度

• 留学経験なし。いわゆる純ジャパ。海外出張は最長1週間を3回くらい。海外旅行も5か国くらい？でいうほど経験なし。
• 8年前くらいから「年収上げるなら英語やろ」という情報商材に駆られたのか英語の学習を始め、TOEIC450→660→760→3年前840くらい。4年前くらいにマンツーマン英会話に通ったことがある。
• 2019年7月からGlobal所属の部署に異動し、ミーティングが英語になった。今は週に3回ほど英語のミーティングがある。

Motivation

会社のカネでオンライン英会話を受けられる…というのがきっかけ。日頃からミーティングでもうちょい「いい感じの」発言とか思ったことをより正確に伝えられたらなぁ…という気持ちはあったので機会に便乗することにした。

受講の雰囲気

受講までの流れは以下の通りであった。

1. 会社で申し込み
2. 日本人のコーディネーターのような人からメール、Skypeで英語利用の状況、レベル、どんな形で使いたいか、などを話し合う。今回はビジネス用途の契約なのである程度縛られている印象。初回レッスンの予約もこの時に実施。
3. 初回レッスン実施。

初回受講(Interview形式)はこんな感じ

時間通りにSkypeコールが鳴る。最初は自己紹介などをする。この時、「だいたいのプロファイルはあるんだけど詳しく教えて」みたいな聞かれ方をする。
その後のお題は長文を構造的に話させるためのレッスンとして、
・お題が出される（例：今までで一番Excitingなプロジェクトは？いままでで一番難しいかったプロジェクトは？など）
・30秒Thinking Time
・1分で話す
というのを3つくらいやる。自己紹介、お題それぞれ話した後かるくフィードバック（今のはこうゆう意味だよね、こうやって言い換えるといいよ、など）

次の日にフィードバックがメールで届く。

二回目の受講はこんな感じ

前回と同じ講師だったので自己紹介は軽め。同じく30秒Thinking、1分Talkをお題を変えて実施。今までで一番Excitingだった／Excitingだったプロジェクト、過去5年間で1番の変化は… など。

三回目以降の受講はこんな感じ

前回と別の講師だったので自己紹介からスタート。家族構成や週末の趣味などを聞かれる。そのあとは届いたテキストに従って授業。私の場合は異文化を知るみたいなお題からスタート。テキストReading、そのあと小問で何が書いてあったかを述べる。

フィードバックの内容

メールで届くフィードバックは「こう言ってたけどこう言い換えた方がいいよ」という内容。細かくメモしてくれていて非常にありがたい。講師にもよるのだろうが10~15くらいのmiscollectionをしてくれる。

-instead of “gather customer’s requirement” you could say that one of your responsibilities is to “assess the customer’s needs”

-instead of “propose the solutions to customer and gain the order” you might say your job is to “propose a solution for the customer and secure the order”

-you could say “our job performance is evaluated by the amount of orders we get and the technical innovation of the solution”

感想

Pros

・会話時間が長めに確保されていて満足感がある。30分はあっという間。
・講師はアメリカ、カナダのネイティブで難しい単語もまぁまぁ放り込んでくるので実際の現場に近い印象。
・フィードバックが丁寧。

Cons

・基本的に遅い時間しか選択不可。これは私はかえってありがたかったので問題なし。
・会員用Webサイトがアレ。
・テキストがだいぶ古く着てる服や什器などに時代を感じてしまう。

総じて良いと思いました。まぁ結局は自分の予習・復習と継続が一番大事ということで…。

Background

仕事でDeepLearingを絡めたソリューション()を何かしら企画・開発することがちまちま発生する。Kubeflowを動かしてその場しのぎをしてきたものの、ここらでちゃんとアプリケーション側の特性をつかんでおきたいと思い物色していたところ、CourseraからDeepLearning.AI TensorFlow Developer Professional Certificateの案内が届いたためやってみることにした。要は初心者がMLを学んでいく過程について記載しているものです。

このコースについて

このコースは7日間無料で受講できる。7日を過ぎて受講したい場合、約5000円/月の受講料が必要なようだ。

コースの内容は全て英語で行われるが、動画の下部にスクリプトが表示され、日本語も選べる。最初英語で受けていたがMachine Learning特有の用語（例：勾配降下法とか）は私には理解しがたいので日本語を表示させることにした。
ビデオによる講義のほか、ハンズオン教材も用意されている。

環境の準備

このコースではTF2.0が推奨環境という事だったので事前に構築してあったKubeflow1.1上のJupyter Notebookを使ってTF2.0のNotebookをデプロイして利用することにする。コースの中ではGoogle Colaboratoryをつかうことになっているのでもちろんそれでも可能。

トレーニングの内容

コンセプト

序盤はDeep Learningのコンセプトについての説明。一般のプログラミングアルゴリズムとMLのアルゴリズムの違いについて説明がある。
通常のプログラミング（ここではTraditional Programming）は、
・入力：ルール、データ
・出力：答え
であるのに対し、Machine Learningでは
・入力：答え、データ
・出力：ルール
であるということ。
例として「人が何の動作をしているか認識するプログラム」を考えるとき、通常のプログラミングでは一つの指標（歩いている速度等）を条件に分類していくのに対して、MLでは動作している状態を最初に学習させ、そのルール（パターン）を導き出すという違いがある。
さらなる例として、y=2x-1という「ルール」を
あらかじめ知っている=従来のプログラミング=では「xが与えられたときにyを返す」のに対し、MLでは答え（x=-1, y=-3)を事前に与えられた上で方程式を探すもの、という事である。

Week-1 : Hands-on

Hands-on用のGithub Repositoryはこちら。
https://github.com/lmoroney/dlaicourse.git

Hello World的なプログラム
https://github.com/lmoroney/dlaicourse/blob/master/Course%201%20-%20Part%202%20-%20Lesson%202%20-%20Notebook.ipynb

このプログラムで使われているのは以下。
・tensorflow.keras.Sequential:モデルの層を定義する関数
・keras.layers.Dense: 各々の総をConfigureする関数
・mode.comple: 学習プロセスの設定
・model.fit: モデルのトレーニング
・model.predict: モデルを使った推論

Quiz

セクションの終りにはQuizがあり、80%以上正当しないと次に進めない。
用語についての確認もあるのでしっかり理解しておくことが必要。
- Labelling: the process that the data represents
- Dense: Layer of connected neurons
- Optimizer: Generates a new and improved guess
- Loss: Measures how good the current ‘guess’ is
- Convergence: The process of getting close to the collect answer

Week-2: Hands-on

Week2はFasion MNISTを使った画像判定。前回のNeuronは1層だったが今回は3層になる。覚えるべき主要な関数は以下。

• mnist.load_data(): mnistデータをダウンロードしとトレーニングデータとテストデータに分割してくれる。
• tf.keras.layers.Flatten(): 画像データを1次元のセットに変換する
• tf.keras.layers.Dense(128, activation=tf.nn.relu): 活性化関数。“If X>0 return X, else return 0” — 入力値が0以下の場合は常に0、0より大きい場合は入力値を返す
• tf.keras.layers.Dense(10, activation=tf.nn.softmax): 同じく活性化関数。0~

Exerciseの中ではコードの説明だけでなく各関数について

• 値を変えてみた場合の動作（実行時間、精度など）の違い
• ある関数を記載してみなかった場合の動作（エラーになるのはなぜ？）
• Layersを追加した場合の実行時間、精度の違いは？
• 学習の途中結果を繰り返し条件にしたい場合（Callback）は？

など細かく検証した結果を確認することができる。これは私のような初心者にとって、今までなら気にせず流してしまっていたような箇所を教えてくれるのでとてもありがたい。あんまり「あえて遠回りさせてみる」系の教材って少なくないですか？

感想

ここまでWeek2分まで消化しただけであるが、非常に楽しく学習できている。数学的な知識をかなり隠ぺいしつつ、何も知らない受講者に対して一つずつ情報を整理して並べてくれている印象。これまで試してみた書籍や某オンライン授業などと比べても圧倒的に理解度が高く感じる。
一通り消化した後に自分でコード書いたりしてみようと思う。

TL;DR

Kubeflowは四半期に一回くらい触れなければならない時があり、その都度穴という穴全部踏んでるんではないかというくらいハマる。最終的にインストールできたわーとなった後、別の機会でもう一度やろうとしたときにもう一度ハマる。ということを繰り返しているので今回はちゃんとメモろうと思う。

導入するもの

• Kubeflow 1.1 細かくは末尾参照。

$ kfctl version
kfctl v1.1.0-0-g9a3621e

導入の仕方

今回Kubeflow 1.1が必要になった。が、手元には0.7しかない。そして1.1の導入にもし失敗したときにKubeflowが何もなくなってしまうので上書きしたくはない。という事で
1. Kubeflow 0.7のVMをクローン
2. クローンしたVMの0.7を消す
3.1.1を入れる
という手順にすることにした。

導入環境

1ノードクラスタ、Master/Worker兼任。ヘタレですんません。

OS： 18.04.3 LTS (Bionic Beaver)
Kubernetes: v1.15.7

ハマったこと

PV

いつもやってしまう。通算何度目？
今回はこれ使ってみた。NodeのローカルディスクをDinamic ProvisioningのStorage Classとして作れるので今回のような「外部ストレージとかがっつり用意するのも面倒なんだけどDinamic Provisioningはほしい」ってときに結構便利。

必要ならdefault storageClassにしておこう。

apiVersion: storage.k8s.io/v1
kind: StorageClass
metadata:
  annotations:
    storageclass.kubernetes.io/is-default-class: "true"

リソース不足

元々0.7の環境は4vCPUで動いていた。が今回はリソース不足で動かず。面倒なので12vCPUまで上げた。最終的なリソース消費量はこれくらいでした。（繰り返し：1ノードでMaster/Worker兼任させて動いている状態でこのくらい）

$ kubectl describe node
…Allocated resources:
  (Total limits may be over 100 percent, i.e., overcommitted.) …

TL;DR

vSphere with TanzuがvSphere 7.0 Update 1のリリースとともに発表された。これによりそれまでvSphere上でNativeにPodを動かすために必要とされていたVCF (VCloud Foundation) が不要になり、導入のハードルが著しく下がることが明確になった。

※なお所属する組織の見解とは当然ながら一切関係なく単なる妄想でございます。

リリースの内容

Officialのリリース内容はこちら。

Many customers on vSphere, while looking to eventually move to VCF, wanted to get started ASAP with Kubernetes and asked us for a faster path to Kubernetes, but on their existing network and storage infrastructure. That’s why today, as part of the release of vSphere 7 Update 1, we’re announcing vSphere with Tanzu.

こちらのYoutubeも短くてわかりやすい。

所感

正直VCF with Tanzuの時は見る気もしないというか、誰が買うんじゃこれって感じだった。また正直NSX-Tとのインテグレーションを強味として押していくものかとてっきり思っていたのであっさりと切り捨てたのは意外。これはVCF付きでは思ったよりも売れず方針を転換したのか、最初高いと見せてハードルを下げるブランディング戦略なのか実のところを聞いてみたい。製品開発は急に舵を切れないだろうから、もとから予定されていたのだろう。

Kubernetesディストリビューション戦争に与える影響

主要な製品は3つに絞られると言われる。多数のKubernetesディストリビューションも今後少数の主要なプレイヤーに絞られていくだろう。

コンテナ化したアプリケーションを動かすためのプラットフォームが完全に不要な会社、および全く検討していない会社はごくごく少数と思われる。ほぼ全ての企業がなんらかの検討はしている。一方で
・既存のアプリをコンテナ化してどれだけおいしいの
・なんでわざわざエフェメラルなコンテナの上で俺のアプリ動かさなアカンの
・このアプリ2年前からほぼ手を加えてないんですがそんなのもコン（略
をベンダーに聞いてくる人々、移行に対する懸念を持つ層が存在するのも事実である。

そんな人たちにvSphere with Tanzuによって、
・vSphere 7 Update1にするだけでPod動きますよ
・ボタン押したらクラスタできますよ
・メンテナンスはvCenterからできますよ、これまでの人たちでできます
という体験をその層に届けると何が起きるか…。とてもハマるような気がしませんか。大多数のIT組織にとって、「今までの仕事を変える必要はありません」というメッセージは強く響くのではないだろうか。

R社はUpstreamの機能をOperatorによってその利用のハードルを下げながら、多数の新機能を取り込んでいくことでその価値を高めている。G社の製品もPublic Cloud上で得られる革新をオンプレミスに届けることができるものである。

それに比べて、vSphere with Tanzuが打ち出す世界観は正直退屈に映る。が、多くのIT組織にとってそれで十分とみなされていくのではないだろうか。

不透明なところ

・価格。Add-Onでどれくらい追加ライセンス料金を課するのか。
・サポート。Pod上のアプリケーションやPodからのネットワークの接続性など、どの範囲でサポートを提供してくるか。
・リリース頻度。KubernetesのUpstreamにどのように追いついていくロードマップなのか、その時のvSphereのUpdateは従来よりも簡易・安全になっているか。

などをリリースまでのアナウンスを追いながら拾っていきたい。

当社のOffice Closeは2020年2月ごろから始まった。もともとうちのチームは半分くらい日本以外の在籍で普段からオンラインのコミュニケーションが中心であり、特にOffice Closeによって困ることはほとんどなかった。
個人としては普段Officeに20%くらい出勤して、残りは会社が契約しているコワーキングスペースに通っていた。そのためOffice Closeによって在宅勤務を整える必要があった。

我が家は2LDK 56㎡で4人家族といういわゆる狭小住宅に住んでいるので最初はリビングの食卓テーブルにPCを置いてで仕事をしていた。が、同じく在宅勤務をする妻と同じ食卓テーブルで向かい合って仕事すると(略)のため、子供部屋の一角の占拠に成功し、在宅勤務環境の整備にいそしむことになった。

在宅勤務に必要な条件

私の在宅勤務に必要な条件は以下であった。

・オンラインのコミュニケーションは社内70%(Teams / Zoom)、社外30%くらい。社外のオンラインツールは会社によって異なり、多い順でTeams、Zoom、Meet、Bulejeansってところだろう。
・一番多く使うツールは(残念ながら)コミュニケーションツール（メール、Tems）、次にOffice系。中でもPPT。次にVSCode（ターミナル含む）。

現在の在宅環境

結果的にこんな感じになった。

もともと持っていたものはPC以外何もなかったため、ひとつづつ色々と買いためていって今に至る。

買ったもの（什器編）

色々と投資をしたが、良かったものと後悔の残るものがある。

テーブル
★★★☆☆

見た目は結構いい。まぁまぁ安定してる。サイズは家の都合での限界だったが慣れれば何とかなる。棚がついているのでケーブルを収納できたり、PCのACアダプタをもってリビングと行き来したりするとき一次収納できるので便利。
ただ、この溝… ほこり入る。なぜ気づかなかったのか…。
https://www.nitori-net.jp/ecstatic/image/product/5650208/565020808.jpg?ts=20190725134450182

あと高さの調整ができない、これは他の人の昇降式タイプを見るたびに悶絶している。

PCスタンド

★★★★☆
特に不満なし。ただ今後キーボードを買った場合は不要になりそう。このちょっとしたスマホスタンドが便利。

タブレットスタンド

★★★★☆
こちらも特に不満なし。ただ充電可能なタイプにしても良かったかなと思う。

電気スタンド

★★★★★
これは我が家のコロナ禍最ヒット商品。子供部屋にもともとあった電球は若干暗かったため購入。暖色・寒色が選択でき、明るさも調整できる。場所もとらない。あんまりよくなさそうだけどヘッドホンもひっかけられる。

椅子代替のバランスボール

★★★★☆
当初は食卓用の椅子で仕事していたがすぐに腰がやられた。高級椅子を物色することに何時間費やしたかわからないが、結果的にバランスボールに落ち着く。最初は一日数時間かなと思っていたが案外ずっといける。痩せはしないが腰痛は亡くなった気がする（個人差あり）。安さで選んだ。
当方178㎝で↑のニトリ机に対して65㎝モデルを買ったが、もう一つ大きいタイプでもよかったかもしれない。

こうやって収納できるので意外に場所を取らない（？）

番外編

体育館がクローズしてしまいバスケットボールができなかったので、外でドリブル練習用に屋外用ボールを買った。今ではほとんど触ってない。

TL;DR

2020年9月1日からCKAの試験フォーマットが変更になった。もともとCKA
は2019年7月（v1.15時代）で合格していたが、今回Betaプログラムに参加して新フォーマットのCKA試験を受け、合格したので前後を比べた感想などを記しておく。

新旧比較 — 出題範囲と割合

（旧試験のものがリンク切れだったので手元にのこっていた画像を貼った。）上記から見える差分は以下のようなものがあげられる。
・ トラブルシューティングの割合が増加（10% -> 30%）
・ アプリケーションライフサイクルマネジメントが無くなる
・「クラスタのアーキテクチャ、インストール、構成」にRBAC、kubeadmが加わる
・「サービスとネットワーク」にIngressが加わる

新旧比較―試験フォーマット

新旧で違うこと。（左：旧、右：新）
・試験時間：3時間、2時間
・設問数 ：24問、18問

新旧でも同じこと。
・ブラウザベース。（ただし見た目はちょっと違う、使いやすくなって？る。）
・試験中にKubernetes.ioおよびGitHubのサイトが見れる。
・試験中はWebカメラを通じてProcecutorに監視される
・Kubernetes クラスタは最大3ノード（1Master / 2 Worker）

新旧比較－難易度

昨年CKAを取ったときはかなり気合を入れて準備をしていたが、今回はタダというのもあり無準備で臨んでいた。一方で昨年よりもKubernetes まわりの知識は積まれているので、単純な難易度比較は難しいところがある。個人的には主にKubernetes のインフラの仕事をしている人にはより親和性のある試験内容になっているのではないかと思う。
また全体的に試験問題と時間が少なくなった分、簡単すぎて意味がない問題と難しすぎて誰できるの？って問題は減ってる気がする。

必要な準備

尊敬する同僚@inductor さんのブログに書いてある準備はほぼ同意です。
https://blog.inductor.me/entry/2020/09/09/035521
Kubeadm使ってクラスタ構築するとだいたいハマるので自然とトラブルシューティング力がついていくものかと思う。
もっと体系的に/無駄なく勉強したい、という方は以下の項目にポイントをおいて学んでいくと良いと思う。

・Kubeadmを使ったインストールとアップグレードをやってみる
・Nodeのオペレーション（ステータス確認、ノードレベルおよびPodレベルのスケジューリングの制御）
・etcdのオペレーション（参照、バックアップ、リストアなど）
・クラスタ内の名前解決の仕組み
・PV / PVC / Pod内のボリュームマウント
・Network Policy
・クラスタレベルのトラブルシューティング手法（systemctl, journalctl）
・すべてのノードが停止状態から起動した場合、どんなプロセス/Podがどうやって起動しているか

今回改めてわかったこと

これまではコワーキング施設の個室を予約して受験していたが、家からでも受験ができる。

Betaプログラム

なんでか知らないが会社内で「参加しませんか？」的なやつが回ってきたのでタダで受けられた。一応CNCF Goldスポンサーだからなのか…？