Terraform Cloud Agent をKubernetes で管理する

Terraform Enterprise, Terraform Cloud Business で利用できるTerraform Cloud Agent をKubenetes 上で動かした際のメモです。

Terraform Cloud Agent(以下TFC Agent) は、有償版のTerraform のTerraform Enterprise、Terraform Cloud Business で利用出来る機能です。

TFC Agent はコンテナイメージとして利用出来ますが、TFC Agent をKubernetes 上で稼働させた際のメモです。

TFC Agent のイメージ作成

この手順では、プライベートなコンテナレジストリを利用する場合を想定しています。カスタムTFC Agent イメージは「Terraform Cloud Agent コンテナをカスタマイズする」と同様に作成し、Harbor レジストリにプッシュしたものを利用します。

TFC Agent 用マニフェストの作成

Deployment リソースとしてTFC Agent を立ち上げます。以下の様な形でマニフェストを用意します。

$ kubectl create deployment tfc-agent --image=registry.<MYDOMAIN>/my-container-repo/tfc-agent-with-tanzu --dry-run=client -oyaml > deployment-tfc-agent-tanzu.yml

 

雛形となるファイルdeployment-tfc-agent-tanzu.yml を修正して、以下の様にマニフェストを作成します。TFC_AGENT_TOKENとTFC_AGENT_NAME は環境に応じた値に書き換えて、マニフェストファイルを作成します。

apiVersion: apps/v1
kind: Deployment
metadata:
  creationTimestamp: null
  labels:
    app: tfc-agent
  name: tfc-agent
spec:
  replicas: 1
  selector:
    matchLabels:
      app: tfc-agent
  strategy: {}
  template:
    metadata:
      creationTimestamp: null
      labels:
        app: tfc-agent
    spec:
      containers:
      - image: registry.<MYDOMAIN>/my-container-repo/tfc-agent-with-tanzu:latest
        name: tfc-agent-with-tanzu
        resources:
          requests:
            memory: "64Mi"
            cpu: "250m"
          limits:
            memory: "128Mi"
            cpu: "500m"
        env:
        - name: "TFC_AGENT_TOKEN"
          value: <TFC_AGENT_TOKEN>
        - name: "TFC_AGENT_NAME"
          value: <TFC_AGENT_NAME>

リソースのデプロイ

個別のネームスペースを作成し、そのネームスペースにTFC Agent のDeployment リソースを適用します。

k create ns tfc-agent

 

プライベートレジストリであるHarbor 認証情報をSecret リソースとして作成します。レジストリ情報に関しては、環境に応じて修正します。

k -n tfc-agent create secret docker-registry regsecret --docker-server=registry.<MYDOMAIN> --docker-username=******** --docker-password='********' 

 

作成したSecret リソースをdefault サービスアカウントにpatch しておきます。

k -n tfc-agent patch sa default -p '"imagePullSecrets": [{"name": "regsecret" }]' 

 

作成したマニフェストをデプロイします。

k -n tfc-agent apply -f deployment-tfc-agent-tanzu.yml 

 

少し待つと、以下の様にマニフェストで定義したリソースがデプロイされている事を確認出来ます。

$ k -n tfc-agent get all
NAME                             READY   STATUS    RESTARTS   AGE
pod/tfc-agent-64f9c46fd6-6x9k8   1/1     Running   0          68s

NAME                        READY   UP-TO-DATE   AVAILABLE   AGE
deployment.apps/tfc-agent   1/1     1            1           68s

NAME                                   DESIRED   CURRENT   READY   AGE
replicaset.apps/tfc-agent-64f9c46fd6   1         1         1       68s

TFC からの確認

Terraform Cloud のワークスペースの"Settings" -> "Execution Mode" -> "Agent" 設定しているワークスペースでTerraform Run($ terraform plan & terraform apply) を実行します。

 

Podのログを確認すると、TFC Agent で処理がなされている事を確認する事が出来ます。もちろん、Terraform Cloud 上でも処理が正常に終了している事が確認出来ています。

$ k -n tfc-agent logs pod/tfc-agent-64f9c46fd6-6x9k8
2021-11-01T02:19:35.086Z [INFO]  agent: Starting: name=tfc-agent-on-fender version=1.0.0
2021-11-01T02:19:35.094Z [INFO]  core: Starting: version=1.0.0
2021-11-01T02:19:35.806Z [INFO]  core: Agent registered successfully with Terraform Cloud: agent.id=agent-******** agent.pool.id=apool-********
2021-11-01T02:19:35.899Z [INFO]  agent: Core version is up to date: version=1.0.0
2021-11-01T02:19:35.899Z [INFO]  core: Waiting for next job
2021-11-01T02:23:41.510Z [INFO]  core: Job received: job.type=plan job.id=run-********
2021-11-01T02:23:41.511Z [INFO]  terraform: Handling run: run.id=run-******** run.operation=plan organization.name=******** workspace.name=********
2021-11-01T02:23:41.511Z [INFO]  terraform: Downloading Terraform release: url=https://releases.hashicorp.com/terraform/1.0.7/terraform_1.0.7_linux_amd64.zip
2021-11-01T02:23:46.002Z [INFO]  terraform: Extracting Terraform from release archive
2021-11-01T02:23:47.606Z [INFO]  terraform: Terraform CLI details: version=1.0.7
2021-11-01T02:23:47.606Z [INFO]  terraform: Downloading Terraform configuration
2021-11-01T02:23:47.818Z [INFO]  terraform: Running terraform init
2021-11-01T02:23:53.531Z [INFO]  terraform: Running terraform plan
2021-11-01T02:23:59.500Z [INFO]  terraform: Generating and uploading plan JSON
2021-11-01T02:24:04.315Z [INFO]  terraform: Generating and uploading provider schemas JSON
2021-11-01T02:24:09.406Z [INFO]  terraform: Persisting filesystem to remote storage
2021-11-01T02:24:15.352Z [INFO]  terraform: Finished handling run
2021-11-01T02:24:15.655Z [INFO]  core: Waiting for next job
2021-11-01T02:24:50.253Z [INFO]  core: Job received: job.type=apply job.id=run-********
2021-11-01T02:24:50.253Z [INFO]  terraform: Handling run: run.id=run-******** run.operation=apply organization.name=******** workspace.name=********
2021-11-01T02:24:50.426Z [INFO]  terraform: Extracting Terraform from release archive
2021-11-01T02:24:51.931Z [INFO]  terraform: Terraform CLI details: version=1.0.7
2021-11-01T02:24:51.931Z [INFO]  terraform: Restoring filesystem from remote storage
2021-11-01T02:24:55.493Z [INFO]  terraform: Running terraform init
2021-11-01T02:24:59.243Z [INFO]  terraform: Running terraform apply
2021-11-01T02:25:05.510Z [INFO]  terraform: Finished handling run
2021-11-01T02:25:06.375Z [INFO]  core: Waiting for next job