版本：v1.11

整合 Velero 来备份和恢复 Karmada 资源

Velero 为你提供了备份和恢复 Kubernetes 集群资源和持久化卷的工具。你可以在公共云平台运行 Velero，也可以在私有云上运行 Velero。

Velero 让你：

对你的集群进行备份，并在丢失的情况下进行恢复。
将集群资源迁移到其他集群。
在开发和测试集群制作生产集群的副本。

本文举例说明如何使用 Velero 来备份和恢复 Kubernetes 集群资源和持久化卷。下面的例子备份了集群 member1 中的资源，然后将这些资源恢复到集群 member2 中。

启动 Karamda 集群

你只需要克隆 Karamda repo，并在 Karamda 目录下运行以下脚本。

hack/local-up-karmada.sh

然后运行下面的命令，切换到成员集群 `member1'。

export KUBECONFIG=/root/.kube/members.config
kubectl config use-context member1

安装 MinIO

Velero 使用来自不同云提供商的对象存储服务来支持备份和快照操作。为了简单起见，这里以在 k8s 集群上本地运行的一个对象存储为例。

从官方网站下载二进制文件。

wget https://dl.min.io/server/minio/release/linux-amd64/minio
chmod +x minio

运行下面的命令来设置 `MinIO' 的用户名和密码。

export MINIO_ROOT_USER=minio
export MINIO_ROOT_PASSWORD=minio123

运行此命令启动 MinIO:

./minio server /data --console-address="0.0.0.0:20001" --address="0.0.0.0:9000"

用你希望 "MinIO" 存储数据的驱动器或目录的路径替换 /data 现在我们可以访问 http://{SERVER_EXTERNAL_IP}/20001 在浏览器中访问 MinIO 控制台用户界面。而 Velero 可以使用 http://{SERVER_EXTERNAL_IP}/9000 来连接 MinIO。这两个配置将使我们的后续工作更容易和更方便。

请访问 MinIO 控制台，创建区域 minio 和桶 velero，这些将由 Velero 使用。

关于如何安装 MinIO 的更多细节，请运行 minio server --help 获得帮助，或者你可以访问 MinIO Github Repo。

安装 Velero

Velero 由两个部分组成。

一个在本地运行的命令行客户端
1. 为你的客户端平台下载 releasetarball。
```
wget https://github.com/vmware-tanzu/velero/releases/download/v1.7.0/velero-v1.7.0-linux-amd64.tar.gz
```
1. 提取 tarball:
```
tar -zxvf velero-v1.7.0-linux-amd64.tar.gz
```
1. 将解压后的 velero 二进制文件移到 $PATH 中的某处（对大多数用户来说是 /usr/local/bin）。
```
cp velero-v1.7.0-linux-amd64/velero /usr/local/bin/
```
一个在你的集群上运行的服务器
我们将使用 velero install 来设置服务器组件。
关于如何使用 MinIO 和 Velero 来备份资源的更多细节，请参考：https://velero.io/docs/v1.7/contributions/minio/
1. 在你的本地目录中创建一个 Velero 专用的证书文件（credentials-velero）:
```
[default]
aws_access_key_id = minio
aws_secret_access_key = minio123
```
这两个值应该与我们在安装 "MinIO " 时设置的 "MinIO " 用户名和密码保持一致。
1. 启动服务器。
我们需要在 "member1 " 和 "member2 " 中安装 "Velero"，所以我们应该在 shell 中为这两个集群运行以下命令。这将启动 Velero 服务器。请运行 kubectl config use-context member1 和 kubectl config use-context member2 来切换到不同的成员集群。来切换到不同的成员集群 member1 或 member2。
```
velero install \
--provider aws \
--plugins velero/velero-plugin-for-aws:v1.2.1 \
--bucket velero \
--secret-file ./credentials-velero \
--use-volume-snapshots=false \
--backup-location-config region=minio,s3ForcePathStyle="true",s3Url=http://{SERVER_EXTERNAL_IP}:9000
```
用你自己的服务器外部 IP 替换 {SERVER_EXTERNAL_IP}。
1. 将 nginx 应用程序部署到集群 `member1':
在 Karmada 目录下运行以下命令。
```
kubectl apply -f samples/nginx/deployment.yaml
```
然后你将发现 nginx 应用部署成功。
```
$ kubectl get deployment.apps
NAME    READY   UP-TO-DATE   AVAILABLE   AGE
nginx   2/2     2            2           17s
```

独立备份和恢复 kubernetes 资源

在 member1 创建一个备份：

velero backup create nginx-backup --selector app=nginx

恢复 member2 中的备份

运行此命令切换到 `member2'

export KUBECONFIG=/root/.kube/members.config
kubectl config use-context member2

在 member2 中，我们也可以得到我们在 member1 中创建的备份：

$ velero restore get
NAME           STATUS      ERRORS   WARNINGS   CREATED                         EXPIRES   STORAGE LOCATION   SELECTOR
nginx-backup   Completed   0        0          2021-12-10 15:16:46 +0800 CST   29d       default            app=nginx

将 member1 的资源恢复到 member2：

$ velero restore create --from-backup nginx-backup
Restore request "nginx-backup-20211210151807" submitted successfully.

然后你就可以发现部署 nginx 将被成功恢复。

$ velero restore get
NAME                          BACKUP         STATUS      STARTED                         COMPLETED                       ERRORS   WARNINGS   CREATED                         SELECTOR
nginx-backup-20211210151807   nginx-backup   Completed   2021-12-10 15:18:07 +0800 CST   2021-12-10 15:18:07 +0800 CST   0        0          2021-12-10 15:18:07 +0800 CST   <none>

然后你就可以发现部署 nginx 会被成功恢复。

$ kubectl get deployment.apps/nginx
NAME    READY   UP-TO-DATE   AVAILABLE   AGE
nginx   2/2     2            2           21s

通过 Velero 与 karmada 相结合备份和恢复 kubernetes 资源

在 Karmada 控制平面中，我们需要安装 velero crds，但不需要控制器来协调它们。它们被视为资源模板，而不是具体的资源实例。基于这里的工作 API，它们将被封装为一个工作对象交付给成员集群，最后由成员集群中的 velero 控制器进行调节。

在 Karmada 控制平面中创建 velero crds。远程 velero crd 目录：https://github.com/vmware-tanzu/helm-charts/tree/main/charts/velero/crds/。

在 karmada-apiserver 中创建一个备份，并通过 PropagationPolicy 分发到 member1 集群。

# 创建备份策略
cat <<EOF | kubectl apply -f -
apiVersion: velero.io/v1
kind: Backup
metadata:
  name:  member1-default-backup
  namespace: velero
spec:
  defaultVolumesToRestic: false
  includedNamespaces:
  - default
  storageLocation: default
EOF

# 创建 PropagationPolicy
cat <<EOF | kubectl apply -f -
apiVersion: policy.karmada.io/v1alpha1
kind: PropagationPolicy
metadata:
  name: member1-backup
  namespace: velero
spec:
  resourceSelectors:
    - apiVersion: velero.io/v1
      kind: Backup
  placement:
    clusterAffinity:
      clusterNames:
        - member1
EOF

在 "karmada-apiserver " 中创建一个恢复，并通过分发策略分发到 "member2 " 集群中。

# 创建恢复策略
cat <<EOF | kubectl apply -f -
apiVersion: velero.io/v1
kind: Restore
metadata:
  name: member1-default-restore
  namespace: velero
spec:
  backupName: member1-default-backup
  excludedResources:
  - nodes
  - events
  - events.events.k8s.io
  - backups.velero.io
  - restores.velero.io
  - resticrepositories.velero.io
  hooks: {}
  includedNamespaces:
  - 'default'
EOF

# 创建 PropagationPolicy
cat <<EOF | kubectl apply -f -
apiVersion: policy.karmada.io/v1alpha1
kind: PropagationPolicy
metadata:
  name: member2-default-restore-policy
  namespace: velero
spec:
  resourceSelectors:
    - apiVersion: velero.io/v1
      kind: Restore
  placement:
    clusterAffinity:
      clusterNames:
        - member2
EOF

然后你可以发现部署的 nginx 将被成功恢复到 member2 上。

$ kubectl get deployment.apps/nginx
NAME    READY   UP-TO-DATE   AVAILABLE   AGE
nginx   2/2     2            2           10s

参考资料

以上关于 "Velero " 和 "MinIO " 的介绍只是来自官方网站和仓库的摘要，更多细节请参考：

Velero: https://velero.io/
MinIO: https://min.io/

启动 Karamda 集群​

安装 MinIO​

安装 Velero​

一个在本地运行的命令行客户端​

一个在你的集群上运行的服务器​

独立备份和恢复 kubernetes 资源​

通过 Velero 与 karmada 相结合备份和恢复 kubernetes 资源​

参考资料​