跳转到文档内容
版本：v1.18

使用资源指标跨集群弹性扩缩容

在 Karmada 中，为了自动扩展工作负载以满足需求，FederatedHPA 会跨多个集群扩/缩容工作负载。

当负载增加时，如果 Pod 数量低于配置的最大值，FederatedHPA 会扩容工作负载（Deployment、StatefulSet 或其他类似资源）的副本。当负载减少时，如果 Pod 数量高于配置的最小值，FederatedHPA 会缩容工作负载的副本。

本文档将引导您完成这样一个案例：启用 FederatedHPA 来自动扩缩容跨集群部署的 nginx。

演示案例将执行以下操作：

  • member1 集群中存在一个 Deployment 的 Pod。
  • Service 部署在 member1 和 member2 集群。
  • MultiClusterService 支持在 member1 和 member2 的 nginx-service Service 之间进行跨集群访问。
  • 从 member1 请求该服务，流量将路由到两个集群中的后端 Pod，并触发 Pod 的 CPU 利用率的增长。
  • Pod 副本将在 member1 和 member2 集群中扩容。

在此示例中，MultiClusterService 的作用是将用户请求负载均衡到不同的成员集群，模拟多个集群中的应用程序共同分担负载的真实场景。实际上，FederatedHPA 并不需要 MultiClusterService。

前提条件​

Karmada 已安装​

您可以参考快速入门安装 Karmada，或直接运行 hack/local-up-karmada.sh 脚本，该脚本也用于运行 E2E 测试。

成员集群网络​

确保至少已有两个集群加入 Karmada，并且成员集群之间的容器网络已连通。

  • 如果您使用 hack/local-up-karmada.sh 脚本部署 Karmada，Karmada 中会有 3 个成员集群，并且集群 member1 和 member2 间的容器网络已连通。
  • 您可以使用 Submariner 或其他相关开源项目来连接成员集群之间的网络。

注意：为了防止路由冲突，集群中 Pod 和 Service 的 CIDR 必须互不重叠。

成员集群中已安装 metrics-server​

我们需要为成员集群安装 metrics-server 以提供 metrics API，通过运行以下命令来安装：

hack/deploy-k8s-metrics-server.sh ${member_cluster_kubeconfig} ${member_cluster_context_name}

如果您使用 hack/local-up-karmada.sh 脚本部署 Karmada，则可以运行以下命令在三个成员集群中部署 metrics-server：

hack/deploy-k8s-metrics-server.sh $HOME/.kube/members.config member1
hack/deploy-k8s-metrics-server.sh $HOME/.kube/members.config member2
hack/deploy-k8s-metrics-server.sh $HOME/.kube/members.config member3

Karmada 控制平面已安装 karmada-metrics-adapter​

我们需要在 Karmada 控制平面中安装 karmada-metrics-adapter 以提供 metrics API，通过运行以下命令来安装：

hack/deploy-metrics-adapter.sh ${host_cluster_kubeconfig} ${host_cluster_context} ${karmada_apiserver_kubeconfig} ${karmada_apiserver_context_name}

如果您使用 hack/local-up-karmada.sh 脚本部署 Karmada，将默认安装 karmada-metrics-adapter。

在 member1 和 member2 集群中部署 Deployment​

我们需要在 member1 和 member2 集群中部署 Deployment（1 个副本）和 Service。

apiVersion: apps/v1
kind: Deployment
metadata:
  name: nginx
  labels:
    app: nginx
spec:
  replicas: 1
  selector:
    matchLabels:
      app: nginx
  template:
    metadata:
      labels:
        app: nginx
    spec:
      containers:
      - image: nginx
        name: nginx
        resources:
          requests:
            cpu: 25m
            memory: 64Mi
          limits:
            cpu: 25m
            memory: 64Mi
---
apiVersion: v1
kind: Service
metadata:
  name: nginx-service
spec:
  ports:
  - port: 80
    targetPort: 80
  selector:
    app: nginx
---
apiVersion: policy.karmada.io/v1alpha1
kind: PropagationPolicy
metadata:
  name: nginx-propagation
spec:
  resourceSelectors:
    - apiVersion: apps/v1
      kind: Deployment
      name: nginx
    - apiVersion: v1
      kind: Service
      name: nginx-service
  placement:
    clusterAffinity:
      clusterNames:
        - member1
        - member2
    replicaScheduling:
      replicaDivisionPreference: Weighted
      replicaSchedulingType: Divided
      weightPreference:
        staticWeightList:
          - targetCluster:
              clusterNames:
                - member1
            weight: 1
          - targetCluster:
              clusterNames:
                - member2
            weight: 1

部署完成后，您可以检查 Pod 和 Service 的分发情况：

$ karmadactl get pods --operation-scope members
NAME                     CLUSTER   READY   STATUS    RESTARTS   AGE
nginx-777bc7b6d7-mbdn8   member1   1/1     Running   0          9h
$ karmadactl get svc --operation-scope members
NAME                    CLUSTER   TYPE        CLUSTER-IP      EXTERNAL-IP   PORT(S)   AGE   ADOPTION
nginx-service           member1   ClusterIP   10.11.216.215   <none>        80/TCP    9h    Y
nginx-service           member2   ClusterIP   10.13.46.61     <none>        80/TCP    9h    Y

在 Karmada 控制平面部署 FederatedHPA​

接下来让我们在 Karmada 控制平面中部署 FederatedHPA。

apiVersion: autoscaling.karmada.io/v1alpha1
kind: FederatedHPA
metadata:
  name: nginx
spec:
  scaleTargetRef:
    apiVersion: apps/v1
    kind: Deployment
    name: nginx
  minReplicas: 1
  maxReplicas: 10
  behavior:
    scaleDown:
      stabilizationWindowSeconds: 10
    scaleUp:
      stabilizationWindowSeconds: 10
  metrics:
    - type: Resource
      resource:
        name: cpu
        target:
          type: Utilization
          averageUtilization: 10

部署完成后，您可以检查 FederatedHPA：

$ kubectl --kubeconfig $HOME/.kube/karmada.config --context karmada-apiserver get fhpa
NAME    REFERENCE-KIND   REFERENCE-NAME   MINPODS   MAXPODS   REPLICAS   AGE
nginx   Deployment       nginx            1         10        1          9h

创建一个 MultiClusterService 用于跨集群访问​

MultiClusterService 用于实现 member1 和 member2 集群中 nginx-service Service 之间的跨集群访问。当 member1 集群内的客户端访问 nginx-service 时，请求不再仅局限于 member1 本地的后端 Pod，还可以被路由至 member2 集群中 nginx-service Service 的后端 Pod。 更多 MultiClusterService 的用法，请参考MultiClusterService 用户指南。

在 Karmada 控制平面上创建 MultiClusterService 资源对象。

apiVersion: networking.karmada.io/v1alpha1
kind: MultiClusterService
metadata:
  name: nginx-service
spec:
  types:
    - CrossCluster
  consumerClusters:
    - name: member1
    - name: member2
  providerClusters:
    - name: member1
    - name: member2

部署完成后，从 member1 集群向 nginx-service 发起的请求，可被路由至 member1 和 member2 两个集群的后端 Pod。

在 member1 集群中安装 hey http 负载测试工具​

为了发送 http 请求，这里我们使用 hey。

  • 下载 hey 并复制到 kind 集群容器中。
wget -O hey https://storage.googleapis.com/hey-releases/hey_linux_amd64
chmod +x hey
docker cp hey member1-control-plane:/usr/local/bin/hey

测试扩容​

  • 首先检查 Pod 的分发情况。

    $ karmadactl get pods --operation-scope members
    NAME                     CLUSTER   READY   STATUS      RESTARTS   AGE
    nginx-777bc7b6d7-mbdn8   member1   1/1     Running     0          61m

  • 检查 member1 集群中的 Service ip。

    $ karmadactl get svc --operation-scope members
    NAME                    CLUSTER   TYPE        CLUSTER-IP        EXTERNAL-IP   PORT(S)   AGE   ADOPTION
    nginx-service   member1   ClusterIP   10.11.59.213      <none>        80/TCP    20m   Y

  • 通过 hey 工具从 member1 集群访问该服务，以在两个集群上同时拉高 nginx Pod 的 CPU 使用率。

    docker exec member1-control-plane hey -c 1000 -z 1m http://10.11.59.213

  • 等待 15 秒，副本将扩容，然后您可以再次检查 Pod 分发状态。

    $ karmadactl get pods --operation-scope members -l app=nginx
    NAME                     CLUSTER   READY   STATUS      RESTARTS   AGE
    nginx-777bc7b6d7-c2cfv   member1   1/1     Running     0          22s
    nginx-777bc7b6d7-mbdn8   member1   1/1     Running     0          62m
    nginx-777bc7b6d7-pk2s4   member1   1/1     Running     0          37s
    nginx-777bc7b6d7-tbb4k   member1   1/1     Running     0          37s
    nginx-777bc7b6d7-znlj9   member1   1/1     Running     0          22s
    nginx-777bc7b6d7-6n7d9   member2   1/1     Running     0          22s
    nginx-777bc7b6d7-dfbnw   member2   1/1     Running     0          22s
    nginx-777bc7b6d7-fsdg2   member2   1/1     Running     0          37s
    nginx-777bc7b6d7-kddhn   member2   1/1     Running     0          22s
    nginx-777bc7b6d7-lwn52   member2   1/1     Running     0          37s

测试缩容​

1 分钟后，负载测试工具将停止运行，然后您可以看到工作负载在多个集群中缩容。

$ karmadactl get pods --operation-scope members -l app=nginx
NAME                     CLUSTER   READY   STATUS    RESTARTS   AGE
nginx-777bc7b6d7-mbdn8   member1   1/1     Running   0          64m
编辑本页
最近更新时间 在 由 github-actions[bot]