k0s 中的 Knative Serving

发布时间：2023-03-28 ,  修改时间：2024-01-17

k0s 中的 Knative Serving

作者：Naveenraj Muthuraj，阿尔伯塔大学研究生

这项工作尝试在 k0s 中使用最少资源部署 **knative serving**。让我们尝试使用 1 个 CPU 和 1 GB 内存。

本文档分为三个部分。在第一部分中，我们将捕获 knative serving 和 k0s 所需的资源。在第二部分中，我们将监控 Knative 和 k0s 的实际资源使用情况，以确定 k0s（边缘）节点的大小。最后，我们将安装 knative serving，并将资源请求/限制降低到 k0s 节点，其拥有 1 个 CPU 和 1.5 GB 内存（为什么是 1.5 GB？请参阅 Knative + k0s 资源使用情况 ）。

如果您只想在 k0s 中安装 knative serving，您可以直接跳到 k0s 中的 Knative 安装部分。

• 资源需求分析
  • Knative Serving 默认资源需求
  • k0s 默认资源需求
  • Knative + k0s 默认资源需求
• 资源使用分析
  • Knative 资源监控
  • Knative + k0s 资源使用情况
• k0s 中的 Knative
  • 创建边缘节点
  • 安装 k0s
  • 安装 Metallb 进行负载均衡
  • 创建自定义 Knative 部署文件
  • 安装自定义 Knative 部署文件
  • 向边缘问好！

资源需求分析

在本节中，我们将确定 knative-serving 和 k0s 所需的默认安装资源需求。

Knative Serving 默认资源需求

knative-serving

 kubectl get pods  -n knative-serving -o custom-columns="NAME:metadata.name,CPU-REQUEST:spec.containers[*].resources.requests.cpu,CPU-LIMIT:spec.containers[*].resources.limits.cpu,MEM-REQUEST:spec.containers[*].resources.requests.memory,MEM_LIMIT:spec.containers[*].resources.limits.memory"

NAME                                      CPU-REQUEST   CPU-LIMIT   MEM-REQUEST   MEM_LIMIT
activator-7499d967fc-2npcf                300m          1           60Mi          600Mi
autoscaler-568989dd8c-qzrhc               100m          1           100Mi         1000Mi
autoscaler-hpa-854dcfbd44-8vcj8           30m           300m        40Mi          400Mi
controller-76c798ffcb-k96sz               100m          1           100Mi         1000Mi
default-domain-nwbhr                      100m          1           100Mi         1000Mi
domain-mapping-7748ff49d4-29mg4           30m           300m        40Mi          400Mi
domainmapping-webhook-755d864f5c-dsc7j    100m          500m        100Mi         500Mi
net-kourier-controller-79c998474f-svzcm   <none>        <none>      <none>        <none>
webhook-8466d59795-d8zd8                  100m          500m        100Mi         500Mi

kourier-system

kubectl get pods  -n kourier-system -o custom-columns="NAME:metadata.name,CPU-REQUEST:spec.containers[*].resources.requests.cpu,CPU-LIMIT:spec.containers[*].resources.limits.cpu,MEM-REQUEST:spec.containers[*].resources.requests.memory,MEM_LIMIT:spec.containers[*].resources.limits.memory"

NAME                                      CPU-REQUEST   CPU-LIMIT   MEM-REQUEST   MEM_LIMIT
3scale-kourier-gateway-5f9f97b454-rqkgh   <none>        <none>      <none>        <none>

总计

组件	CPU 请求	CPU 限制	内存请求	内存限制
activator	300m	1	60Mi	600Mi
autoscaler	100m	1	100Mi	1000Mi
autoscaler-hpa	30m	300m	40Mi	400Mi
controller	100m	1	100Mi	1000Mi
default-domain*	100m	1	100Mi	1000Mi
domain-mapping	30m	300m	40Mi	400Mi
domainmapping-webhook	100m	500m	100Mi	500Mi
net-kourier-controller	<无>	<无>	<无>	<无>
webhook	100m	500m	100Mi	500Mi
总计	860m	5600m	640Mi	5400Mi

注意

* default-domain 是一个作业，该作业完成后将释放资源

k0s 默认资源需求

默认 k0s 安装使用的资源

内存使用情况

vagrant@vagrant:~$ free -m
               total        used        free      shared  buff/cache   available
Mem:             971         558          61           0         351         268
Swap:           1941         208        1733

k0s 使用的内存 - 558 m

CPU 使用情况

top - 01:55:58 up  2:27,  1 user,  load average: 0.70, 0.42, 0.43
Tasks: 110 total,   1 running, 109 sleeping,   0 stopped,   0 zombie
%Cpu(s):  1.8 us,  0.7 sy,  0.0 ni, 97.5 id,  0.0 wa,  0.0 hi,  0.0 si,  0.0 st
MiB Mem :    971.2 total,     60.9 free,    547.8 used,    362.5 buff/cache
MiB Swap:   1942.0 total,   1734.9 free,    207.1 used.    280.4 avail Mem 

    PID USER      PR  NI    VIRT    RES    SHR S  %CPU  %MEM     TIME+ COMMAND                                                                               
   1222 kube-ap+  20   0 1203728 261064  30408 S   1.7  26.2   4:12.43 kube-apiserver                                                                        
   1213 kube-ap+  20   0  740108  29256   6032 S   1.0   2.9   2:13.01 kine                                                                                  
   1376 kube-ap+  20   0  776892  54388  20112 S   1.0   5.5   1:52.61 kube-controller                                                                       
    602 root      20   0  806420  44088  20408 S   0.7   4.4   0:53.60 k0s                                                                                   
   1283 root      20   0  779664  48132  19672 S   0.7   4.8   2:24.79 kubelet                                                                               
      5 root      20   0       0      0      0 I   0.3   0.0   0:00.29 kworker/0:0-events                                                                    
    347 root      19  -1   56140  14772  14244 S   0.3   1.5   0:04.18 systemd-journal                                                                       
   1282 root      20   0  757300  24652   7024 S   0.3   2.5   0:44.78 containerd                                                                            
   1372 kube-sc+  20   0  765012  24264  13596 S   0.3   2.4   0:16.83 kube-scheduler                                                                        
   1650 root      20   0  757488  14860   8068 S   0.3   1.5   0:03.90 kube-p

3% ~ k0s 使用了 30m？

BaseOS 使用的资源

内存

vagrant@vagrant:~$ free -m
               total        used        free      shared  buff/cache   available
Mem:             971         170         502           0         297         668
Swap:           1941           0        1941

BaseOS 使用的内存 170

CPU

top - 02:02:20 up 2 min,  1 user,  load average: 0.04, 0.06, 0.02
Tasks:  95 total,   1 running,  94 sleeping,   0 stopped,   0 zombie
%Cpu(s):  0.3 us,  0.3 sy,  0.0 ni, 99.3 id,  0.0 wa,  0.0 hi,  0.0 si,  0.0 st
MiB Mem :    971.2 total,    502.7 free,    170.8 used,    297.8 buff/cache
MiB Swap:   1942.0 total,   1942.0 free,      0.0 used.    670.7 avail Mem 

    PID USER      PR  NI    VIRT    RES    SHR S  %CPU  %MEM     TIME+ COMMAND                                                                               
    606 root      20   0  727828  49984  20012 S   1.3   5.0   0:02.68 snapd 

BaseOS 在空闲状态下的 CPU 使用率 0.7%

获得的结果与 Neil 的实验结果相当 [1]

Knative + k0s 默认资源需求

粗略估计的 VM 最小资源需求

资源	CPU	内存
k0s	30m	558 + 208（交换）
knative-serving	860m	640Mi
总计	890m	1406Mi

资源使用分析

Knative 资源监控

现在，让我们创建一个具有 2 个 CPU 和 2 GB 内存的 VM 来运行 knative serving，以便我们可以捕获每个组件的指标。如果资源没有完全利用，我们可以减少每个 knative 组件的最低要求。

在 vagrant 中创建具有 1.5 个 CPU 的 VM！默认情况下是 1 个 CPU 的 VM

# knative core components
vagrant@vagrant:~$ sudo k0s kubectl get pods -n knative-serving
NAME                                      READY   STATUS    RESTARTS   AGE
autoscaler-86796dfc97-2q6b2               1/1     Running   0          19m
controller-7cd4659488-sqz5q               1/1     Running   0          19m
activator-6f78547bf7-xp5jh                1/1     Running   0          19m
domain-mapping-856cc965f5-jv4g9           1/1     Running   0          19m
domainmapping-webhook-6dc8d86dbf-mg8j8    1/1     Running   0          19m
webhook-d9c8c747d-fwhst                   1/1     Running   0          19m
net-kourier-controller-54999fc897-st6tn   1/1     Running   0          12m
default-domain-qpvfp                      1/1     Running   0          9m48s

# kourier
vagrant@vagrant:~$ sudo k0s kubectl get pods -n kourier-system
NAME                                     READY   STATUS    RESTARTS   AGE
3scale-kourier-gateway-9b477c667-2hdt2   1/1     Running   0          15m

# 1 knative service
vagrant@vagrant:~$ sudo k0s kubectl get ksvc 
NAME    URL                                      LATESTCREATED   LATESTREADY   READY   REASON
hello   http://hello.default.svc.cluster.local   hello-00001     hello-00001   True  

vagrant@vagrant:~$ sudo k0s kubectl get pods 
NAME                                      READY   STATUS    RESTARTS   AGE
hello-00001-deployment-66ddff5b59-jbn6x   2/2     Running   0          84s

完全安装的 knative serving（一个 knative 服务，空闲状态）的资源分析

vagrant@vagrant:~$ sudo k0s kubectl top node
NAME      CPU(cores)   CPU%   MEMORY(bytes)   MEMORY%   
vagrant   166m         8%     1341Mi          71%   

vagrant@vagrant:~$ sudo k0s kubectl top pod --all-namespaces
NAMESPACE         NAME                                      CPU(cores)   MEMORY(bytes)   
default           hello-00001-deployment-66ddff5b59-jbn6x   1m           8Mi             
knative-serving   activator-6f78547bf7-xp5jh                2m           21Mi            
knative-serving   autoscaler-86796dfc97-2q6b2               5m           19Mi            
knative-serving   controller-7cd4659488-sqz5q               5m           27Mi            
knative-serving   default-domain-6mknr                      1m           7Mi             
knative-serving   domain-mapping-856cc965f5-jv4g9           2m           13Mi            
knative-serving   domainmapping-webhook-6dc8d86dbf-mg8j8    7m           15Mi            
knative-serving   net-kourier-controller-54999fc897-st6tn   6m           37Mi            
knative-serving   webhook-d9c8c747d-fwhst                   9m           16Mi            
kourier-system    3scale-kourier-gateway-9b477c667-2hdt2    4m           17Mi            
kube-system       coredns-7bf57bcbd8-b22j4                  3m           16Mi            
kube-system       kube-proxy-pm4ht                          1m           13Mi            
kube-system       kube-router-vdqtv                         1m           19Mi            
kube-system       metrics-server-7446cc488c-zxdxg           5m           18Mi      

Knative + k0s 资源使用情况

粗略估计的 VM 最小资源需求

资源	CPU	内存
k0s + knative-serving	< 160m	< 1406Mi

从这个早期结果来看，似乎我们可以减少 CPU 数量，但大约 1.4 GB 的内存使用率意味着没有太多空间来减少内存。

现在让我们尝试将资源请求和限制减少 50%，看看是否会出现任何问题。

k0s 中的 Knative

创建边缘节点

为此，我们将使用具有 1 个 CPU 和 1.5 GB 内存的 vagrant VM。

Vagrantfile

Vagrant.configure("2") do |config|
    config.vm.define "k0s"
    config.vm.box = "bento/ubuntu-22.04"
    config.vm.provider "virtualbox" do |v|
      v.memory = 1500
      v.cpus = 1
      v.name = "k0s"
    end
end

vagrant up
vagrant ssh k0s

安装 k0s

# Download k0s
curl -sSLf https://get.k0s.sh | sudo sh
# Install k0s as a service
sudo k0s install controller --single
# Start k0s as a service
sudo k0s start
# Check service, logs and k0s status
sudo k0s status
# Access your cluster using kubectl
sudo k0s kubectl get nodes

vagrant@vagrant:~$ sudo k0s kubectl get nodes
E0318 07:24:18.366073    2692 memcache.go:255] couldn't get resource list for metrics.k8s.io/v1beta1: the server is currently unable to handle the request
E0318 07:24:18.381532    2692 memcache.go:106] couldn't get resource list for metrics.k8s.io/v1beta1: the server is currently unable to handle the request
E0318 07:24:18.387961    2692 memcache.go:106] couldn't get resource list for metrics.k8s.io/v1beta1: the server is currently unable to handle the request
E0318 07:24:18.391539    2692 memcache.go:106] couldn't get resource list for metrics.k8s.io/v1beta1: the server is currently unable to handle the request
NAME      STATUS   ROLES           AGE   VERSION
vagrant   Ready    control-plane   61s   v1.26.2+k0s

我们已经可以看到在 1 个 CPU 和 1.5 GB RAM 中运行 k0s 的效果。

没有额外安装的 k0s 指标

vagrant@vagrant:~$ sudo k0s kubectl top node
NAME      CPU(cores)   CPU%   MEMORY(bytes)   MEMORY%   
vagrant   39m          3%     959Mi           71% 

安装 Metallb 进行负载均衡

使用 Metallb 原生安装 - 用于裸机

sudo k0s kubectl apply -f https://raw.githubusercontent.com/metallb/metallb/v0.13.9/config/manifests/metallb-native.yaml

为 LoadBalancer 服务配置 IP 地址

定义要分配给 LoadBalancer 服务的 IP。
ip_pool.yaml

apiVersion: metallb.io/v1beta1
kind: IPAddressPool
metadata:
  name: first-pool
  namespace: metallb-system
spec:
  addresses:
  - 192.168.10.0/24

宣布服务 IP（第 2 层配置）
l2_ad.yaml

apiVersion: metallb.io/v1beta1
kind: L2Advertisement
metadata:
  name: example
  namespace: metallb-system
spec:
  ipAddressPools:
  - first-pool

创建 MatalLB 资源

sudo k0s kubectl apply -f ip_pool.yaml
sudo k0s kubectl apply -f l2_ad.yaml

创建自定义 knative 部署文件

通过将所有 knative serving 组件的部署文件中的资源减少到原始值的 50% 来编辑部署文件。例如：如果 CPU 请求/限制的原始值为 100m，我们将将其减少到 50m，内存也是如此。

尽管减少 50% 似乎是随机的，但当我尝试安装默认文件时，由于 CPU 不足，一些 Pod 没有启动。890 毫核的最低请求（请参阅 Knative + k0s 默认资源需求）解释了为什么一些 Pod 找不到足够的 CPU，因为 BaseOS + k0s 可能使用了超过 110 m 的 CPU（1000 - 890）。

因此，在监控了资源使用情况（请参阅 Knative + k0s 资源使用情况）并希望将所有内容都放入 1 个 CPU 中之后，将资源请求/限制减少 50% 是一个安全的选择。

您可以使用我创建的减少资源的部署文件进行下一步。

• serving-crd.yaml
• serving-core.yaml
• kourier.yaml
• serving-default-domain.yaml

安装自定义 Knative 部署文件

# crd.yaml
sudo ks0s kubectl apply -f https://gist.githubusercontent.com/naveenrajm7/865756eaf07631c82dcd42278d02d105/raw/f94b4be95a40b5210ed6647c692235d60cebd83d/serving-crds.yaml
# core
sudo k0s kubectl apply -f https://gist.githubusercontent.com/naveenrajm7/6e67e288a3b29b5e7c8b3969d76dca27/raw/0269701bf5331e2b037ec582bfe09c8818cd8e27/serving-core.yaml
# networking 
sudo k0s kubectl apply -f https://gist.githubusercontent.com/naveenrajm7/227c4c80a445a373a825f488605d9b1d/raw/ddceae84d378fd600c2115ae0e729e03f7e27a76/kourier.yaml

# Check Load balancer
sudo k0s kubectl --namespace kourier-system get service kourier

# before DNS , you should have external IP (via MetalLB)
# dns
sudo k0s kubectl apply -f https://gist.githubusercontent.com/naveenrajm7/0b8f36752b0246ac680913580a756ed0/raw/ffb00218395c7421332b8d251d8b02b05f5a94ad/serving-default-domain.yaml

检查 Knative-serving 的组件

vagrant@vagrant:~$ sudo k0s kubectl get pods -n knative-serving
NAME                                      READY   STATUS      RESTARTS   AGE
autoscaler-84445c7b8f-f8nwq               1/1     Running     0          37m
activator-5f59946cc4-dsx6w                1/1     Running     0          37m
controller-67cc995548-ncvtw               1/1     Running     0          37m
domainmapping-webhook-57946bc655-vrl68    1/1     Running     0          37m
domain-mapping-5b485cdb5-fqt89            1/1     Running     0          37m
webhook-5c8c986896-f5z8w                  1/1     Running     0          37m
net-kourier-controller-6c89f976bf-4w579   1/1     Running     0          7m25s
default-domain-nghzp                      0/1     Completed   0          17s

Say Hello Edge!

安装常用的 hello Knative 服务

hello.yaml

apiVersion: serving.knative.dev/v1
kind: Service
metadata:
  name: hello
spec:
  template:
    metadata:
      annotations:
        autoscaling.knative.dev/minScale: "1"
    spec:
      containers:
        - image: ghcr.io/knative/helloworld-go:latest
          env:
            - name: TARGET
              value: "Edge!!"

# create knative service
vagrant@vagrant:~$ sudo k0s kubectl apply -f hello.yaml
# Check if service is running
vagrant@vagrant:~$ sudo k0s kubectl get ksvc
NAME    URL                                          LATESTCREATED   LATESTREADY   READY   REASON
hello   http://hello.default.192.168.10.0.sslip.io   hello-00001     hello-00001   True    
# Visit service
vagrant@vagrant:~$ curl http://hello.default.192.168.10.0.sslip.io
Hello Edge!!

让我们将 Knative 带到边缘。

资源:

1. Neil Cresswell，比较 K0s、K3s 和 Microk8s 的资源消耗，2022 年 8 月 23 日 博客

2. k0s 快速入门指南

3. Knative 文档

4. MetalLB