阿里云服务器开通ftpiLogtail使用入门-K8S环境日志采集到SLS

新网云箭头服务器 使用前准备开通阿里云日志服务并创建了Project(具体步骤参见上一节《ilogtail使用入门-主机环境日志采集到SLS》)准备一个具备公网访问权限的K8S集群,服···

新网云箭头服务器

使用前准备

开通阿里云日志服务并创建了Project(具体步骤参见上一节《ilogtail使用入门-主机环境日志采集到SLS》)准备一个具备公网访问权限的K8S集群,服务器架构为X86-64。

创建日志配置

跳转到日志服务控制台(sls.console.aliyun.com),点击上一节中已经创建的project。
进入Project查询页面后,点击左侧边栏的放大镜图标,展开logstore管理界面,点击+,弹出创建Logstore右侧边栏。按照提示进行配置,输入logstore名称后,点击确认。
logstore创建成功后,取消数据接入向导。点击左侧边栏中的立方体按钮,在弹出的资源浮层中选择机器组。在展开的机器组左边栏中,点击右上角的四方格图标,在弹出的浮层中选择创建机器组。
在创建机器组有侧边栏中按提示配置,机器组标识选择用户自定义标识,名称、机器组Topic、用户自定义标识建议保持一致。用户自定义标识是其中最为重要的一个配置,本教程中使用my-k8s-group,后续在安装ilogtail时会再次用到。点击确认保存机器组。
再次点击左侧边栏的放大镜图标,展开logstore管理界面,点击第2步中创建的logstore的向下展开图标,弹出配置Logstore菜单。点击logtail配置的+按钮。
在弹出的快速接入数据对话框中搜索kube,并选择Kubernertes-文件。在弹出的提示框中单机继续。
在Kubernertes文件配置界面,直接选择使用现有机器组。
跳转到机器组配置界面,选择第4步中创建的机器组,点击>按钮将其加入到应用机器组中,然后点击下一步。
在ilogtail配置中仅修改配置名称和日志路径两个必填项,点击下一步确认。
完成索引配置。这一步不对任何选项进行修改,直接点击下一步完成配置。

此时,整个日志配置已经完成。请保持页面打开。

安装ilogtail

登陆可以控制K8S集群的中控机。编辑ilogtail的ConfigMap YAML。$ vim alicloud-log-config.yaml

在Vim中粘贴如下内容并保存(注意,修改注释中提示的字段,7-11行)。

apiVersion: v1kind: ConfigMapmetadata:name: alibaba-log-configurationnamespace: kube-systemdata:log-project:"my-project"修改为实际project名称log-endpoint:"cn-wulanchabu.log.aliyuncs.com"修改为实际endpointlog-machine-group:"my-k8s-group"可以自定义机器组名称log-config-path:"/etc/ilogtail/conf/cn-wulanchabu_internet/ilogtail_config.json"修改cn-wulanchabu为实际project地域log-ali-uid:"*********"修改为阿里云UIDaccess-key-id:""本教程用不上access-key-secret:""本教程用不上cpu-core-limit:"2"mem-limit:"1024"max-bytes-per-sec:"20971520"send-requests-concurrency:"20"计算alicloud-log-config.yaml的sha256 hash,并编辑ilogtail的DaemonSet YAML。$ sha256sum alicloud-log-config.yaml f370df37916797aa0b82d709ae6bfc5f46f709660e1fd28bb49c22da91da1214 alicloud-log-config.yaml $ vim logtail-daemonset.yaml

在Vim中粘贴如下内容并保存(注意,修改注释中提示的字段,21、25行)。

apiVersion: apps/v1kind: DaemonSetmetadata:name: logtail-dsnamespace: kube-systemlabels:k8s-app: logtail-dsspec:selector:matchLabels:k8s-app: logtail-dsupdateStrategy:type: RollingUpdatetemplate:metadata:labels:k8s-app: logtail-ds kubernetes.io/cluster-service:"true"version: v1.0annotations: checksum/config: f370df37916797aa0b82d709ae6bfc5f46f709660e1fd28bb49c22da91da1214 必须修改为alicloud-log-config.yaml的hashspec:containers: -name: logtailimage: registry.cn-wulanchabu.aliyuncs.com/log-service/logtail:latest 可以修改为距离k8s集群最近的地域resources:limits:cpu:2memory:1024Mirequests:cpu:100mmemory:256MilivenessProbe:httpGet:path: /livenessport:7953scheme: HTTPinitialDelaySeconds:30periodSeconds:60securityContext:privileged: trueenv: -name: HTTP_PROBE_PORTvalue:"7953"-name:"ALIYUN_LOGTAIL_CONFIG"valueFrom:configMapKeyRef:name: alibaba-log-configurationkey: log-config-path -name:"ALIYUN_LOGTAIL_USER_ID"valueFrom:configMapKeyRef:name: alibaba-log-configurationkey: log-ali-uid -name:"ALIYUN_LOGTAIL_USER_DEFINED_ID"valueFrom:configMapKeyRef:name: alibaba-log-configurationkey: log-machine-group -name:"ALICLOUD_LOG_ACCESS_KEY_ID"valueFrom:configMapKeyRef:name: alibaba-log-configurationkey: access-key-id -name:"ALICLOUD_LOG_ACCESS_KEY_SECRET"valueFrom:configMapKeyRef:name: alibaba-log-configurationkey: access-key-secret -name:"ALICLOUD_LOG_DOCKER_ENV_CONFIG"value:"true"-name:"ALICLOUD_LOG_ECS_FLAG"value:"false"-name:"ALICLOUD_LOG_DEFAULT_PROJECT"valueFrom:configMapKeyRef:name: alibaba-log-configurationkey: log-project -name:"ALICLOUD_LOG_ENDPOINT"valueFrom:configMapKeyRef:name: alibaba-log-configurationkey: log-endpoint -name:"ALICLOUD_LOG_DEFAULT_MACHINE_GROUP"valueFrom:configMapKeyRef:name: alibaba-log-configurationkey: log-machine-group -name:"ALIYUN_LOG_ENV_TAGS"value:"_node_name_|_node_ip_"-name:"_node_name_"valueFrom:fieldRef:fieldPath: spec.nodeName -name:"_node_ip_"valueFrom:fieldRef:fieldPath: status.hostIP resource limit for logtail self process -name:"cpu_usage_limit"valueFrom:configMapKeyRef:name: alibaba-log-configurationkey: cpu-core-limit -name:"mem_usage_limit"valueFrom:configMapKeyRef:name: alibaba-log-configurationkey: mem-limit -name:"max_bytes_per_sec"valueFrom:configMapKeyRef:name: alibaba-log-configurationkey: max-bytes-per-sec -name:"send_request_concurrency"valueFrom:configMapKeyRef:name: alibaba-log-configurationkey: send-requests-concurrencyvolumeMounts: -name: sockmountPath: /var/run/ -name: rootmountPath: /logtail_hostreadOnly: truemountPropagation: HostToContainerterminationGracePeriodSeconds:30tolerations: -operator:"Exists"hostNetwork: truednsPolicy:"Default"volumes: -name: sockhostPath:path: /var/run/ -name: roothostPath:path: /应用YAML配置,创建ConfigMap和DaemonSet。$ kubectl apply -f alicloud-log-config.yaml configmap/alibaba-log-configuration created $ kubectl apply -f logtail-daemonset.yaml daemonset.apps/logtail-ds created等待1分钟,检查DeamonSet是否正常运行$ kubectlget-f logtail-daemonset.yaml

这个时候控制台应该打印出类似以下的消息,代表安装成功

阿里云服务器ip段

高校云服务器

NAMEDESIREDCURRENTREADYUP-TO-DATEAVAILABLENODESELECTORAGElogtail-ds333332m1s

上报日志并查看

创建一个用于持续生成日志的Pod。$ vim demo-pod.yaml

在Vim中粘贴如下内容并保存(注意,可能需要修改注释中提示的字段,8-9行)。

apiVersion: v1kind: Podmetadata:labels:name: demo-podname: demo-podspec:imagePullSecrets: Comment out to enable specific image pull secret -name: myregistrykey repleace it to specific registry key containerscontainers: -image: busyboximagePullPolicy: IfNotPresentname: demo-podcommand: ["/bin/sh"]args: ["-c","while true; do echo $(date) >>/tmp/demo.log; sleep 10; done"]resources: {}securityContext:capabilities: {}privileged: falseterminationMessagePath: /dev/termination-logdnsPolicy: ClusterFirstrestartPolicy: Always

应用YAML配置,创建Pod

$ kubectl apply -f demo-pod.yaml pod/demo-pod created回到Web控制台,点击配置完成界面的查询日志跳转到日志查询界面。点击页面左侧的放大镜图标,选中logstore,点击眼睛图标,在左侧出现的消费预览侧边栏中尝试调整Shard和时间范围,点击预览查看上报的日志。

原文链接:http://click.aliyun.com/m/1000317326/

本文为阿里云原创内容,未经允许不得转载。

阿里云服务器怎么链接

您好:云优数据云计算 www.yunyoushuju.cn 2核2G6M最低19.9元/月 欢迎开机

发表评论

评论列表
未查询到任何数据!