京东混沌工程实践：从理论到落地的完整演练指南
概述本文总结了京东在混沌工程领域的实践经验，介绍如何通过主动注入故障的方式提前发现系统隐患，以及如何在实际业务场景中进行混沌演练。 核心内容： 🎯 混沌工程的基本概念和价值 🔄 完整的混沌演练流程 📊 典型演练场景和监控指标 🔗 业务链路演练实践 文章来源： 京东云开发者社区 - 混沌工程基础 京东云开发者社区 - 链路演练实践 混沌工程基础什么是混沌工程混沌工程是通过主动制造故障场景并根据系统在各种压力下的行为表现确定优化策略的一种系统稳定性保障手段。 核心理念： 🔍 主动发现：在生产环境出问题之前主动找出隐患 🛡️ 提前加固：针对发现的脆弱点进行针对性加固 📈 持续改进：通过反复演练不断提升系统韧性 简单来说： 通过主动注入故障的方式，提前发现问题，然后解决问题规避风险。 为什么要进行混沌演练架构复杂度挑战： 随着互联网业务发展，微服务架构、分布式架构和虚拟化容器技术的广泛普及： 📐 软件架构的复杂度不断提升 🔗 服务之间的依赖呈指数级增长 🦋 任何一环的变化都可能产生蝴蝶效应 业务增长压力： 目前营销体系的挑战： 服务量级不断增加 整体...
DNS最佳实践及问题排查
转自: https://help.aliyun.com/document_detail/172339.html#11 DNS最佳实践优化域名解析请求DNS域名解析请求是Kubernetes最高频的网络行为之一，其中很多请求是可以优化和避免的。您可以通过以下方式优化域名解析请求： （推荐）使用连接池：当一个容器应用需要频繁请求另一服务时，推荐使用连接池。连接池可以将请求上游服务的链接缓存在内存中，避免每次访问时域名解析和TCP建连的开销。 使用DNS缓存： （推荐）当您的应用无法改造成通过连接池连接另一服务时，可以考虑在应用侧缓存DNS解析结果，具体操作，请参见使用节点DNS缓存NodeLocal DNSCache。 如果NodeLocal DNSCache无法适用的，可以在容器内置NSCD（Name Service Cache Daemon）缓存。关于如何使用NSCD缓存，请参见在Kubernetes集群中使用NSCD。 优化resolv.conf文件：由于resolv.conf文件中ndots和search两个参数的机制作用，容器内配置域名的不同写法决定了域名解析的效...
如何合理的解决资源分配问题
资源分配不均匀问题简述 资源相关的打分算法 LeastRequestedPriority 和 MostRequestedPriority 都是基于 request 来进行评分，而不是按 Node 当前资源水位进行调度（在没有安装 Prometheus/Metrics 等资源监控相关组件之前，kube-scheduler 也无法实时统计 Node 当前的资源情况）。 简单来说，k8s在进行调度时，计算的就是requests的值，不管你limits设置多少，k8s都不关心。所以当这个值没有达到资源瓶颈时，理论上，该节点就会一直有pod调度上去。 综上所述，在实际场景就可能会遇到以下几种情况 经常在 K8s 集群种部署负载的时候不设置 CPU requests （这样“看上去”就可以在每个节点上容纳更多 Pod ）。在业务比较繁忙的时候，节点的 CPU 全负荷运行。业务延迟明显增加，有时甚至机器会莫名其妙地进入 CPU 软死锁等“假死”状态。 在 K8s 集群中，集群负载并不是完全均匀地在节点间分配的，通常内存不均匀分配的情况较为突出，集群中某些节点的内存使用率明显高于其...
etcdctl的安装和使用
使用 etcdctletcdctl 为 etcd 提供了一个 CLI。 如果您想在安装带有嵌入式 etcd 的 K3s 后使用 etcdctl，请使用官方文档安装 etcdctl。 123VERSION="v3.5.0"curl -L https://github.com/etcd-io/etcd/releases/download/${VERSION}/etcd-${VERSION}-linux-amd64.tar.gz --output etcdctl-linux-amd64.tar.gztar -zxvf etcdctl-linux-amd64.tar.gz --strip-components=1 -C /usr/local/bin etcd-${VERSION}-linux-amd64/etcdctl 然后开始使用带有适当 K3s 标志的 etcdctl 命令： 1234etcdctl --endpoints="https://127.0.0.1:2379" --cac...
k8s大版本新特性一览(长期记录)
Kubernetes v1.22Kubernetes v1.22 已经在今天正式发布了，这是 2021 年的第二个正式发布的版本。此版本中共包含 53 项增强更新，其中 13 项达到 stable，24 项达到 beta 还有 16 项为 alpha。当然，也有 3 项特性被标记为废弃。 从今年的 4 月份，Kubernetes 的发布节奏由原来的每 3 个月一个版本修改成了每 4 个月一个版本，这也是第一个应用了此节奏的长周期版本。 Server-side Apply 特性达到 GAServer-side Apply 这个特性主要目标是把逻辑从 kubectl apply 移动到 kube-apiserver 中，这可以修复当前遇到的很多有关所有权冲突的问题。 Server-side Apply 当前是通过 Kubernetes 新增的 .meta.managedFields 属性来跟踪对象字段的更改的。 同时此特性的好处在于你可以直接通过 API 完成声明式配置的操作，而无需依赖于特定的 kubectl apply 命令，比如直接通过 curl 即可完成。 此功能的用法如下：...
kube-proxy
四层与七层1、四层负载均衡(例如nginx中直接配置stream,如下)1234567891011stream { upstream k3s { least_conn; server 10.0.2.0:6443 max_fails=3 fail_timeout=5s; server 10.0.2.6:6443 max_fails=3 fail_timeout=5s; } server { listen 6443; proxy_pass k3s; }} 0、负载均衡器用 ip+port 接收请求，再直接转发到后端对应服务上 1、四层负载均衡仅能转发TCP/IP协议、UDP协议、通常用来转发端口，如：tcp/22、udp/53； 2、四层负载均衡可以用来解决七层负载均衡端口限制问题；（七层负载均衡最大使用65535个端口号） 3、四层负载均衡可以解决七层负载均衡高可用问题；（多台后端七层负载均衡能同事的使用） 4、四层的转发效率比七层的高得多，但仅支持tcp...
Kubernetes 内存限制深度解析：cgroup 与 OOM Killer 实战
概述Kubernetes 通过 Linux cgroup（Control Groups）机制实现容器的资源隔离和限制。本文通过实验深入探索容器内存限制的工作原理，以及在何种情况下容器会被 OOM Killer 杀死。 核心内容： 🔍 cgroup 内存限制机制 ⚡ OOM Killer 工作原理 🧪 压力测试与故障模拟 📊 oom_score 计算方法 技术背景： cgroup 是容器资源控制的基础 具有层级结构，可继承父级属性 Kubernetes 基于 cgroup 实现 Pod 的资源限制 原文来源： https://cloud.tencent.com/developer/article/1495508 扩展阅读： 深入理解 Kubernetes 资源限制：内存 cgroup 基础知识什么是 cgroup定义： cgroup（Control Groups）是 Linux 内核提供的一种机制，用于限制、记录和隔离进程组使用的物理资源（CPU、内存、I/O 等）。 核心特性： 📊 资源限制：限制进程组使用的资源上限 📈 优先级控制：控制进程组的 C...
自定义监控指标开发(二):Prometheus介绍及PromQL的使用
介绍Prometheus是一套成熟且流行的系统和服务监控系统，它几乎满足了监控的所有能力。 Grafana, 它和Prometheus相比更侧重的是图形化展示，有强大、灵活的仪表盘体系，我们会把基于Prometheus收集的数据作为数据源导入到Grafana。 监控模式目前，监控系统采集指标有两种方式，一种是『推』，另一种就是『拉』： 推的代表有 ElasticSearch，InfluxDB，OpenTSDB 等，需要你从程序中将指标使用 TCP，UDP 等方式推送至相关监控应用，只是使用 TCP 的话，一旦监控应用挂掉或存在瓶颈，容易对应用本身产生影响，而使用 UDP 的话，虽然不用担心监控应用，但是容易丢数据。 拉的代表，主要代表就是 Prometheus，让我们不用担心监控应用本身的状态。而且可以利用 DNS-SRV 或者 Consul 等服务发现功能就可以自动添加监控。 如何监控Prometheus 监控应用的方式非常简单，只需要进程暴露了一个用于获取当前监控样本数据的 HTTP 访问地址。这样的一个程序称为Exporter，Exporter 的实例称为一个 Target...
公告