Kafka集群搭建(含ZK模式和Kraft模式)
前言环境介绍虚拟机软件：VirtualBox Linux 发行版本：Ubuntu 20.04.4 虚拟机核心数：1 core 虚拟机内存：2 GB JDK 版本：1.8.0_202 ZK 版本：3.8.0 Kafka 版本：3.2.0 Kafka - ZK 模式Kafka 2.8.0 之前，所有元数据信息都存储在 ZK。 ZK 成为 Kafka 瓶颈。从 2.8.0 开始，可以将元数据信息存储在 Kafka，脱离 ZK。 集群规划 node01 node02 node03 zk zk zk kafka kafka kafka ZK 集群部署可以参考 《Hadoop HA 搭建》 中的 ZK 集群搭建 Kafka 集群部署Kafka 环境变量1234567$ vim /etc/profile# 尾部添加以下内容export KAFKA_HOME=/opt/kafka-3.2.0export PATH=$PATH:$KAFKA_HOME/bin$ xsync $KAFKA_HOME$ xsync /etc/profile 配置...
tcpdump的使用
转自: https://cloud.tencent.com/developer/article/1840203 简介tcpdump 是一款强大的网络抓包工具，它使用 libpcap 库来抓取网络数据包，这个库在几乎在所有的 Linux/Unix 中都有。熟悉 tcpdump 的使用能够帮助你分析调试网络数据，本文将通过一个个具体的示例来介绍它在不同场景下的使用方法。不管你是系统管理员，程序员，云原生工程师还是 yaml 工程师，掌握 tcpdump 的使用都能让你如虎添翼，升职加薪。 基本语法和使用方法tcpdump的常用参数如下: 1tcpdump -i eth0 -nn -s0 -v port 80 -i : 选择要捕获的接口，通常是以太网卡或无线网卡，也可以是 vlan 或其他特殊接口。如果该系统上只有一个网络接口，则无需指定。 -nn : 单个 n 表示不解析域名，直接显示 IP；两个 n 表示不解析域名和端口。这样不仅方便查看 IP 和端口号，而且在抓取大量数据时非常高效，因为域名解析会降低抓取速度。 -s0 : tcpdump 默认只会截取前 96...
NIO 基础
NIO 基础non-blocking io 非阻塞 IO 1. 三大组件1.1 Channel & Bufferchannel 有一点类似于 stream，它就是读写数据的双向通道，可以从 channel 将数据读入 buffer，也可以将 buffer 的数据写入 channel，而之前的 stream 要么是输入，要么是输出，channel 比 stream 更为底层 123graph LRchannel --> bufferbuffer --> channel 常见的 Channel 有 FileChannel DatagramChannel SocketChannel ServerSocketChannel buffer 则用来缓冲读写数据，常见的 buffer 有 ByteBuffer MappedByteBuffer DirectByteBuffer HeapByteBuffer ShortBuffer IntBuffer LongBuffer FloatBuffer DoubleBuffer CharBuffer 1.2...
Nginx反向代理中proxy_set_header参数说明
转自: https://www.cnblogs.com/kevingrace/p/8269955.html Nginx proxy_set_header：即允许重新定义或添加字段传递给代理服务器的请求头。该值可以包含文本、变量和它们的组合。在没有定义proxy_set_header时会继承之前定义的值。默认情况下，只有两个字段被重定义： 12proxy_set_header Host $proxy_host;proxy_set_header Connection close; 如果启用缓存，来自之前请求的头字段“If-Modified-Since”, “If-Unmodified-Since”, “If-None-Match”, “If-Match”, “Range”, 和 “If-Range” 将不会被代理服务器传递。一个不会变化的“Host”头请求字段可通过如下方式被传递： 1proxy_set_header Host ...
nginx中$host,$http_host和$proxy_host区别
nginx中$host、$http_host和$proxy_host区别 变量 是否显示端口 值 $host 不显示端口 浏览器请求的ip，不显示端口 $http_host 端口存在则显示 浏览器请求的ip和端口号 $proxy_host 默认80端口不显示，其它显示 被代理服务的ip和端口号(当proxy_pass配置的是upstream, 则$proxy_host是不生效的) 配置反向代理时，接口请求报404问题应用描述：前端应用域名为A（ww.a.com）, 后端服务域名为B（www.b.com）; 为了解决跨域问题，配置nginx反向代理如下： 1234567...proxy_set_header Host $host;...location ^~ /api/ { rewrite "^/api/(.*)$" /$1...
nginx配置中alias和root区别
root与alias主要区别在于nginx如何解释location后面的uri，这会使两者分别以不同的方式将请求映射到服务器文件上。 alias是一个目录别名的定义（仅能用于location上下文），root则是最上层目录的定义。 直接通过例子来理解： root123location ^~ /123/abc/ { root /data/www;} 当请求http://blog.whsir.com/123/abc/logo.png时，将会返回服务器上的/data/www/123/abc/logo.png文件，即/data/www/123/abc/ alias123location ^~ /123/abc/ { alias /data/www;} 当请求http://blog.whsir.com/123/abc/logo.png时，将会返回服务器上的/data/www/logo.png文件，即/data/www
蓝绿部署,金丝雀发布,(灰度发布),AB测试
转自：https://www.jianshu.com/p/0df88fe4a1e3 随着微服务架构的普及，线上服务越来越多，随之而来的就是部署越来越频繁；随着互联网行业的兴旺，产品迭代的频率也是越来越快，服务上线速度逐步提升。有上线、有部署，就有风险。有风险，就对业务有影响，然后就有了一系列减少这种风险的部署方案：蓝绿部署、金丝雀发布（灰度发布），也有适应产品迭代频率的AB测试。 蓝绿部署蓝绿色部署是一种通过运行两个相同的称为 BLUE 和 GREEN...
多索引组合查询
多索引组合查询(官方文档) 如果不对某一特殊的索引做限制，就会搜索集群中的所有文档。Elasticsearch 转发搜索请求到每一个主分片或者副本分片，汇集查询出的前10个结果，并且返回给我们。 然而，经常的情况下，你想在一个或多个特殊的索引并且在一个或者多个特殊的类型中进行搜索。我们可以通过在URL中指定特殊的索引和类型达到这种效果，如下所示： /_search1在所有的索引中搜索所有的类型 /gb/_search1在 gb 索引中搜索所有的类型 /gb,us/_search1在 gb 和 us 索引中搜索所有的文档(明确指定多个索引名称，这种方式一般应用在非常精确的查询场景下，便于查询索引范围，性能平衡考虑，若索引不存在会出现错误) /g*,u*/_search1在任何以 g 或者 u 开头的索引中搜索所有的类型(不限定死索引名称，这种方式一般采用通配符，无需判断该索引是否存在，支持前匹配、后匹配，前后匹配) /gb/user/_search1在 gb 索引中搜索...
k8sCrd开发学习-client_go连接k8s(minikube)
client go远程连接k8s(minikube)复制配置文件到本地 先将minikube拷贝到本地(或者只拷贝.kube\config需要的文件) 1cp -r /home/docker_user/.minikube /root/ 拷贝.kube文件夹 1cp -r /home/docker_user/.kube /root/ 添加ssh端口转发本地肯定是访问不了的，所以需要在本地试验环境添加远程主机的端口转发。 windows端口转发，打开windows的cmd，输入命令： 12345# 表示在本地启动18443端口，与远程主机root@192.168.56.101建议连接，端口转发到远程主机192.168.49.2:8443上去, 执行完窗口会hold住# 192.168.49.2是k8s节点ip, 使用`minikube node list`查看C:\Users\a94391> ssh -L 18443:192.168.49.2:8443 -N -f...
利用split分割文件或者二进制文件
前言 当需要将较大的数据上传到服务器，或从服务器下载较大的日志文件时，往往会因为网络或其它原因而导致传输中断而不得不重新传输。这种情况下，可以先将大文件分割成小文件后分批传输，传完后再合并文件。 1. 分割文件文件分割可以使用split命令，该即支持文本文件分割，又支持二进制文件分割；而合并文件可以使用cat命令。 1.1 文本文件分割分割文本文件时，可以按文件大小分割，也可以按文本行数分割。 按文件大小分割 按文件大小分割文件时，需要以-C参数指定分割后的文件大小： 1$ split -C 100M large_file.txt stxt 如上所示，我们将大文件large_file.txt按100M大小进行分割，并指定了分割后文件前缀stxt；当不指定前缀时，split会自动对分割文件进行命名，一般会以x开头。 按行分割 文本文件还可以以行为单位进行分割，以行数进行分割时会忽略文件大小，并以-l参数指定分割后文件的行数： 1$ split -l 1000 large_file.txt stxt 1.2...
公告