多索引组合查询
多索引组合查询(官方文档) 如果不对某一特殊的索引做限制，就会搜索集群中的所有文档。Elasticsearch 转发搜索请求到每一个主分片或者副本分片，汇集查询出的前10个结果，并且返回给我们。 然而，经常的情况下，你想在一个或多个特殊的索引并且在一个或者多个特殊的类型中进行搜索。我们可以通过在URL中指定特殊的索引和类型达到这种效果，如下所示： /_search1在所有的索引中搜索所有的类型 /gb/_search1在 gb 索引中搜索所有的类型 /gb,us/_search1在 gb 和 us 索引中搜索所有的文档(明确指定多个索引名称，这种方式一般应用在非常精确的查询场景下，便于查询索引范围，性能平衡考虑，若索引不存在会出现错误) /g*,u*/_search1在任何以 g 或者 u 开头的索引中搜索所有的类型(不限定死索引名称，这种方式一般采用通配符，无需判断该索引是否存在，支持前匹配、后匹配，前后匹配) /gb/user/_search1在 gb 索引中搜索...
k8sCrd开发学习-client_go连接k8s(minikube)
client go远程连接k8s(minikube)复制配置文件到本地 先将minikube拷贝到本地(或者只拷贝.kube\config需要的文件) 1cp -r /home/docker_user/.minikube /root/ 拷贝.kube文件夹 1cp -r /home/docker_user/.kube /root/ 添加ssh端口转发本地肯定是访问不了的，所以需要在本地试验环境添加远程主机的端口转发。 windows端口转发，打开windows的cmd，输入命令： 12345# 表示在本地启动18443端口，与远程主机root@192.168.56.101建议连接，端口转发到远程主机192.168.49.2:8443上去, 执行完窗口会hold住# 192.168.49.2是k8s节点ip, 使用`minikube node list`查看C:\Users\a94391> ssh -L 18443:192.168.49.2:8443 -N -f...
利用split分割文件或者二进制文件
前言 当需要将较大的数据上传到服务器，或从服务器下载较大的日志文件时，往往会因为网络或其它原因而导致传输中断而不得不重新传输。这种情况下，可以先将大文件分割成小文件后分批传输，传完后再合并文件。 1. 分割文件文件分割可以使用split命令，该即支持文本文件分割，又支持二进制文件分割；而合并文件可以使用cat命令。 1.1 文本文件分割分割文本文件时，可以按文件大小分割，也可以按文本行数分割。 按文件大小分割 按文件大小分割文件时，需要以-C参数指定分割后的文件大小： 1$ split -C 100M large_file.txt stxt 如上所示，我们将大文件large_file.txt按100M大小进行分割，并指定了分割后文件前缀stxt；当不指定前缀时，split会自动对分割文件进行命名，一般会以x开头。 按行分割 文本文件还可以以行为单位进行分割，以行数进行分割时会忽略文件大小，并以-l参数指定分割后文件的行数： 1$ split -l 1000 large_file.txt stxt 1.2...
整理使用nginx时碰到的问题
NET::ERR_INCOMPLETE_CHUNKED_ENCODING 200 (OK)解决办法:在nginx中的对应的反向代理配置如下内容，即可解决: 1234proxy_buffer_size 1024k; #设置代理服务器（nginx）保存用户头信息的缓冲区大小proxy_buffers 16 1024k; #proxy_buffers缓冲区，网页平均在32k以下的设置proxy_busy_buffers_size 2048k; #高负荷下缓冲大小（proxy_buffers*2）proxy_temp_file_write_size 2048k;...
生产RabbitMQ队列阻塞处理
现象 RabbitMQ的管控台有几万条消息处于ready状态，还有几百条unacked的消息。 队列阻塞-分析原因 consumer消费处理错误消息失败后没有正常进行ack, 正常的消息也不再被消费, 随即导致队里阻塞 但为什么正常消息也没有被正常消费呢? 其实这是RabbitMQ的一种保护机制。防止当消息激增的时候，海量的消息进入consumer而引发consumer宕机。 RabbitMQ提供了一种QOS(服务质量保证)功能，即在非自动确认的消息的前提下，限制信道上的消费者所能保持的最大未确认的数量。可以通过设置PrefetchCount实现。 举例说明:可以理解为在consumer前面加了一个缓冲容器，容器能容纳最大的消息数量就是PrefetchCount。如果容器没有满RabbitMQ就会将消息投递到容器内，如果满了就不投递了。当consumer对消息进行ack以后就会将此消息移除，从而放入新的消息。 12345678910listener: simple: # 消费端最小并发数 concurrency: 1 # 消费端最大并发数 ...
sentinel结合项目的使用
面对互联网的高并发过载流量，为了保证系统的稳定性，我们一般会对过载流量进行限流。 1、什么是 sentinel：在基于 SpringCloud 构建的微服务体系中，服务间的调用链路会随着系统的演进变得越来越长，这无疑会增加了整个系统的不可靠因素。 在并发流量比较高的情况下，由于网络调用之间存在一定的超时时间，链路中的某个服务出现宕机都会大大增加整个调用链路的响应时间，而瞬间的流量洪峰则会导致这条链路上所有服务的可用线程资源被打满，从而造成整体服务的不可用，这也就是我们常说的 “雪崩效应”。 而在微服务系统设计的过程中，为了应对这样的糟糕情况，最常用的手段就是进行 ”流量控制“ 以及对网络服务的调用实现“熔断降级”。因此，Sentinel 就应运而生了。 Sentinel 是一款面向分布式服务架构的轻量级流量控制组件，主要以流量为切入点，从流量控制、熔断降级、系统自适应保护等多个维度来保障服务的稳定性，核心思想是：根据对应资源配置的规则来为资源执行相应的流控/降级/系统保护策略，Sentinel...
Kafka-Eagle监控&Kraft模式
Kafka-Eagle监控Kafka-Eagle框架可以监控 Kafka 集群的整体运行情况，在生产环境中经常使用。 在此之前监控工具需要MySQL作为持久化手段。 一、Kafka环境准备1、关闭 Kafka 集群12# 停止集群kf.sh stop 2、修改/opt/module/kafka/bin/kafka-server-start.sh1vim bin/kafka-server-start.sh 修改如下参数值： 123if [ "x$KAFKA_HEAP_OPTS" = "x" ]; then export KAFKA_HEAP_OPTS="-Xmx1G -Xms1G"fi 为 12345if [ "x$KAFKA_HEAP_OPTS" = "x" ]; then export KAFKA_HEAP_OPTS="-server -Xms2G -Xmx2G -XX:PermSize=128m ...
关于nginx中proxy_set_header Host的设置
转自: https://blog.csdn.net/weixin_41585557/article/details/82426784 背景: nginx上配有aaa.example.com的虚拟主机，现在需要将访问http://aaa.example.com/api/x.x/client/的请求转到http://bbb.example.com/api/x.x/client/，bbb.example.com的虚拟主机在另外一台nginx上，其中x.x表示位数不定的版本号，如：1.0或1.20.345都可能。请求转过去要求url保持不变 用rewrite转发的话，url会发生变化的，那就用proxy_pass吧，于是添加了如下的配置： 123location ~ ^/api/([0-9]+)(\.[0-9]+)*/client/ { proxy_pass...
利用pprof分析filebeat的cpu使用率过高
通过pprof调试filebeat因为filebeat是用go语言实现的，而go语言本身的基础库里面就包含pprof这个功能极其强大的性能分析工具，因此，在7.x版本中，beats家族的工具，都提供了以下参数，方便用户在出现问题的时候，对应用进行调试 12345678--cpuprofile FILEWrites CPU profile data to the specified file. This option is useful for troubleshooting Filebeat.-h, --helpShows help for the run command.--httpprof [HOST]:PORTStarts an http server for profiling. This option is useful for troubleshooting and profiling Filebeat.--memprofile FILEWrites memory profile data to the specified output file. This...
因inodes占用资源过多导致no space left on device的问题
摘自：https://blog.csdn.net/weixin_34383474/article/details/121493708 问题现象使用gitlab runner的打包机器执行命令打包docker镜像时报 "no space left on device" 的错误，无法正确打包。 问题排查步骤 登录打包机查看机器剩余磁盘容量，得到结果物理机磁盘仍有剩余空间。 1df -h 通过复制文件证明磁盘空间确有剩余，但是在物理机上直接执行docker命令依然存在no space left on...
公告