小五的个人杂货铺

Scrapy的介绍scrapy的工作流程如下图所示： 爬虫： 负责向引擎提供要爬取网页的URL，引擎会把这个URL封装成request对象并传递给调度器， 把引擎传递过来的response对象进行数据解析。数据解析有两种结果： 解析出具体的数据，那么通过引擎把这个具体的数据传递给管道，然后存入文件、数据库等 解析出一个新的URL，那么过程同作用1 管道：负责把引擎传递过来的数据进行存储，存入文件、数据库等。管道可以有多个，比如MySQL的管道，某个文件的管道，mango的管道等。 调度器：可以把调度器的存储结构看成一个优先队列，不同的request对象可能优先级不一样，按优先级的高低进行调度 把引擎传递过来的request对象放入队列进行排队，调度器可以实现去重的效果，即对两个相同的URL，只存储一个 向引擎提供队头的request对象（即优先级高的request对象），引擎把这个request对象传递给下载器进行请求 下载器：把引擎传递过来的request对象发送给服务器请求数据，并把服务器返回的内容封装成response对象，...

当我们在 Kubernetes 上工作时，有时会遇到这样的场景：我们需要从本地访问一个位于集群内部的 Redis 服务器，但出于安全考虑，这个 Redis 服务并没有直接暴露给外部。不过，集群里有一个 Pod 已经具备了访问这个 Redis 服务器的能力。 利用这个 Pod 作为跳板，我们可以安全地从本地连接到目标 Redis 服务器。由于这个 Pod 本身并不是 Redis 服务，我们不能直接使用 kubectl port-forward。相反，我们需要在 Pod 内部运行一个临时的代理进程。 下面是实现这个目标的详细步骤，可以作为你的操作笔记或博客文章。 借道 Kubernetes Pod 访问内部 Redis 服务器步骤一：找到你的“跳板” Pod首先，你需要确定那个能够连接到 Redis 服务器的 Pod 的名称。你可以使用 kubectl 命令列出集群中的所有 Pod： 1kubectl get pods 从列表中找到你需要的 Pod，例如它的名字是 my-redis-client-pod。 步骤二：在 Pod 内部启动一个端口转发代理由于 Pod 本身没有...

Jmeter 里面有几个用到Beanshell的地方，这里作同一介绍。 Beanshell Sampler – 一个独立的beanshell请求 Beanshell PreProcessor – sample的一个预处理装置，在sample之前执行，可用来作为执行的先决条件（例如产生某些输入） Beanshell PostProcessor – 在sample之后再执行的一个提交处理器，可用来恢复数据或这清除数据 Beanshell Assertion – 一个访问jmeter api 的后期断言装置，Java的逻辑可以被用来设置这个断言的结果 __Beanshell Function –...

前置处理器  预处理器是JMeter的元素，在测试场景中用于执行采样器请求之前执行的操作。预处理器可用于不同的性能测试需求，例如从数据库中获取数据、在采样器执行之间或在测试数据生成之前设置超时。 BeanShell PreProcessor假设我们要测试一个需要“token”参数的请求，这个参数可以是任何随机自字符串，我们可以轻松使用预处理器生成随机字符串并在采样器中使用它的一个很好的例子，BeanShell预处理器适用于此，因为它可以管理性能脚本中的任何程序员任务。 Right Click on the Sampler -> Add -> Pre Processors -> BeanShell PreProcessor 参数说明： Reset bsh.Interpreter before each call： 在每次调用之前重置解释器并清除占用的内存。将此选项设置为“True”对于长时间运行的脚本可能很有用，因为重复调用可能会消耗大量内存 Parameters...

jmeter包含了如下多种控制器 使用方式 将请求包含在控制器内部 样例(当选中红框时，可以使用 groovy 执行beanshell 脚本。)groovy(官方建议使用方式) javascript 脚本方式(不勾选红框)

使用csv作为动态参数的输入添加->配置元件->CSV Data Set Config添加动态参数。如下： CSV 文件的内容如下：这里随意写了几个。变量名列表。对应参数文件每列的变量名，类似Excel文件的文件头，起到标示作用，同时也是后续引用的标识符，建议采用有意义的英文标示。例如：loginToken可以被用变量名来引用：${loginToken}。多个变量名之间必须用分隔符分隔。如果该项为空，则文件首行会被读取并解析为列名。 12345loginToken111222233334444 Jmeter中配置如下： 参数解释 名称（Name ）：脚本中显示的该元件的描述性名称，必须填写。 注释（Comments）：对该元件的说明信息。（非必填写） 文件名（Filename...

引言Python是一种广泛使用的编程语言，适合快速开发和原型设计。然而，Python代码通常是以脚本形式分发的，需要目标系统上预先安装Python解释器。这对于非技术用户来说可能不太方便，因此，将Python项目打包为独立的可执行文件（exe）是一个常见的需求。本文将介绍如何将Python项目打包为可执行文件，涵盖基本概念、常用打包工具、详细步骤和注意事项。 基本概念在讨论打包之前，了解以下几个基本概念非常重要： 可执行文件：在Windows系统中，可执行文件通常是以“.exe”扩展名结尾的文件。它包含了可以直接运行的二进制代码。 依赖项：Python项目通常依赖于各种外部库或模块。这些依赖项在打包时需要一并包含，以确保可执行文件在没有Python环境的系统上也能运行。 虚拟环境：为了管理项目的依赖项，通常会使用Python的虚拟环境。打包时，通常是在虚拟环境中进行，以确保所有依赖项都能被正确打包。 常用打包工具 PyInstaller：...

Usage Example： 1234567Copy 整个 database:python mysql_transfer.py --src-host=127.0.0.1 --src-user=root --src-password=123 --src-db=源db \ --tgt-host=127.0.0.1 --tgt-user=root --tgt-password=456 --tgt-db=目标dbCopy 指定 tables:python mysql_transfer.py --src-host=127.0.0.1 --src-user=root --src-password=123 --src-db=源db \ --tgt-host=127.0.0.1 --tgt-user=root --tgt-password=456 --tgt-db=目标db --tables source_table1:target_table1 source_table2:target_table2 Python...

摘自小骨格子屋的 mysql中的instr()函数的用法 想要在字符串中查找某字符串可以使用instr()函数 instr()返回子字符串在字符串中首次出现的位置；如果没有找到，则返回0 用法：123str：从哪个字符串中搜索substr:要搜索的子字符串instr()函数不区分大小写 mysql instr()函数示例：1如图，在abcd字符串中查找是否含有字符串b，返回的字符串位置是2. 说明instr()函数返回的位置是从1开始的，如果找不到则返回0 查找字符串中包含“民”的记录 instr()函数与like运算符 在没有索引的情况下，instr()函数与like运算符的速度是一样的；在具有前缀搜索的LIKE运算符下，使用like运算符速度会更快一些 SUBSTRING(s，n，len) MySQL 中获取子串函数 SUBSTRING(s，n，len) 带有 len 参数的格式，从字符串 s 返回一个长度同 len 字符相同的子字符串，起始于位置 n。 也可能对 n 使用一个负值。假若这样，则子字符串的位置起始于字符串结尾的第 n 个字符，即倒数第 n...

首先查看explain执行计划，让主要查询语句使用索引，索引type级别最好达到ref | ref_eq级别 其次将extra一栏的Using temporary（临时表）、Using filesort（文件排序）拖出去砍了 第一条语句 123explain select * from tb_wm_shop where is_delete != 1 and is_authentication = 1 ORDER BY create_time DESC 大家应该知道使用order by的 字段要使用索引，这条语句中create_time已经创建了索引，但是计划中并没有使用该索引，导致出现了Using filesort文件排序，使其查询变慢 解决方法如下： 从where条件开始，依照顺序创建一个组合索引，就可以砍掉Using...