Elasticsearch数据建模

数据建模

数据建模是创建数据模型的过程
数据模型是对真实世界进行抽象描述的一种工具和方法，实现对现实世界的映射
- 三个过程：概念模型=》逻辑模型=》数据模型
  - 数据模型：结合具体的数据库，在满足业务读写性能等需求的前提下，确定最终定义
数据建模：功能需求+性能需求
- 逻辑模型（功能需求）
  - 实体属性
    实体之间的关系
    搜索相关的配置
- 物理模型（性能需求）
  - 索引模版
    - 分片数量
    - 索引Mapping
    - 字段配置
    - 关系处理
对字段进行建模

字段类型：
- Text vs Keyword
  - Text
    - 用于全文本字段，文本会被Analyzer分词
    - 默认不支持聚合分析及排序。需要设置fielddata为true
  - Keyword
    - 用于id,枚举及不需要分词的文本。例如电话号码，email地址，手机号码，邮政编码，性别等
    - 适用于Filter(精确匹配)，Sorting和Aggregations
  - 设置多字段类型
    默认会为文本类型设置成text,并且设置一个keyword的子字段
    在处理人类语言时，通过增加“英文”，“拼音”和“标准”分词器，提高搜索结果
    结构化数据
- 结构化数据
  - 数值类型
  - 尽量选择贴近的类型。例如可以用byte,就不要用long
  - 枚举类型
  - 设置为keyword。即便是数字，也应该设置成keyword,获取更加好的性能
  - 其他
  - 日期/布尔/地理信息
- 检索
  - 如不需要检索
    - Enable设置成false
  - 如不需要检索
    - Index设置成false
  - 对需要检索的字段，可以通过如下配置，设定存储粒度
    - Index_options/Norms：不需要归一化数据时，可以关闭
- 聚合及排序
  - 如不需要排序和聚合分析
    - Enable设置成false
  - 如不需要排序或者聚合分析
    - Doc_value/fielddata设置成false
  - 更新频繁，聚合查询频繁的keyword类型的字段
    - 推荐eager_global_ordinals设置为true
- 额外的存储
  - 是否需要专门存储当前字段数据
  - Disable _source:节约磁盘；适用于指标型数据
    - 一般建议考虑增加压缩比
    - 无法看到_source字段，无法ReIndex 无法Upadte
    - Kibana中无法做discovery
最佳实践
建模建议一：如何处理关联关系
建模建议二：避免过多字段
- 一个文档中，最好避免大量的字段
  - 过多的字段数不容易维护
    - Mapping信息保存在Cluster State中，数据量过大，对集群性能会有影响（Cluster State信息需要和所有的节点同步）
    - 删除或者修改数据需要reindex
  - 默认最大字段数是1000，可以设置index.mapping.tatal_fields.limt限定最大字段数
  - Dynamic vs Strict
    - Dynamic（生产环境中，尽量不用打开Dynamic）
      - true-未知字段会被自动加入
      - false-新字段不会被索引。但是会保存在_source
      - strict-新字段不会被索引，文档写入失败
    - Strict
      - 可以控制道字段级别
    　　
  - 当Dynamic设置为True,同时采用扁平化的设计且键值对过多会导致字段数量的膨胀，通过Nested对象保存key/value可以减少字段数量。
建模建议三：避免正则查询
- 通过 Inner Object避免低性能的正则匹配

{
  "version":{
  "display_name":"7.1.0",
  "marjor":7,
  "minor":1,
  "hot_fix":0 
  }
}

建模建议四：避免空值引起的聚合不准确
- 使用Null_Value解决空值的问题
- 建模建议五：为索引的Mapping加入Meta信息便于管理

{
  "mappings": {
    "_meta": {
      "software_version_mapping": "1.0"
    }
  }
}

规范

1、不允许自动新增字段，将 dynamic 设置成 strict。默认为 true；

2、不需要分词的字段，将 type 设置成 keyword。默认使用了多字段特性，text、keyword这2种类型都有；

3、不需要检查的字段，将 index 设置成 false。默认为 true；

4、不需要排序和聚合的字段，将 doc_values 设置成false。默认为 true；

5、不需要检查、排序、聚合的字段，将 enable 设置成 false，仅做存储；

6、type = text 的字段，默认不可以排序，如需要排序，将 fielddata 设置成 true，默认为 false；

7、单个索引避免过多字段，默认最大值为1000；

8、避免空值引起的聚合不准确的问题；

9、避免使用正则查询；

10、尽量不要设计成索引关联，可冗余多一些字段，以空间换时间