TiDB 2.1 RC1 Release Notes

2018 年 8 月 24 日，TiDB 发布 2.1 RC1 版。相比 2.1 Beta 版本，该版本对系统稳定性、优化器、统计信息以及执行引擎做了很多改进。

TiDB

• SQL 优化器
  • 修复某些情况下关联子查询去关联后结果不正确的问题 #6972
  • 优化 Explain 输出结果 #7011#7041
  • 优化 IndexJoin 驱动表选择策略#7019
  • 去掉非 PREPARE 语句的 Plan Cache #7040
  • 修复某些情况下 INSERT 语句无法正常解析执行的问题 #7068
  • 修复某些情况下 IndexJoin 结果不正确的问题 #7150
  • 修复某些情况下使用唯一索引不能查询到 NULL 值的问题 #7163
  • 修复 UTF-8 编码情况下前缀索引的范围计算不正确的问题 #7194
  • 修复某些情况下 Project 算子消除导致的结果不正确的问题 #7257
  • 修复主键为整数类型时无法使用 USE INDEX(PRIMARY) 的问题 #7316
  • 修复某些情况下使用关联列无法计算索引范围的问题 #7357
• SQL 执行引擎
  • 修复某些情况下夏令时时间计算结果不正确的问题 #6823
  • 重构聚合函数框架，提升 Stream 和 Hash 聚合算子的执行效率 #6852
  • 修复某些情况下 Hash 聚合算子不能正常退出的问题 #6982
  • 修复 BIT_AND/BIT_OR/BIT_XOR 没有正确处理非整型数据的问题 #6994
  • 优化 REPLACE INTO 语句的执行速度，性能提升近 10 倍 #7027
  • 优化时间类型的内存占用，时间类型数据的内存使用降低为原来的一半 #7043
  • 修复 UNION 语句整合有符号和无符号型整数结果时与 MySQL 不兼容的问题 #7112
  • 修复 LPAD/RPAD/TO_BASE64/FROM_BASE64/REPEAT 因为申请过多内存导致 TiDB panic 的问题 #7171 #7266 #7409 #7431
  • 修复 MergeJoin/IndexJoin 在处理 NULL 值时结果不正确的问题 #7255
  • 修复某些情况下 Outer Join 结果不正确的问题 #7288
  • 增强 Data Truncated 的报错信息，便于定位出错的数据和表中对应的字段 #7401
  • 修复某些情况下 Decimal 计算结果不正确的问题 #7001 #7113 #7202 #7208
  • 优化点查的查询性能 #6937
  • 禁用 Read Commited 隔离级别，避免潜在的问题 #7211
  • 修复某些情况下 LTRIM/RTRIM/TRIM 结果不正确的问题 #7291
  • 修复 MaxOneRow 算子无法保证返回结果不超过 1 行的问题 #7375
  • 拆分 range 个数过多的 Coprocessor 请求 #7454
• 统计信息
  • 优化统计信息动态收集机制 #6796
  • 解决数据频繁更新场景下 Auto Analyze 不工作的问题 #7022
  • 减少统计信息动态更新过程中的写入冲突 #7124
  • 优化统计信息不准确情况下的代价估算 #7175
  • 优化 AccessPath 的代价估算策略 #7233
• Server
  • 修复加载权限信息时的 bug #6976
  • 修复 Kill 命令对权限的检查过严问题 #6954
  • 解决 Binary 协议中某些数值类型移除的问题 #6922
  • 精简日志输出 #7029
  • 处理 mismatchClusterID 问题 #7053
  • 增加 advertise-address 配置项 #7078
  • 增加 GrpcKeepAlive 选项 #7100
  • 增加连接或者 Token 时间监控 #7110
  • 优化数据解码性能 #7149
  • INFORMMATION_SCHEMA 中增加 PROCESSLIST 表 #7236
  • 解决权限验证时多条规则可以命中情况下的顺序问题 #7211
  • 将部分编码相关的系统变量默认值改为 UTF-8 #7198
  • 慢查询日志显示更详细的信息 #7302
  • 支持在 PD 注册 tidb-server 的相关信息并通过 HTTP API 获取 #7082
• 兼容性
  • 支持 Session 变量 warning_count 和 error_count #6945
  • 读取系统变量时增加 Scope 检查 #6958
  • 支持 MAX_EXECUTION_TIME 语法 #7012
  • 支持更多的 SET 语法 #7020
  • Set 系统变量值过程中增加合法性校验 #7117
  • 增加 Prepare 语句中 PlaceHolder 数量的校验 #7162
  • 支持 set character_set_results = null #7353
  • 支持 flush status 语法 #7369
  • 修复 SET 和 ENUM 类型在 information_schema 里的 column size #7347
  • 支持建表语句里的 NATIONAL CHARACTER 语法 #7378
  • 支持 LOAD DATA 语句的 CHARACTER SET 语法 #7391
  • 修复 SET 和 ENUM类型的 column info #7417
  • 支持 CREATE USER 语句的 IDENTIFIED WITH 语法 #7402
  • 修复 TIMESTAMP 类型计算过程中丢失精度的问题 #7418
  • 支持更多 SYSTEM 变量的合法性验证 #7196
  • 修复 CHAR_LENGTH 函数在计算 binary string 时结果不正确的问题 #7410
  • 修复在包含 GROUP BY 的语句里 CONCAT 结果不正确的问题 #7448
  • 修复 DECIMAL 类型 CAST 到 STRING 类型时，类型长度不准确的问题 #7451
• DML
  • 解决 Load Data 语句的稳定性 #6927
  • 解决一些 Batch 操作情况下的内存使用问题 #7086
  • 提升 Replace Into 语句的性能 #7027
  • 修复写入 CURRENT_TIMESTAMP 时，精度不一致的问题 #7355
• DDL
  • 改进 DDL 判断 Schema 是否已经同步的方法, 避免某些情况下的误判 #7319
  • 修复在 ADD INDEX 过程中的 SHOW CREATE TABLE 结果 #6993
  • 非严格 sql-mode 模式下, text/blob/json 的默认值可以为空 #7230
  • 修复某些特定场景下 ADD INDEX 的问题 #7142
  • 大幅度提升添加 UNIQUE-KEY 索引操作的速度 #7132
  • 修复 Prefix-index 在 UTF-8 字符集的场景下的截断问题 #7109
  • 增加环境变量 tidb_ddl_reorg_priority 来控制 add-index 操作的优先级 #7116
  • 修复 information_schema.tables 中 AUTO-INCREMENT 的显示问题 #7037
  • 支持 admin show ddl jobs <number> 命令, 支持输出 number 个 DDL jobs #7028
  • 支持并行 DDL 任务执行 #6955
• Table Partition（实验性）
  • 支持一级分区
  • 支持 Range Partition

PD

• 新特性
  • 引入版本控制机制，支持集群滚动兼容升级
  • 开启 Region merge 功能
  • 支持 GetPrevRegion 接口
  • 支持批量 split Region
  • 支持存储 GC safepoint
• 功能改进
  • 优化系统时间回退影响 TSO 分配的问题
  • 优化处理 Region heartbeat 的性能
  • 优化 Region tree 性能
  • 优化计算热点统计的性能问题
  • 优化 API 接口错误码返回
  • 新增一些控制调度策略的开关
  • 禁止在 label 中使用特殊字符
  • 完善调度模拟器
  • pd-ctl 支持使用统计信息进行 Region split
  • pd-ctl 支持调用 jq 来格式化 JSON 输出
  • 新增 etcd Raft 状态机相关 metrics
• Bug 修复
  • 修复 leader 切换后 namespace 未重新加载的问题
  • 修复 namespace 调度超出 schedule limit 配置的问题
  • 修复热点调度超出 schedule limit 的问题
  • 修复 PD client 关闭时输出一些错误日志的问题
  • 修复 Region 心跳延迟统计有误的问题

TiKV

• 新特性
  • 支持 batch split，防止热点 Region 写入产生超大 Region
  • 支持设置根据数据行数 split Region，提升 index scan 效率
• 性能优化
  • 使用 LocalReader 将 Read 操作从 raftstore 线程分离，减少 Read 延迟
  • 重构 MVCC 框架，优化 memory 使用，提升 scan read 性能
  • 支持基于统计估算进行 Region split，减少 I/O 开销
  • 优化连续写入 Rollback 记录后影响读性能的问题
  • 减少下推聚合计算的内存开销
• 功能改进
  • 增加大量内建函数下推支持，更完善的 charset 支持
  • 优化 GC 流程，提升 GC 速度并降低 GC 对系统的影响
  • 开启 prevote，加快网络异常时的恢复服务速度
  • 增加 RocksDB 日志文件相关的配置项
  • 调整 scheduler latch 默认配置
  • 使用 tikv-ctl 手动 compact 时可设定是否 compact RocksDB 最底层数据
  • 增加启动时的环境变量检查
  • 支持基于已有数据动态设置 dynamic_level_bytes 参数
  • 支持自定义日志格式
  • tikv-ctl 整合 tikv-fail 工具
  • 增加 threads IO metrics
• Bug 修复
  • 修复 decimal 相关问题
  • 修复 gRPC max_send_message_len 设置有误的问题
  • 修复 region_size 配置不当时产生的问题