• 发行注记

v6.4 EE Release Notes

创建时间：2024-11-05 最近修改时间：2024-11-05

#1. 全景图、应用、网络、基础设施、事件

  • AutoMetrics
    • 支持解析 MongoDB 协议（文档）
    • 支持解析 TLS 协议，并获取访问域名、秘钥算法、TLS 版本、证书过期时间等信息
    • 支持解析 TLS 之上的所有加密应用协议，不局限于 HTTP
    • 增强 HTTP2 压缩头的解析能力，cBPF、eBPF kprobe 数据支持压缩还原
    • MySQL、PostgreSQL、Redis 协议数据支持脱敏，可通过 Agent 的 obfuscate-enabled-protocols 开启
    • 支持解析 Oracle 协议
    • 优化 DNS 流量的默认解析端口，增加 5353，详见 Agent 的 l7-protocol-ports 配置项
    • 流日志、网络性能指标中，系统时延（srt、srt_max）支持记录 ICMP 流量的时延，并支持利用 ICMP Echo 消息矫正 ICMP 流量的记录方向
    • 精简流日志中的建连指标，删除冗余的 rtt_client_avg 和 rtt_server_avg
    • 支持解析 Geneve 隧道封装（适配 Kube-OVN）
  • AutoTracing
    • 支持提取 SofaRPC Payload（Hessian 编码、TreeMap 结构）中的 trace_id
    • 支持提取 Kafka 消息中 SkyWalking、OpenTelemetry 注入的 TraceID 字段
    • 支持解析 SkyWalking sw3 Header
  • AutoProfiling
    • 支持展示一个服务器上所有进程的全景 CPU 火焰图，精细到线程粒度
    • 通过随机滞后的方式穿插生成 Java 进程的符号表，避免扎堆导致高负载，支持修改 Agent 的 java-symbol-file-refresh-defer-interval 配置项以调整滞后的基础间隔
    • 开启 Profiling 功能时，无需在 Java 进程所在 Pod 中生成符号表文件
  • AutoTagging
    • 支持同步腾讯公有云、华为公有云中云服务器的标签信息，支持同步阿里公有云中云服务器的资源集信息
    • 支持通过 Agent 同步青云私有云中裸金属服务器的网卡 MAC 地址
    • 支持同步华为公有云的 RDS、Redis 资源
    • 支持同步百度公有云的 Redis 资源
    • 支持向所有观测数据注入自定义自动分组标签，通过组合多个标签字段，实现自动取值第一个非空标签、忽略后续其他标签列的能力
    • 为所有的观测数据增加 pod_group_type（K8s 工作负载类型）标签字段，扩展 auto_service_type 的取值以表示 K8s 工作负载的类型
    • 调用日志增加协程 ID 字段 syscall_coroutine_0、syscall_coroutine_1
    • 支持提取 Kafka 消息中的 topic_name 字段并赋值到调用日志的 request_resource 中
    • 支持从 HTTP URL 中提取 endpoint 并赋值到调用日志和应用性能指标数据中，支持为 Agent 配置 http-endpoint-extraction 提取规则
    • 支持精准设置 HostNetwork Pod 所有 eBPF 观测数据的 Pod 标签
    • 为持续剖析数据增加 gprocess 进程信息标签
    • 废弃 l7_protocol（应用协议）中的 Others 类型，合并 HTTP_TLS、HTTP2_TLS 到 HTTP 和 HTTP2，调用日志中增加 is_tls 表示是否是加密流量
  • 全景图
    • 服务列表支持点击弹出右滑页面，展示服务的关联数据
    • 服务拓扑支持手动调整节点位置
    • 支持设置服务列表和服务拓扑展示的指标量
    • 右滑页面自动关联基础设施指标数据
    • 支持将业务分享给其他账号
  • 网络
    • 分发流量中支持插入双层 VLAN（802.1Q / QinQ），以表达 24bit 流量标签
    • 支持在分发策略中分别指定 QinQ 中内层、外层的 12bit 流量标签
    • 支持从流日志详情页中关联展示它的所有调用日志
    • 支持仅分发单向流量，例如仅分发 SQL 请求流量
  • 基础设施
    • 默认部署 grafana-agent 采集 DeepFlow Server 所在 K8s 集群的基础设施指标
  • 易用性改进
    • 搜索框
      • 支持自定义搜索栏，默认提供容器搜索、进程搜索两种简洁搜索模式
      • 新增双向路径搜索模式，忽略客户端、服务端的方向
      • 去除「路径过滤」条件在搜索栏的回显，通过 ICON 状态表示取值
      • 优化下拉输入框性能，支持上万候选项的提示和过滤
      • 支持设置搜索框在页面首次加载时、以及搜索条件输入过程中的触发行为（自动/手动）
      • 持续剖析页面的搜索条件与其他页面拉齐
      • 支持为模板变量设置动态的取值范围，例如支持通过 VPC 设置云服务器的候选项
    • 全景图
      • 在业务定义中，支持批量定义路径
      • 支持在服务拓扑上直接鼠标点选编辑路径
      • 服务拓扑右滑页面中的拓扑图支持按阈值标红节点和连线
      • 服务拓扑编辑页面易用性改进、子视图标准操作能力拉齐、拓扑展示优化
      • 优化服务拓扑页面首次加载时的节点位置，居中且全景显示
      • 优化业务定义详情页，展示业务的更多信息
      • 优化服务拓扑操作体验
    • TCP 时序图
      • 优化特殊包（SYN、FIN、RST）的显示样式
      • 增加日期列，展示便于人阅读的时间信息
    • 右滑页面
      • 右滑页面中，流日志、调用日志、事件页卡支持左侧快速过滤框
      • 在网络路径页面中增加时间控件
      • 概览图支持修改指标量
    • 调用链追踪
      • 优化调用链追踪火焰图中网络 Span 的排列顺序
      • 左侧快速过滤框支持按应用协议过滤
      • 固定火焰图下方的 Tab 页，避免页面抖动
    • 趋势分析：优化流日志、PCAP 下载、调用日志、调用连追踪、事件、持续剖析页面中趋势分析图的展现
    • 知识图谱：优化知识图谱中已删除资源名称的展示：$name (deleted)
    • 屏幕适应：调整页面图表尺寸，优化小屏展现效果
    • 优化流日志表格默认展示的列，增加流结束类型
    • 优化表格的列选择操作，减少鼠标点击
    • 复制资源名时不携带资源类型名
    • 左侧快速过滤框展示优化
    • 优化页面菜单和拓扑图样式

#2. 视图、指标、告警、报表

  • 视图
    • 子视图支持多查询条件
    • 支持在视图中直接创建子视图
    • 预置 SQL、Redis、DNS、Ingress、Dubbo 等视图
    • 子视图支持设置颜色
    • 概览图支持设置颜色、字体大小，支持增加指标值的小时同步、日同步显示，支持背景展示指标值的历史趋势
    • 柱状图支持调整排序顺序（升序、降序）
    • 表格默认按内容分配列宽
    • 支持切换整个视图中所有子视图的查询区域
  • 易用性改进
    • 优化视图列表页面的布局，增加左侧快速过滤框
    • 优化添加子视图时的默认排布位置
    • 视图页面向下滚动时头部行固定
    • 优化子视图的搜索条件编辑区

#3. 资源、系统

  • Integration
    • PromQL 算子卸载至 ClickHouse，提升 PromQL 查询性能
    • Server 支持通过 Prometheus RemoteWrite 协议 Export 指标（感谢 chenjiandongx：PR (opens new window)）
    • 支持可扩展的 Exporter 接口
  • Agent
    • Agent 的 eBPF 功能适配 Linux 3.10 内核（详细文档）
    • 支持采集 DPDK 环境的流量
    • 使用 TCP 协议传输 Agent 自身的日志
    • 在大量 TCP 新建流的场景下，Agent 内存消耗降低 60%
    • 优化 HTTP2 解析性能，CPU 降低 60%
  • Wasm
    • Wasm Plugin 支持在 Agent 中动态加载
  • Server
    • 优化 K8s Label、Annotation、Env 同步机制，支持设置正则表达式过滤感兴趣的标签，支持限制标签值的最大长度
    • 支持根据 Agent 发送的数据量大小均衡分配数据发送的 Server，提升 ClickHouse 的数据量均衡性
    • ClickHouse 使用 Array(LowCardinality(String)) 替代 Array(String) 优化低基数字段读写性能，例如 tag_names、metrics_names 等
    • DeepFlow 的自监控指标在 ClickHouse 中合并为一张表 deepflow_system.deepflow_system
    • 依靠 Agent 同步资源信息时，简化 Server 端的 host 列表 CIDR 配置
    • 修改 Avg 算子逻辑，Avg 表示使用加权平均算法、AAvg 表示使用算数平均算法
    • ClickHouse 中增加 trace_id_index 整形列，作为 trace_id 字段的索引列，且支持提取其中的 Timestamp，加速 TraceID 搜索
    • Profiling 数据支持在 ClickHouse 中明文（非压缩）存储
    • ClickHouse 升级到 v23.8（LTS）
    • 废弃 Telegraf 组件
  • API
    • SQL API 新增 Derivative 前置算子，可对 Prometheus Counter 类型的指标量计算差值，从而计算速率
    • SQL API 增加 TopK 和 Any 算子，获取指定 Tag 的高频值或任意值
    • 支持按名称删除云平台
    • 优化资源页面 API 性能
  • CLI
    • 支持利用 deepflow-ctl 调试 eBPF Socket Data
    • 增加 list 命令：deepflow-ctl domain additional-resource list --type <resource_type> --name <resource_name>
    • 提供 MacOS 上的 deepflow-ctl
  • 易用性改进
    • 系统资源页面的下拉框支持搜索过滤