性能瓶颈诊断

本文档介绍 SequoiaDB 巨杉数据库性能瓶颈分析思路，帮助用户找到系统瓶颈并优化。在满足基本功能的基础之上，性能问题是数据库行业用户最关心的问题，而它也是数据库领域最难分析和解决的问题之一。因为它的问题细分种类太多，原因多种多样，所以正确的问题诊断策略和手段必不可少。性能问题诊断一般包含以下步骤：

1. 了解应用系统
2. 收集数据

了解应用系统

在诊断性能问题前，需要了解应用系统的类型，包括并发度、写入量和高频查询语句。以下是根据不同类型系统，缩小最可能的可疑点，重点收集和调优对应的指标：

• 并发读高的应用，重点分析 CPU、内存相关

• 写入量高重点分析磁盘 IO 相关

收集数据

收集数据的来源，通常分成两大类：一是数据库提供的信息，二是一些数据库之外的通用信息，最常见的就是操作系统层面的数据。

在系统压测过程中，分别收集以下各类性能指标：

• 通过快照命令，收集数据库集群性能指标，包括数据库连接数、数据读写、索引读写和增删改操作计数
• 通过操作系统命令，收集系统层面的性能指标，包括 CPU、磁盘、内存和网络

CPU 使用率

使用 top 命令，查看 cpu 使用情况

%Cpu(s):  0.3 us,  0.7 sy,  0.0 ni, 99.0 id,  0.0 wa,  0.0 hi,  0.0 si,   0.0 st

• us：用户占用 CPU 百分比,如果长期高于 50%，需检查会话中是否存在大量表扫描，检查会话快照中耗时长的会话操作和检查上下文快照中，存在 tbscan 的上下文操作。如果存在表扫描，可以使用添加索引进行优化

• sy：内核占用cpu百分比。如果 us + sy 长期高于 80% ，表明 cpu 资源不足，需要增加集群 cpu 资源

• wa：I/O 等待占用 CPU 时间比，如果长期高于 20%，说明 I/O 等待严重，可能的原因是磁盘的大量随机读写造成的，也可能是磁盘的读写瓶颈，可以通过磁盘 I/O 工具进一步进行诊断

磁盘

使用 iostat -xz 1 命令，查看服务器磁盘 I/O 情况

Device:    rrqm/s   wrqm/s     r/s     w/s    rkB/s    wkB/s avgrq-sz  avgqu-sz   await r_await w_await  svctm  %util
sda         0.00     0.06    0.67    0.43    84.39    19.50   187.90      0.03   29.32   30.03   28.20   4.89   0.54

• r/s、w/s、rkB/s、wkB/s：分别表示每秒读写次数和每秒读写数据量（千字节），如果读写量已经达到磁盘硬件上限，说明磁盘的读写遇到瓶颈

• await：I/O 操作的平均等待时间，单位是毫秒。这是应用程序在和磁盘交互时，需要消耗的时间，包括 I/O 等待和实际操作的耗时。如果这个数值过大，可能是磁盘 I/O 遇到了瓶颈

• %util：设备利用率，这个数值表示设备的繁忙程度，经验值是如果超过 60，可能会影响 I/O 性能（可以参照 I/O 操作平均等待时间）；如果到达 100%，说明磁盘 I/O 已经饱和

Note:

如果通过上述命令，发现磁盘读写遇到瓶颈，可以从以下几个方面进一步分析原因：

• 索引缺失
• 数据分布不均匀或存在热点数据
• 集群硬件资源不足

内存

使用 vmstat 1 命令，查看服务器内存使用情况

procs -----------memory---------- ---swap-- -----io---- -system-- ------ cpu-----
r  b   swpd   free   buff  cache   si   so    bi    bo   in   cs us sy id  wa st
3  0     0  750176    948 1299700    0    0    77    18  167  707  0  1  99  0  0

• swpd：使用虚拟内存大小，Linux 将不经常使用的页面从内存中写入交换空间，该值表示交换空间的使用大小，注意交换空间使用了很多并不能表示服务器内存资源不足，需结合 free 的值分析
• free：空闲物理内存大小，由于 Linux 内存使用策略，会将部分内存作为缓存，尽可能的利用内存提高读写性能，如果应用程序需要内存，这部分内存会立即被回收并分配给应用程序，因此应用实际可用的内存是 free+buff+cache 的总和
• buff：用作缓冲写操作的内存大小，将写磁盘操作先写入内存缓冲区，定期写入磁盘，可以将分散的写操作集中进行，减少磁盘碎片和硬盘的反复寻道耗时
• cache：用作缓存读操作的内存大小，磁盘读操作会读取检索数据所在的整个数据页数据，并将数据页放入内存进行缓存，当应用再次访问数据页内的数据时，将直接从内存中读取，提高读操作性能
• swap：交换区写入和读取的数量, 如果这两项数据较高，说明系统已经在使用交换区（swap），服务器物理内存资源不足，系统性能会大幅下降。此时需要增加系统内存资源

网络

• 使用 sar -n DEV 1 命令，查看服务器网络设备的吞吐率

  02时43分01秒     IFACE   rxpck/s   txpck/s    rxkB/s    txkB/s   rxcmp/s   txcmp/s  rxmcst/s
  02时43分02秒     ens33      1.08      1.08      0.06      0.17      0.00      0.00      0.00

  rxkB/s、txkB/s：网卡接收和发送数据速率，如果接收或发送速率达到网卡上限，表明网络设备已经饱和。如示例输出中，ens33 千兆网卡，接收和发送速率上限为 125Mbytes/s。如果遇到网络瓶颈，考虑使用万兆网或增加服务器数量，提升整体集群的网络吞吐能力

• 使用命令 ethtool <IFACE> 查看网卡速率

  Speed: 1000Mb/s

• 使用 sar -n TCP 1 命令，查看 TCP 连接状态

  02时59分20秒  active/s passive/s    iseg/s    oseg/s
  02时59分21秒      0.00      0.00      1.00      1.00

  • active/s：每秒本地发起的 TCP 连接数，即通过 connect 调用创建的 TCP 连接

  • passive/s：每秒远程发起的 TCP 连接数，即通过 accept 调用创建的 TCP 连接。TCP 连接数可以用来判断性能问题是否由于建立了过多的连接，进一步可以判断是主动发起的连接，还是被动接受的连接