全部文章
工程实践约 16 分钟阅读

K8s 调优 PostgreSQL 18 踩坑:从“加核快 35%”的假象挖出两台降频物理机

记录 Kubernetes 上 CloudNativePG(PostgreSQL 18.1)的 8 轮压测与底层排查:从扩容后只读副本异常快 35% 的假象切入,经 cpufreq 与 MSR 倍频采样定位两台 1.2 GHz 降频物理机,并实测拆解 commit_delay 回退 21%、WAL 写入减半、prepared 协议提速 21% 与单实例 66k TPS 读平台。

  • Leaflow 工程团队· Leaflow

近期我们在 Kubernetes 上对一套 CloudNativePG(PostgreSQL 18.1,1 主 2 副本)集群做性能摸底。将实例 CPU 配额从 8 核升至 16 核后,滚动重调度带来了一组反直觉的结果:主库性能明显回落,而只读副本吞吐暴涨了 35%。

查看容器监控,满载状态下 PostgreSQL 实际只消耗了 8.2 核。CPU 尚未跑满,从 8 核扩容到 16 核不可能凭空产生 35% 的吞吐增量。对照 Pod 重调度前后的宿主机落点后,原因很快浮出水面:重调度把主库漂移到了一台降频节点上,同时把原本落在慢节点上的只读副本迁移到了健康节点——所谓“加核快 35%”,其实是副本逃离慢节点的假象。我们顺着 cpufreq 一路追到 MSR 倍频寄存器,最终定位出两台空闲跌回 1.2 GHz、满载下仍反复掉档的物理节点。

先校准测量方法:消除早期压测噪声

整次调优一共执行了 8 轮 pgbench 压测,下文表格和图表将其分为两个阶段:前 3 轮探索性测试记作 R1–R3,统一压测口径后的 5 轮正式对照实验记作 E1–E5。

前 3 轮探索测试(R1–R3)存在明显的测试方法缺陷:每次调整参数后都重新执行 pgbench -i 建表,且仅做单次采样。在早期验证稳定性的单并发副本摸底中,同一套配置连跑三轮竟得到 1,577 → 1,676 → 3,531 TPS,波动达到 2.2 倍(该摸底仅用于验证噪声,未计入后文高并发汇总表)。在这种噪声下,任何参数改动都无法得到可靠结论。

从正式对照阶段的首轮(E1)开始,我们固定了三条基准规范:

  • pgbench scale=200 只初始化一次并常驻,所有对比轮次压同一份数据集;
  • 每次重启实例后先预热一轮,把热页加载进 shared_buffers,每个场景跑 2 次取中位数;
  • pgbench(纯索引点查与更新)只用来观测 CPU、fsync 和协议开销;顺序扫描单独测试存储与异步 I/O。

固化口径后,同配置多次采样的离散度收敛至 1%–3%,后续轮次的数据才具备可比性。

同款 CPU 与微码下,单核基准慢 2.34 倍的排查过程

为了排除数据库和 Kubernetes 的干扰,我们对集群里的 5 台物理机直接跑单线程纯 CPU 计算基准,并记录基准运行期间的实际频率(下表按单线程耗时从快到慢排序,表中的“负载后频率”为基准运行时的观测值,与后文 taskset -c 2 绑核每秒抓到的瞬时频率存在少量口径差异):

节点(脱敏)CPU 型号微码BIOS 版本单线程计算基准负载后频率状态
node-2E5-2680 v30x492.16.0 (2022)481 ms2,711 MHz正常
node-1E5-2680 v40xb000040—485 ms2,953 MHz正常
node-3E5-2680 v30x49—550 ms2,500 MHz正常(无睿频,跑满基频)
node-4E5-2698 v40xb0000402.19.0 (2023)900 ms1,868 MHz高频震荡
node-5E5-2680 v30x492.11.0 (2019)1,127 ms1,268 MHz高频震荡

node-2 和 node-5 使用同款 E5-2680 v3 处理器、相同微码 0x49、相同 Linux 6.12.73 内核,单核计算耗时分别为 481 ms 和 1,127 ms,相差 2.34 倍。

5 节点单线程计算基准耗时与绑核 MSR 频率采样对比
5 节点单线程计算基准耗时与 taskset -c 2 绑核 MSR 频率采样对比

随后我们按三层排查路径逐项排除了 11 项假设(3 项硬件热与功耗 + 6 项 OS 与固件基线 + 2 项 OS 侧强行干预,与下图一一对应):

排查热降频、RAPL 功耗墙与调频策略
cat /sys/devices/system/cpu/cpu0/thermal_throttle/core_throttle_count
grep -H . /sys/class/powercap/intel-rapl:*/constraint_*_enabled
cat /sys/devices/system/cpu/cpu0/cpufreq/scaling_governor
ipmitool dcmi power reading
  • 第 1 层 · 硬件热与功耗(排除 3 项):
    • 热降频:core_throttle_count = 0,慢节点温度 52°C,比健康节点的 55°C 还低;
    • RAPL 功耗封顶:intel-rapl 各 constraint 全部为 enabled = 0;
    • 带外功耗上限:ipmitool 返回 Power cap set feature is not enabled。
  • 第 2 层 · OS 与固件基线(排除 6 项):
    • 5 台节点的内核版本(6.12.73-amd64)、内核启动参数(无 intel_pstate=/cpufreq=)、全核 governor = performance、cpupower-performance.service 与 irqbalance 服务状态,以及 node-2/node-5 之间的 CPU 型号与微码全部一致。
  • 第 3 层 · OS 侧强行干预(排除 2 项):
    • 在 node-4(E5-2698 v4)将 intel_pstate 从 passive 切到 active,基准耗时反而慢了 9.4%(验证后立即还原);
    • 在 node-5(48 线程)将全部逻辑核的 scaling_min_freq 写成 3,300,000,写入成功无报错,但空闲频率仍跌回 1.2 GHz,耗时无改善(同样已还原)。
11 项假设逐层排查排除路径图
从热降频、RAPL 与 OS 调频接口逐层排除到 BIOS System Profile 的 11 项假设路径

最后用 taskset -c 2 将单线程死循环绑定到 2 号核,配合 scaling_cur_freq 与 rdmsr(0x199 IA32_PERF_CTL 读请求倍频、0x198 IA32_PERF_STATUS 读硬件实际倍频)连续采样,看到了关键异常:

绑核满载并读取实时频率与 MSR 倍频(需加载 msr 模块)
taskset -c 2 yes > /dev/null &
for i in 1 2 3 4 5; do
  freq=$(cat /sys/devices/system/cpu/cpu2/cpufreq/scaling_cur_freq)
  req=$(( (0x$(rdmsr -p 2 0x199) >> 8) & 0xff ))
  act=$(( (0x$(rdmsr -p 2 0x198) >> 8) & 0xff ))
  echo "sample $i: ${freq} kHz | req=${req} | act=${act}"
  sleep 1
done

采样结果如下:

慢节点 node-5 与健康节点 node-2 的 MSR 采样对比
# node-5(慢节点)
空闲 cpu2 = 1,200,062 kHz
采样 1: 2,499,976 kHz | req=28 | act=25
采样 2: 3,113,208 kHz | req=33 | act=29   ← 硬件可瞬时冲到 3.11 GHz(非原子采样略有错峰)
采样 5: 1,199,946 kHz | req=12 | act=12   ← 满载中又掉回最低档

# node-2(健康节点)
空闲 cpu2 = 2,900,021 kHz                 ← 空闲也稳定在高频
采样 1~5: 2,883,520 ~ 2,899,999 kHz | req=33 | act=29

这组采样反映出两个物理细节:

  • 健康节点 node-2 请求倍频恒定 33(3.3 GHz),实际稳定在 29(2.9 GHz),这是 E5-2680 v3 关闭深 C-States 后的全核睿频档位;而 node-5 开启了深 C-States,单核满载时偶尔能冲到 3.11 GHz,但绝大多数时间像运行在 powersave 模式下一样在 1.2 GHz 徘徊;
  • performance governor 下的第 5 次采样竟然出现 req=12,说明连 OS 侧发出的请求倍频本身都被压低了(通常源于固件通过 ACPI _PPC 动态收紧 bios_limit;本次排查遗漏了查看 /sys/devices/system/cpu/cpu2/cpufreq/bios_limit,下次维护窗口进机房时会一并核对)。

排空所有 OS 层可写接口后,最可能的根因指向 Dell 服务器 BIOS 的 System Profile 停留在默认的 Performance Per Watt (DAPC)(与两台机器的 BIOS 版本差异也吻合)。ipmitool 无法修改该项,受限于生产维护窗口我们尚未通过 iDRAC 完成改配与重启,先按 Dell Redfish 文档记下核验与变更路径(Dell 13G 上选择 PerfOptimized 预设会自动托管子项;若要单独覆写 ProcCStates 等子属性,SysProfile 须设为 Custom):

通过 Dell Redfish 核验并修改 BIOS System Profile
# 1. 先查当前 BIOS 实际配置,确认 SysProfile 是否为 DAPC
curl -sk -u <user>:<pass> \
  https://<idrac-host>/redfish/v1/Systems/System.Embedded.1/Bios | jq '.Attributes | {SysProfile, ProcPwrPerf, ProcCStates}'

# 2. 切为 PerfOptimized 并创建重启生效任务(待维护窗口执行验证)
curl -sk -u <user>:<pass> -X PATCH \
  https://<idrac-host>/redfish/v1/Systems/System.Embedded.1/Bios/Settings \
  -H 'Content-Type: application/json' \
  -d '{"Attributes":{"SysProfile":"PerfOptimized"}}'

curl -sk -u <user>:<pass> -X POST \
  https://<idrac-host>/redfish/v1/Managers/iDRAC.Embedded.1/Jobs \
  -H 'Content-Type: application/json' \
  -d '{"TargetSettingsURI":"/redfish/v1/Systems/System.Embedded.1/Bios/Settings"}'

当集群同时承载分布式块存储时,节点降频的影响不只停留在数据库 Pod——存储守护进程的校验和与编码路径同样依赖单核主频,也会拉高整池的存储写延迟。

8 轮压测全记录(E3 作废,7 轮有效):翻车与验证

以下是 8 轮 pgbench 全量数据(表头中的 c=32、c=64 为客户端并发连接数)。前 3 轮 R1–R3 是固定数据集前的早期探索轮次(高噪声),E1–E5 才是严格对照数据:

轮次阶段关键变更写 c=32写 c=64读主库 c=32读主库 c=64读副本 c=64备注
R1旧方法初始基线(max_wal_size=8GB)4,3186,21958,42955,91575,619高噪声基线
R2旧方法max_wal_size=24GB + zstd + 激进 bgwriter4,1136,02255,65255,52274,602WAL I/O 显著改善,低并发只读掉速
R3旧方法bgwriter 回退默认3,9125,81952,24954,78866,557高噪声阶段,保守回退默认
E1固化新方法论基线(8 vCPU)3,8786,16057,20455,02273,155离散度收敛至 1%–3%
E2固化开启 commit_delay=1700µs3,0645,68857,55054,52870,014写 c=32 暴跌 -21%,立即回退
E3固化CPU 8 核 → 16 核—————触发重调度,主库落慢节点、副本离慢节点,本轮作废
E4固化亲和性排除慢节点 + 16 vCPU3,5855,61552,64455,95198,859副本 +35%(来自逃离慢节点)
E5固化CPU 从 16 核降回 12 核3,7945,66551,64152,83895,686与 16 核基本持平,确认 CPU 非瓶颈

E4 / E5 的写吞吐及主库只读相比 E1 低了约 7%–10%(例如 E5 读主库 c=32 为 51,641 vs E1 的 57,204):核对落点,E4 / E5 主库落在了无睿频的 node-3(2,500 MHz),而 E1 在 node-1(该次压测实测 2,889 MHz,健康节点间约 13% 主频差)。

8 轮 pgbench OLTP 吞吐演进图
8 轮 pgbench OLTP 读写吞吐演进:E2 开启 commit_delay 写吞吐回退 21%,E4 避开慢节点后只读副本提升 35%

这 8 轮实验用实测证伪了一项常见调优(commit_delay),主动放弃了两项不适配当前负载的新特性(PostgreSQL 18 AIO 与 HugePages),并将早期高噪声阶段尝试的激进 bgwriter 参数保守回退回了默认值。

实测回退:开启 commit_delay 让写入跌掉 21%

使用 PostgreSQL 自带的 pg_test_fsync 直接测试单独挂载的 WAL 卷(底层为三副本分布式块存储):

直测单独挂载的 WAL 卷 fsync 延迟
pg_test_fsync -f /var/lib/postgresql/wal/test_fsync.out
sync 方法平均延迟ops/sec对比默认
fdatasync(PG 默认)3,445 µs290最优
open_datasync3,499 µs286持平
open_sync10,989 µs91慢 3.2 倍
fsync13,871 µs72慢 4.0 倍

将这两组实测值对比即可定位写路径瓶颈:

  • 单并发写入实测 259–262 TPS(每事务 3.85 ms),与 3.45 ms 的 fdatasync 基本重合——单并发写完全受限于单卷 fsync;
  • c=64 时写入为 6,160 TPS,6,160 ÷ 290 fsync/s ≈ 21,说明在 3.45 ms 的自然刷盘窗口内,每次 fdatasync 已经自然积攒了约 21 个事务做组提交。

此时再叠加 1,700 µs 的 commit_delay,等于白白多等 1.7 ms,导致 c=32 写入吞吐直接回落 21%。

从存储链路看,单次 pg_test_fsync = 3.45 ms 测的是单块 WAL 卷经过分布式块存储 3 副本同步写 + 2 跳存储网络 RTT 的延迟(不经过 PG 流复制);而在整个 1 主 2 备的异步流复制集群里,每次事务最终会落成 PG 3 实例 × 块存储 3 副本 = 9 份持久化。这虽然不阻塞主库异步 COMMIT,却会在共享存储池中放大 3 倍 IOPS 争用,间接推高存储延迟。

pg_test_fsync 实测与 3x3 写放大链路图
单卷 pg_test_fsync 实测延迟与 1 主 2 备叠加分布式块存储 3 副本的 3×3 写放大路径

主动放弃:PostgreSQL 18 AIO(io_uring)与 HugePages

容器镜像已链接 liburing,io_method=io_uring 可以直接开启,但实测后我们放弃了调整 io_method、io_workers 与 io_combine_limit:

  • PostgreSQL 18 的异步 I/O 目前仅覆盖顺序扫描、位图堆扫描和 VACUUM,不覆盖索引点查;pgbench 全走索引,AIO 不会生效;
  • 这套集群的核心热工作集远小于 4 GB 的 shared_buffers,常驻内存。即便专门构造 11 GB 顺序扫描数据集压测存储读,第 2、3 次扫描也会被容器的 Linux Page Cache 完整命中(全程 1.8 s,实际读 I/O 仅 154 ms,测出的是 6 GB/s 内存带宽)。

HugePages 同样放弃:宿主机每节点只预留了 2 GiB,装不下 4 GB 的 shared_buffers。

至于早期探索轮 R2 尝试的激进 bgwriter 参数,因为当时处于高噪声阶段(且上表里回退后的 R3 受噪声影响波动很大,不足以作为严格证伪),但低并发只读确实观测到了 13%–19% 回退且对写吞吐无益,最终保守回退为默认值(bgwriter_delay=200ms、lru_maxpages=100、lru_multiplier=2.0)。

产出确定性收益的三处改动

max_wal_size(8 GB → 24 GB)与 wal_compression=zstd

初始基线(R1)配置的 max_wal_size 为 8 GB,压测期间被 WAL 频繁填满,连续触发了 30 次强制 Checkpoint,并伴生大量 Full Page Writes(FPW,满页写)。调至 24 GB 并开启 zstd 压缩后,同等写入负载下的 I/O 指标大幅下降:

  • WAL 强制触发 Checkpoint:30 次 → 0 次;
  • 满页写(FPW)次数:162,579 → 47,898(-70.5%);
  • 同负载 WAL 总生成量:5,934 MB → 2,614 MB(-56%)(Checkpoint 归零削减 FPW 与 zstd 压缩共同作用)。
WAL 压缩与 Checkpoint 优化前后对比图
max_wal_size 调至 24 GB 并启用 wal_compression=zstd 前后的 Checkpoint、WAL 生成量与 FPW 对比

单实例 66k TPS 读平台定位:切 prepared 语句提升 21%

满载只读时容器 CPU 只用了 8.2 / 16 核,单实例却停在 5–6 万 TPS 上不去。我们从四个维度逐一排查:

  • CFS CPU 节流:7,059 个周期仅发生 10 次节流(0.14%);
  • 跨节点网络:同节点直连 62,376 vs 跨节点 56,463 TPS,跨节点网络开销约占 10%;
  • PG 内部锁争用:压测期间多次抓取活跃会话等待事件,累计 130 / 130 全部是 Client/ClientRead,服务端没有内部锁排队;
抽查活跃连接等待事件分布
SELECT wait_event_type, wait_event, count(*)
FROM pg_stat_activity
WHERE state = 'active' AND pid <> pg_backend_pid()
GROUP BY 1, 2
ORDER BY 3 DESC;
  • 客户端发压能力:同一台压测端同时打两个只读副本跑到了 98,859 TPS,客户端未到上限。

接着在同节点直连 c=64 条件下对比 pgbench 三种协议(-M simple、extended、prepared):

使用 prepared 协议模式直连压测
pgbench -h <pod-ip> -U postgres -S -c 64 -j 16 -T 60 -M prepared pgbench
协议模式TPS平均延迟相对 simple
simple52,3251.223 ms基线
extended59,0971.083 ms+12.9%
prepared63,4491.009 ms+21.3%

切到 prepared 跳过重复 SQL 解析直接带来 +21.3% 提升(extended 虽然仍逐次发送 Parse,但省去了文本转义与部分协议往返,也快了 12.9%)。继续在 prepared 模式下扫描并发:

  • c=64:63,449 TPS(1.009 ms)
  • c=96:62,910 TPS(1.526 ms)
  • c=128:66,453 TPS(1.926 ms)
  • c=192:63,866 TPS(3.006 ms)

吞吐在 63k–66.5k TPS 形成平顶平台,继续堆并发只会让延迟线性上涨。按 56k–62k TPS 消耗 8.2 核折算,单次点查在 PostgreSQL 服务端只吃约 130–145 µs CPU,1 ms 平均延迟里超过 85% 耗在极短查询的 socket 往返与进程调度上——这正是等待事件全部为 Client/ClientRead 的直接原因。最终我们将单实例 CPU 配额定在 12 核(8.2 核满载加上系统进程余量)。

协议对比与并发 64 到 192 实测图
pgbench 三种协议模式吞吐对比及 prepared 模式下并发 64 至 192 的吞吐与延迟扫描

读写分离(-rw → -ro)与 K8s 亲和性死锁修正

CloudNativePG 会自动为集群生成读写 Service(<cluster>-rw)和只读 Service(<cluster>-ro)。两个只读副本实测达到 95,686 TPS(主库的 1.8 倍),而应用此前全部连在 -rw 上,将只读流量切到 -ro 是最直接的扩容路径。

排查过程中我们还修复了一处自己差点埋下的高可用隐患:最初在 CloudNativePG 中同时配置了 podAntiAffinity: required(3 个实例必须落在不同节点)和 nodeAffinity: required(只允许调度到 3 台健康节点)。3 个 Pod 锁死在 3 台机器上,意味着只要任意一台健康节点宕机,重建 Pod 就会一直卡死在 Pending。

发现后我们立即将 nodeAffinity 降级为 preferred(权重 100):

将 nodeAffinity 由 required 降级为 preferred
affinity:
    enablePodAntiAffinity: true
    topologyKey: kubernetes.io/hostname
    podAntiAffinityType: required
    nodeAffinity:
        preferredDuringSchedulingIgnoredDuringExecution: # required → preferred,避免故障时一直 Pending
            - weight: 100
              preference:
                  matchExpressions:
                      - key: kubernetes.io/hostname
                        operator: In
                        values: [node-1, node-2, node-3]

日常运行时实例仍优先落在 3 台高频节点;真遇单节点故障,可以降级调度到慢节点先保住集群可用。

当前落地的核心配置与待办

脱敏后的核心参数(CloudNativePG 1.30 / PostgreSQL 18.1 / Guaranteed QoS):

CloudNativePG 集群核心参数
spec:
    instances: 3
    resources:
        requests: { cpu: '12', memory: 16Gi } # 满载实测 8.2 核,12 核留系统进程余量
        limits: { cpu: '12', memory: 16Gi }
    postgresql:
        parameters:
            max_connections: '500'
            shared_buffers: '4GB'
            effective_cache_size: '12GB'
            work_mem: '16MB'
            maintenance_work_mem: '1GB'
            max_wal_size: '24GB' # 8GB → 24GB,消除 WAL 强制 checkpoint
            min_wal_size: '4GB'
            wal_compression: 'zstd' # 配合 FPW 削减,总 WAL 写入 −56%
            checkpoint_completion_target: '0.9'
            checkpoint_timeout: '15min'
            commit_delay: '0' # 实测开启 −21%,保持关闭
            random_page_cost: '1.1'
            effective_io_concurrency: '200'
            bgwriter_delay: '200ms' # 保持默认
            bgwriter_lru_maxpages: '100'
            bgwriter_lru_multiplier: '2.0'

目前这套集群先靠 preferred 亲和性避开两台慢节点。等下次机房维护窗口拿到 iDRAC 凭据后,我们会先核对 bios_limit 与 BIOS SysProfile 现状,将两台机器切到 PerfOptimized 重启并补测单核频率与分布式存储 fsync,届时整段 nodeAffinity 即可移除。

参考资料


本文记录了我们在日常维护公有云与大模型基础设施时遇到的真实底层性能问题。如果你正在维护自己的开源项目(尤其是 AI Agent、MCP 或自部署工具),需要按小时计费的云主机跑演示环境或 DeepSeek 等大模型 API 调试额度,可以前往 Leaflow 控制台,或在 关于我们 页面查看公开合作与联系通道。

标签PostgreSQLKubernetesLinux 性能调优数据库基础设施