全部文章
工程實踐約 16 分鐘閱讀

K8s 調優 PostgreSQL 18 踩坑:從“加核快 35%”的假象挖出兩臺降頻物理機

記錄 Kubernetes 上 CloudNativePG(PostgreSQL 18.1)的 8 輪壓測與底層排查:從擴容後只讀副本異常快 35% 的假象切入,經 cpufreq 與 MSR 倍頻取樣定位兩臺 1.2 GHz 降頻物理機,並實測拆解 commit_delay 回退 21%、WAL 寫入減半、prepared 協議提速 21% 與單實例 66k TPS 讀平台。

  • Leaflow 工程團隊· Leaflow

近期我們在 Kubernetes 上對一套 CloudNativePG(PostgreSQL 18.1,1 主 2 副本)叢集做效能摸底。將實例 CPU 配額從 8 核升至 16 核後,滾動重排程帶來了一組反直覺的結果:主庫效能明顯回落,而只讀副本吞吐暴漲了 35%。

檢視容器監控,滿載狀態下 PostgreSQL 實際只消耗了 8.2 核。CPU 尚未跑滿,從 8 核擴容到 16 核不可能憑空產生 35% 的吞吐增量。對照 Pod 重排程前後的宿主機落點後,原因很快浮出水面:重排程把主庫漂移到了一臺降頻節點上,同時把原本落在慢節點上的只讀副本遷移到了健康節點——所謂“加核快 35%”,其實是副本逃離慢節點的假象。我們順著 cpufreq 一路追到 MSR 倍頻暫存器,最終定位出兩臺空閒跌回 1.2 GHz、滿載下仍反覆掉檔的物理節點。

先校準測量方法:消除早期壓測噪聲

整次調優一共執行了 8 輪 pgbench 壓測,下文表格和圖表將其分為兩個階段:前 3 輪探索性測試記作 R1–R3,統一壓測口徑後的 5 輪正式對照實驗記作 E1–E5。

前 3 輪探索測試(R1–R3)存在明顯的測試方法缺陷:每次調整引數後都重新執行 pgbench -i 建表,且僅做單次取樣。在早期驗證穩定性的單併發副本摸底中,同一套配置連跑三輪竟得到 1,577 → 1,676 → 3,531 TPS,波動達到 2.2 倍(該摸底僅用於驗證噪聲,未計入後文高併發彙總表)。在這種噪聲下,任何引數改動都無法得到可靠結論。

從正式對照階段的首輪(E1)開始,我們固定了三條基準規範:

  • pgbench scale=200 只初始化一次並常駐,所有對比輪次壓同一份資料集;
  • 每次重啟實例後先預熱一輪,把熱頁載入進 shared_buffers,每個場景跑 2 次取中位數;
  • pgbench(純索引點查與更新)只用來觀測 CPU、fsync 和協議開銷;順序掃描單獨測試儲存與非同步 I/O。

固化口徑後,同配置多次取樣的離散度收斂至 1%–3%,後續輪次的資料才具備可比性。

同款 CPU 與微碼下,單核基準慢 2.34 倍的排查過程

為了排除資料庫和 Kubernetes 的干擾,我們對集群裡的 5 臺物理機直接跑單執行緒純 CPU 計算基準,並記錄基準執行期間的實際頻率(下表按單執行緒耗時從快到慢排序,表中的“負載後頻率”為基準執行時的觀測值,與後文 taskset -c 2 綁核每秒抓到的瞬時頻率存在少量口徑差異):

節點(脫敏)CPU 型號微碼BIOS 版本單執行緒計算基準負載後頻率狀態
node-2E5-2680 v30x492.16.0 (2022)481 ms2,711 MHz正常
node-1E5-2680 v40xb000040—485 ms2,953 MHz正常
node-3E5-2680 v30x49—550 ms2,500 MHz正常(無睿頻,跑滿基頻)
node-4E5-2698 v40xb0000402.19.0 (2023)900 ms1,868 MHz高頻震盪
node-5E5-2680 v30x492.11.0 (2019)1,127 ms1,268 MHz高頻震盪

node-2 和 node-5 使用同款 E5-2680 v3 處理器、相同微碼 0x49、相同 Linux 6.12.73 核心,單核計算耗時分別為 481 ms 和 1,127 ms,相差 2.34 倍。

5 節點單執行緒計算基準耗時與綁核 MSR 頻率取樣對比
5 節點單執行緒計算基準耗時與 taskset -c 2 綁核 MSR 頻率取樣對比

隨後我們按三層排查路徑逐項排除了 11 項假設(3 項硬體熱與功耗 + 6 項 OS 與韌體基線 + 2 項 OS 側強行干預,與下圖一一對應):

排查熱降頻、RAPL 功耗牆與調頻策略
cat /sys/devices/system/cpu/cpu0/thermal_throttle/core_throttle_count
grep -H . /sys/class/powercap/intel-rapl:*/constraint_*_enabled
cat /sys/devices/system/cpu/cpu0/cpufreq/scaling_governor
ipmitool dcmi power reading
  • 第 1 層 · 硬體熱與功耗(排除 3 項):
    • 熱降頻:core_throttle_count = 0,慢節點溫度 52°C,比健康節點的 55°C 還低;
    • RAPL 功耗封頂:intel-rapl 各 constraint 全部為 enabled = 0;
    • 帶外功耗上限:ipmitool 返回 Power cap set feature is not enabled。
  • 第 2 層 · OS 與韌體基線(排除 6 項):
    • 5 臺節點的核心版本(6.12.73-amd64)、核心啟動引數(無 intel_pstate=/cpufreq=)、全核 governor = performance、cpupower-performance.service 與 irqbalance 服務狀態,以及 node-2/node-5 之間的 CPU 型號與微碼全部一致。
  • 第 3 層 · OS 側強行干預(排除 2 項):
    • 在 node-4(E5-2698 v4)將 intel_pstate 從 passive 切到 active,基準耗時反而慢了 9.4%(驗證後立即還原);
    • 在 node-5(48 執行緒)將全部邏輯核的 scaling_min_freq 寫成 3,300,000,寫入成功無報錯,但空閒頻率仍跌回 1.2 GHz,耗時無改善(同樣已還原)。
11 項假設逐層排查排除路徑圖
從熱降頻、RAPL 與 OS 調頻介面逐層排除到 BIOS System Profile 的 11 項假設路徑

最後用 taskset -c 2 將單執行緒死迴圈繫結到 2 號核,配合 scaling_cur_freq 與 rdmsr(0x199 IA32_PERF_CTL 讀請求倍頻、0x198 IA32_PERF_STATUS 讀硬體實際倍頻)連續取樣,看到了關鍵異常:

綁核滿載並讀取即時頻率與 MSR 倍頻(需載入 msr 模組)
taskset -c 2 yes > /dev/null &
for i in 1 2 3 4 5; do
  freq=$(cat /sys/devices/system/cpu/cpu2/cpufreq/scaling_cur_freq)
  req=$(( (0x$(rdmsr -p 2 0x199) >> 8) & 0xff ))
  act=$(( (0x$(rdmsr -p 2 0x198) >> 8) & 0xff ))
  echo "sample $i: ${freq} kHz | req=${req} | act=${act}"
  sleep 1
done

取樣結果如下:

慢節點 node-5 與健康節點 node-2 的 MSR 取樣對比
# node-5(慢节点)
空闲 cpu2 = 1,200,062 kHz
采样 1: 2,499,976 kHz | req=28 | act=25
采样 2: 3,113,208 kHz | req=33 | act=29   ← 硬件可瞬时冲到 3.11 GHz(非原子采样略有错峰)
采样 5: 1,199,946 kHz | req=12 | act=12   ← 满载中又掉回最低档

# node-2(健康节点)
空闲 cpu2 = 2,900,021 kHz                 ← 空闲也稳定在高频
采样 1~5: 2,883,520 ~ 2,899,999 kHz | req=33 | act=29

這組取樣反映出兩個物理細節:

  • 健康節點 node-2 請求倍頻恆定 33(3.3 GHz),實際穩定在 29(2.9 GHz),這是 E5-2680 v3 關閉深 C-States 後的全核睿頻檔位;而 node-5 開啟了深 C-States,單核滿載時偶爾能衝到 3.11 GHz,但絕大多數時間像運行於 powersave 模式下一樣在 1.2 GHz 徘徊;
  • performance governor 下的第 5 次取樣竟然出現 req=12,說明連 OS 側發出的請求倍頻本身都被壓低了(通常源於韌體透過 ACPI _PPC 動態收緊 bios_limit;本次排查遺漏了檢視 /sys/devices/system/cpu/cpu2/cpufreq/bios_limit,下次維護視窗進機房時會一併核對)。

排空所有 OS 層可寫介面後,最可能的根因指向 Dell 伺服器 BIOS 的 System Profile 停留在預設的 Performance Per Watt (DAPC)(與兩臺機器的 BIOS 版本差異也吻合)。ipmitool 無法修改該項,受限於生產維護視窗我們尚未透過 iDRAC 完成改配與重啟,先按 Dell Redfish 文件記下核驗與變更路徑(Dell 13G 上選擇 PerfOptimized 預設會自動託管子項;若要單獨覆寫 ProcCStates 等子屬性,SysProfile 須設為 Custom):

透過 Dell Redfish 核驗並修改 BIOS System Profile
# 1. 先查当前 BIOS 实际配置,确认 SysProfile 是否为 DAPC
curl -sk -u <user>:<pass> \
  https://<idrac-host>/redfish/v1/Systems/System.Embedded.1/Bios | jq '.Attributes | {SysProfile, ProcPwrPerf, ProcCStates}'

# 2. 切为 PerfOptimized 并创建重启生效任务(待维护窗口执行验证)
curl -sk -u <user>:<pass> -X PATCH \
  https://<idrac-host>/redfish/v1/Systems/System.Embedded.1/Bios/Settings \
  -H 'Content-Type: application/json' \
  -d '{"Attributes":{"SysProfile":"PerfOptimized"}}'

curl -sk -u <user>:<pass> -X POST \
  https://<idrac-host>/redfish/v1/Managers/iDRAC.Embedded.1/Jobs \
  -H 'Content-Type: application/json' \
  -d '{"TargetSettingsURI":"/redfish/v1/Systems/System.Embedded.1/Bios/Settings"}'

當叢集同時承載分散式塊儲存時,節點降頻的影響不只停留在資料庫 Pod——儲存守護程序的校驗和與編碼路徑同樣依賴單核主頻,也會拉高整池的儲存寫延遲。

8 輪壓測全記錄(E3 作廢,7 輪有效):翻車與驗證

以下是 8 輪 pgbench 全量資料(表頭中的 c=32、c=64 為客戶端併發連線數)。前 3 輪 R1–R3 是固定資料集前的早期探索輪次(高噪聲),E1–E5 才是嚴格對照資料:

輪次階段關鍵變更寫 c=32寫 c=64讀主庫 c=32讀主庫 c=64讀副本 c=64備註
R1舊方法初始基線(max_wal_size=8GB)4,3186,21958,42955,91575,619高噪聲基線
R2舊方法max_wal_size=24GB + zstd + 激進 bgwriter4,1136,02255,65255,52274,602WAL I/O 顯著改善,低併發只讀掉速
R3舊方法bgwriter 回退預設3,9125,81952,24954,78866,557高噪聲階段,保守回退預設
E1固化新方法論基線(8 vCPU)3,8786,16057,20455,02273,155離散度收斂至 1%–3%
E2固化開啟 commit_delay=1700µs3,0645,68857,55054,52870,014寫 c=32 暴跌 -21%,立即回退
E3固化CPU 8 核 → 16 核—————觸發重排程,主庫落慢節點、副本離慢節點,本輪作廢
E4固化親和性排除慢節點 + 16 vCPU3,5855,61552,64455,95198,859副本 +35%(來自逃離慢節點)
E5固化CPU 從 16 核降回 12 核3,7945,66551,64152,83895,686與 16 核基本持平,確認 CPU 非瓶頸

E4 / E5 的寫吞吐及主庫只讀相比 E1 低了約 7%–10%(例如 E5 讀主庫 c=32 為 51,641 vs E1 的 57,204):核對落點,E4 / E5 主庫落在了無睿頻的 node-3(2,500 MHz),而 E1 在 node-1(該次壓測實測 2,889 MHz,健康節點間約 13% 主頻差)。

8 輪 pgbench OLTP 吞吐演進圖
8 輪 pgbench OLTP 讀寫吞吐演進:E2 開啟 commit_delay 寫吞吐回退 21%,E4 避開慢節點後只讀副本提升 35%

這 8 輪實驗用實測證偽了一項常見調優(commit_delay),主動放棄了兩項不適配當前負載的新特性(PostgreSQL 18 AIO 與 HugePages),並將早期高噪聲階段嘗試的激進 bgwriter 引數保守回退回了預設值。

實測回退:開啟 commit_delay 讓寫入跌掉 21%

使用 PostgreSQL 自帶的 pg_test_fsync 直接測試單獨掛載的 WAL 卷(底層為三副本分散式塊儲存):

直測單獨掛載的 WAL 卷 fsync 延遲
pg_test_fsync -f /var/lib/postgresql/wal/test_fsync.out
sync 方法平均延遲ops/sec對比預設
fdatasync(PG 預設)3,445 µs290最優
open_datasync3,499 µs286持平
open_sync10,989 µs91慢 3.2 倍
fsync13,871 µs72慢 4.0 倍

將這兩組實測值對比即可定位寫路徑瓶頸:

  • 單併發寫入實測 259–262 TPS(每事務 3.85 ms),與 3.45 ms 的 fdatasync 基本重合——單併發寫完全受限於單卷 fsync;
  • c=64 時寫入為 6,160 TPS,6,160 ÷ 290 fsync/s ≈ 21,說明在 3.45 ms 的自然刷盤視窗內,每次 fdatasync 已經自然積攢了約 21 個事務做組提交。

此時再疊加 1,700 µs 的 commit_delay,等於白白多等 1.7 ms,導致 c=32 寫入吞吐直接回落 21%。

從儲存鏈路看,單次 pg_test_fsync = 3.45 ms 測的是單塊 WAL 卷經過分散式塊儲存 3 副本同步寫 + 2 跳儲存網路 RTT 的延遲(不經過 PG 流複製);而在整個 1 主 2 備的非同步流複製集群裡,每次事務最終會落成 PG 3 實例 × 塊儲存 3 副本 = 9 份持久化。這雖然不阻塞主庫非同步 COMMIT,卻會在共享儲存池中放大 3 倍 IOPS 爭用,間接推高儲存延遲。

pg_test_fsync 實測與 3x3 寫放大鏈路圖
單卷 pg_test_fsync 實測延遲與 1 主 2 備疊加分散式塊儲存 3 副本的 3×3 寫放大路徑

主動放棄:PostgreSQL 18 AIO(io_uring)與 HugePages

容器映像已連結 liburing,io_method=io_uring 可以直接開啟,但實測後我們放棄了調整 io_method、io_workers 與 io_combine_limit:

  • PostgreSQL 18 的非同步 I/O 目前僅覆蓋順序掃描、點陣圖堆掃描和 VACUUM,不覆蓋索引點查;pgbench 全走索引,AIO 不會生效;
  • 這套叢集的核心熱工作集遠小於 4 GB 的 shared_buffers,常駐記憶體。即便專門構造 11 GB 順序掃描資料集壓測儲存讀,第 2、3 次掃描也會被容器的 Linux Page Cache 完整命中(全程 1.8 s,實際讀 I/O 僅 154 ms,測出的是 6 GB/s 記憶體頻寬)。

HugePages 同樣放棄:宿主機每節點只預留了 2 GiB,裝不下 4 GB 的 shared_buffers。

至於早期探索輪 R2 嘗試的激進 bgwriter 引數,因為當時處於高噪聲階段(且上表裡回退後的 R3 受噪聲影響波動很大,不足以作為嚴格證偽),但低併發只讀確實觀測到了 13%–19% 回退且對寫吞吐無益,最終保守回退為預設值(bgwriter_delay=200ms、lru_maxpages=100、lru_multiplier=2.0)。

產出確定性收益的三處改動

max_wal_size(8 GB → 24 GB)與 wal_compression=zstd

初始基線(R1)配置的 max_wal_size 為 8 GB,壓測期間被 WAL 頻繁填滿,連續觸發了 30 次強制 Checkpoint,並伴生大量 Full Page Writes(FPW,滿頁寫)。調至 24 GB 並開啟 zstd 壓縮後,同等寫入負載下的 I/O 指標大幅下降:

  • WAL 強制觸發 Checkpoint:30 次 → 0 次;
  • 滿頁寫(FPW)次數:162,579 → 47,898(-70.5%);
  • 同負載 WAL 總生成量:5,934 MB → 2,614 MB(-56%)(Checkpoint 歸零削減 FPW 與 zstd 壓縮共同作用)。
WAL 壓縮與 Checkpoint 最佳化前後對比圖
max_wal_size 調至 24 GB 並啟用 wal_compression=zstd 前後的 Checkpoint、WAL 生成量與 FPW 對比

單實例 66k TPS 讀平台定位:切 prepared 語句提升 21%

滿載只讀時容器 CPU 只用了 8.2 / 16 核,單實例卻停在 5–6 萬 TPS 上不去。我們從四個維度逐一排查:

  • CFS CPU 節流:7,059 個週期僅發生 10 次節流(0.14%);
  • 跨節點網路:同節點直連 62,376 vs 跨節點 56,463 TPS,跨節點網路開銷約佔 10%;
  • PG 內部鎖爭用:壓測期間多次抓取活躍會話等待事件,累計 130 / 130 全部是 Client/ClientRead,服務端沒有內部鎖排隊;
抽查活躍連線等待事件分佈
SELECT wait_event_type, wait_event, count(*)
FROM pg_stat_activity
WHERE state = 'active' AND pid <> pg_backend_pid()
GROUP BY 1, 2
ORDER BY 3 DESC;
  • 客戶端發壓能力:同一臺壓測端同時打兩個只讀副本跑到了 98,859 TPS,客戶端未到上限。

接著在同節點直連 c=64 條件下對比 pgbench 三種協議(-M simple、extended、prepared):

使用 prepared 協議模式直連壓測
pgbench -h <pod-ip> -U postgres -S -c 64 -j 16 -T 60 -M prepared pgbench
協議模式TPS平均延遲相對 simple
simple52,3251.223 ms基線
extended59,0971.083 ms+12.9%
prepared63,4491.009 ms+21.3%

切到 prepared 跳過重複 SQL 解析直接帶來 +21.3% 提升(extended 雖然仍逐次傳送 Parse,但省去了文字轉義與部分協議往返,也快了 12.9%)。繼續在 prepared 模式下掃描併發:

  • c=64:63,449 TPS(1.009 ms)
  • c=96:62,910 TPS(1.526 ms)
  • c=128:66,453 TPS(1.926 ms)
  • c=192:63,866 TPS(3.006 ms)

吞吐在 63k–66.5k TPS 形成平頂平台,繼續堆併發只會讓延遲線性上漲。按 56k–62k TPS 消耗 8.2 核折算,單次點查在 PostgreSQL 服務端只吃約 130–145 µs CPU,1 ms 平均延遲裡超過 85% 耗在極短查詢的 socket 往返與程序排程上——這正是等待事件全部為 Client/ClientRead 的直接原因。最終我們將單實例 CPU 配額定在 12 核(8.2 核滿載加上系統程序餘量)。

協議對比與併發 64 到 192 實測圖
pgbench 三種協議模式吞吐對比及 prepared 模式下併發 64 至 192 的吞吐與延遲掃描

讀寫分離(-rw → -ro)與 K8s 親和性死鎖修正

CloudNativePG 會自動為叢集生成讀寫 Service(<cluster>-rw)和只讀 Service(<cluster>-ro)。兩個只讀副本實測達到 95,686 TPS(主庫的 1.8 倍),而應用此前全部連在 -rw 上,將只讀流量切到 -ro 是最直接的擴容路徑。

排查過程中我們還修復了一處自己差點埋下的高可用隱患:最初在 CloudNativePG 中同時配置了 podAntiAffinity: required(3 個實例必須落在不同節點)和 nodeAffinity: required(只允許排程到 3 臺健康節點)。3 個 Pod 鎖死在 3 臺機器上,意味著只要任意一臺健康節點宕機,重建 Pod 就會一直卡死在 Pending。

發現後我們立即將 nodeAffinity 降級為 preferred(權重 100):

將 nodeAffinity 由 required 降級為 preferred
affinity:
    enablePodAntiAffinity: true
    topologyKey: kubernetes.io/hostname
    podAntiAffinityType: required
    nodeAffinity:
        preferredDuringSchedulingIgnoredDuringExecution: # required → preferred,避免故障时一直 Pending
            - weight: 100
              preference:
                  matchExpressions:
                      - key: kubernetes.io/hostname
                        operator: In
                        values: [node-1, node-2, node-3]

日常執行時實例仍優先落在 3 臺高頻節點;真遇單節點故障,可以降級排程到慢節點先保住叢集可用。

當前落地的核心配置與待辦

脫敏後的核心引數(CloudNativePG 1.30 / PostgreSQL 18.1 / Guaranteed QoS):

CloudNativePG 叢集核心引數
spec:
    instances: 3
    resources:
        requests: { cpu: '12', memory: 16Gi } # 满载实测 8.2 核,12 核留系统进程余量
        limits: { cpu: '12', memory: 16Gi }
    postgresql:
        parameters:
            max_connections: '500'
            shared_buffers: '4GB'
            effective_cache_size: '12GB'
            work_mem: '16MB'
            maintenance_work_mem: '1GB'
            max_wal_size: '24GB' # 8GB → 24GB,消除 WAL 强制 checkpoint
            min_wal_size: '4GB'
            wal_compression: 'zstd' # 配合 FPW 削减,总 WAL 写入 −56%
            checkpoint_completion_target: '0.9'
            checkpoint_timeout: '15min'
            commit_delay: '0' # 实测开启 −21%,保持关闭
            random_page_cost: '1.1'
            effective_io_concurrency: '200'
            bgwriter_delay: '200ms' # 保持默认
            bgwriter_lru_maxpages: '100'
            bgwriter_lru_multiplier: '2.0'

目前這套叢集先靠 preferred 親和性避開兩臺慢節點。等下次機房維護視窗拿到 iDRAC 憑據後,我們會先核對 bios_limit 與 BIOS SysProfile 現狀,將兩臺機器切到 PerfOptimized 重啟並補測單核頻率與分散式儲存 fsync,屆時整段 nodeAffinity 即可移除。

參考資料


本文記錄了我們在日常維護公有雲與大模型基礎設施時遇到的真實底層效能問題。如果你正在維護自己的開源專案(尤其是 AI Agent、MCP 或自部署工具),需要按小時計費的雲主機跑演示環境或 DeepSeek 等大模型 API 除錯額度,可以前往 Leaflow 控制台,或在 關於我們 頁面檢視公開合作與聯絡通道。

標籤PostgreSQLKubernetesLinux 效能調優資料庫基礎設施