PVE 超融合下电与上电流程

主要是处理Ceph的正确下电。

下电

操作前检查

确认Ceph集群状态健康

ceph health detail

返回必须且只能是HEALTH_OK，严禁带错误下电集群。

如果是HEALTH_WARN或HEALTH_ERR必须先等待集群恢复或修复错误。

暂停所有可能的IO

将所有虚拟机和CT容器进行关机或暂停处理，防止节点下电后触发HA，也终止对Ceph的IO。

禁止自动恢复

在任一节点上执行如下操作：

1. 防止 OSD 被标记为 out

   ceph osd set noout

2. 禁止重平衡和自动恢复

   ceph osd set norebalance
   ceph osd set nobackfill

3. 禁止数据恢复

   ceph osd set norecover

4. 禁止将节点标记为down

   ceph osd set nodown

5. 暂停IO

   ceph osd set pause

终止Ceph服务

1. 在每个Monitor节点上停止Mon/Mgr：

   systemctl stop ceph-mon.target
   systemctl stop ceph-mgr.target

2. 在每个节点上停止MDS（CephFS）：

   systemctl stop ceph-mds.target

3. 在每个节点上停止OSD：

   systemctl stop ceph-osd.target

硬件下电

1. 服务器下电：

   shutdown -h now

2. 网络设备下电

建议一台一台下电，顺序依照 VM/CT → 纯计算节点 → OSD节点 → Monitor节点 → 网络 顺序进行下电。

上电

操作前检查

确认网络正常，路由可连通，线路连接牢固。

硬件上电

按照顺序依次对硬件进行上电：

网络设备 → Monitor节点 → OSD节点 → 纯计算节点

查看Ceph服务状态

1. 查看服务是否正确启动：

   systemctl status ceph.target

   我这里看状态正常，服务因为都设置了enable所以可以跟随系统启动。如果有异常需要先处理异常。
2. 查看集群状态：

   ceph -s

   此时可能会提示Warn，这是正常的。
3. 解除防止自动恢复标志：

   ceph osd unset pause
   ceph osd unset nodown
   ceph osd unset noout
   ceph osd unset nobackfill
   ceph osd unset norebalance
   ceph osd unset norecover

4. 查看集群状态：

   ceph -s

   此时应该还是处于HEALTH_WARN，待一段时间后就会恢复正常。

待ceph状态恢复为HEALTH_OK之后即可启动VM和CT。