ceph osd full/nearfull

shilang

　　ceph集群出现full osd后，会禁止写入和删除操作，出现这种情况，应该如何解决呢？
可以先通过调高集群full ratio限制比例，或者修改osd权重，来解除写锁，然后再进行数据删除等操作。
具备扩容条件，可以通过扩容解决。
但是要注意，扩容和调整osd权重，会出现数据平衡状况，影响集群读写速率（正在移动的数据，也会进行写锁）。如果是生产环境，请注意操作时点，保证集群可用性。
　　

　　nearfull是即将到达full状态的一个提醒，在此状态时，应该及时安排集群扩容等处理。

　　nearfull和full ratio在部署集群时，可以按需进行设定。

　　

　　1、容量不够，扩容来凑
　　1) scale-up
　　通过向集群现有服务器添加磁盘实现。

　　2) scale-out

　　通过向集群添加服务器节点实现。

　　ceph集群扩容参见《ceph集群扩容》后续补充。

　　

　　2、删除无用数据，释放空间

　　为防止数据丢失，ceph在osd磁盘数据量达到一定比例后，会将osd标记为full状体，并禁止客户端进行数据写操作，包括数据的删除操作。也就是说，我们不能直接通过删除无用数据，释放空间。

　　那么存储集群中有很多历史的无用数据，占用了很多空间，又不能释放，该怎么办？

　　

　　解决：调整ceph集群的限制比例，消除写锁，然后再进行删除。
# 查看集群osd详细状态
$ ceph health detail
HEALTH_ERR 1 full osd(s); 3 near full osd(s); full flag(s) set
osd.19 is full at 80%
osd.6 is near full at 75%
osd.7 is near full at 76%
osd.15 is near full at 71%
full flag(s) set
# 修改osd最大可写容量比例
## 修改前为80%，修改后为85%
$ ceph tell osd.* injectargs '--mon-osd-full-ratio 85'
$ ceph tell osd.* injectargs '--mon-osd-full-ratio 0.85'
$ ceph pg set_full_ratio 0.85
# 此时再查看集群状态，已经恢复。删除无用的数据
# 例子：rbd rm volumes/volume-fb2eb4e8-9871-4048-b7fa-d6494be06b44　　3、调整osd权重
　　通常osd full发生时，并不是全部osd都达到full的比例。此时可以调整full的osd的存储比重，从而降低该osd存储数据的比例，实现数据的自动平衡（按设定的比例，移动部分数据到其他的osd）。

　　默认安装时，ceph集群会按磁盘容量自动设置osd比重，范围0~1。
# 查看集群osd的比重
$ ceph osd tree
ID WEIGHT   TYPE NAME              UP/DOWN REWEIGHT PRIMARY-AFFINITY
-1 18.43690 root default                                             
-2  2.63699     host controller-3                                    
0  0.87900         osd.0               up  1.00000          1.00000
2  0.87900         osd.2               up  1.00000          1.00000
3  0.87900         osd.3               up  1.00000          1.00000
-3  2.63699     host controller-1                                    
1  0.87900         osd.1               up  1.00000          1.00000
4  0.87900         osd.4               up  1.00000          1.00000
15  0.87900         osd.15              up  1.00000          1.00000
# 例：调整osd15的比重为0.7
$ ceph osd crush reweight osd.15 0.7
# 查看集群osd的比重
$ ceph osd tree
ID WEIGHT   TYPE NAME              UP/DOWN REWEIGHT PRIMARY-AFFINITY
-1 18.43690 root default                                             
-2  2.63699     host controller-3                                    
0  0.87900         osd.0               up  1.00000          1.00000
2  0.87900         osd.2               up  1.00000          1.00000
3  0.87900         osd.3               up  1.00000          1.00000
-3  2.63699     host controller-1                                    
1  0.87900         osd.1               up  1.00000          1.00000
4  0.87900         osd.4               up  1.00000          1.00000
15  0.87900         osd.15              up  1.00000          1.00000
# 例：调整osd15的比重为0.7
$ ceph osd crush reweight osd.15 0.7　　调整后集群会根据比重，自动移动数据进行平衡。调整的比重可以通过计算得出，也可以逐步降低比重，查看集群状况再进行调整。

　　直到full的osd状态改变为nearfull，集群可以进行写操作。

　　

　　ceph osd crush reweight   和 ceph osd reweight  的区别:
"ceph osd crush reweight" sets the CRUSH weight of the OSD. This
weight is an arbitrary value (generally the size of the disk in TB or
something) and controls how much data the system tries to allocate to
the OSD.
"ceph osd reweight" sets an override weight on the OSD. This value is
in the range 0 to 1, and forces CRUSH to re-place (1-weight) of the
data that would otherwise live on this drive. It does *not* change the
weights assigned to the buckets above the OSD, and is a corrective
measure in case the normal CRUSH distribution isn't working out quite
right. (For instance, if one of your OSDs is at 90% and the others are
at 50%, you could reduce this weight to try and compensate for it.)