硬盘重复数据删除技术利与弊
对于重复数据删除技术理解理解起来非常简单,它本身是一项技术,可以允许在您的硬盘驱动器上只存储一份重复数据。从而节省了空间和潜在的超速文件写入。本质上说,它是单实例存储。重复数据删除可以在文件级、块级或字节级里运行并起作用。文件和数据块级是最常见的。
速度支持
这是可以做到同步(如写入发生)或异步的(作为一个在安静的时间预定作业。)
同步重复数据删除需要消耗大量CPU运算能力。这么大的能耗使得高端文件服务器厂商总是吵着要用最快的Xeon处理器,并推动与研究利用GPGPU技术。
这很容易想到原因,试着把一个5GB的文件压缩成Zip包所需要的时间。进而再把你的硬盘驱动器想象成一个0.5PB级的压缩包,而你需要10Gb/s的读写速度。突发事件的处理能力非常重要。
尽管这样,重复数据删除技术仍是一项关键技术。存储的需求不仅仅体现在对容量的需求迫切。更重要的是,当硬盘的容量增加了两倍的时候,网络I/O和磁盘速度并没有提高。
这对于Raid重建时间和备份来说是存在巨大的潜在的灾难性。重复数据删除可以减少信息RAID或备份的数量,从而帮助以确保这些过程都发生在与业务需求相兼容的时限内。
高风险业务
这是假设你正在备份,重复数据删除技术会对完整的文件在数据块级别进行删除,并对这个事件的利弊都充分考虑一下吧。
只对重删技术处理过的数据块进行备份,这就意味着更小的备份空间、更少的带宽,并且已备份的数据将不会再进行重复备份。但在另一方面,其明显减缓了恢复时间,并与整个备份介质联系在一起,不可分割。
大多数人不会对进行重删之后删除的数据块进行备份,这对企业来说,存在很大的风险。备份介质出现一丝毫的损坏,那么整个备份介质上的数据都无法恢复。这就意味着企业需要很多的预算来保证带宽以每天都对未进行重删的数据进行备份。
同时,你还必须考虑对未进行重删的数据进行备份所需要的存储I/O带宽,而不是存储在磁盘上所需的容量大小。磁盘上的数据量每天可能只增加了几十GB,而总存储I/O则迫使存储系统需要用几十TB的增加。
注意跨度
随着存储需求和供应之间的差距越来越大,重复数据删除技术将变得日益重要。但这并不会减少对网络带宽的需求,并还增加了额外的运算能力需求。
我所期望的文件管理器,需要有两个高端的Xeon处理器和万兆以太网,并需要两个万兆以太网端口,以为提供MPIO(多路径IO管理)。
文件管理器大小取决于其必须具备满足峰值需求的能力,必须支持快照、之前版本和其他一些有趣的功能,对于下一代存储所需要什么样的性能时,很头疼。但无论困难与否,必须花时间来研究。存储的成本和随之而来的网络带宽成本将会越来越高,我们当中很少有人能承担其突发错误后的代价。
恢复数据库 (RDB) 一种特殊的邮箱数据库,通过它您可以装入还原的邮箱数据库,并可以在...
电脑中毒后的两个紧急措施 新病毒和木马,加上黑客人工的入侵方式,电脑中毒的情况还是...
智能手机的多功能,价格低廉,便携性,可以说类似微型的电脑。智能手机风靡全球之后,也...
手机用户既烦恼又悲催的事是什么?是手机被盗,还是手机丢失?都不是,手机丢了可以再买...
2010年已经过去,让我们欢迎2011年的到来!个人认为,2011年的架构仍然会逃不出本文所涉及...
天网恢恢,疏而不漏!平安城市、和谐城市、发展城市离不开您我他,做一名良好的社会公民!
1.数据库服务器需求 数据库服务器有着十分明确的存储和I/O需要,这正反映了它们所支持的...