子文件重复删除技术不仅用于在备份应用中节省磁盘空间。新一代的备份应用，包括Asigra的 Televaulting，EMC的 Avamar Axion和赛门铁克的NetBackup PureDisk都采用基于散列（hash）的重复数据删除技术来减少通过WAN发送备份所需要的带宽。
首先，像生成增量备份的传统备份应用技术一样，新一代的备份应用技术也采用常用的办法如归档位，最后修改的日期，并且文件系统更改从最后一次备份起已经发生改变的文件ID日志。然后它们将文件切成更小的块并且为每个块生成散列（hash）。
然后，将这些散列（hash）与已经备份在本地的数据块的散列（hash）对象进行比较。没有出现在本地缓存和文件系统元数据中的散列（hash）被发送到中央备份服务器，再将数据与散列（hash）表进行比较。如果没有发现相同的散列，备份服务器发回一个散列表；然后被备份的服务器发送那些散列代表的数据块到中央服务器进行保存。
与对被备份到多个目标的服务器数据（它们甚至被备份到整个企业的各个目标）进行“重复删除”的备份方案相比，上述这些备份方案缩减数据的程度更高。例如，如果CEO发送100 MB的PowerPoint文件到500个分支机构，只有第一个会被备份，所有其它的只会发送散列到总部并且告知“我们已经收到，谢谢。”
这种方法几乎避免了影响基于散列的系统的可扩展性问题。因为每个远程服务器只保存其本地数据的散列（hash），散列表不会增长到超出可用的空间，中心位置的磁盘I/O系统比传送备份的WAN 的速度快得多，在磁盘上搜索一个巨大的散列索引也比发送数据快得多。
尽管Televaulting, Avamar Axion 和 NetBackup PureDisk 共享一个相似的架构，并且都是根据重复数据删除存储的大小进行定价，但是还是存在一些不同的地方。NetBackup PureDisk采用固定的128KB的数据块，而elevaulting 和 Avamar Axion采用可改变大小的数据块，这会使重复删除技术性能更好。PureDisk 支持NetBackup，赛门铁克承诺未来进行更好的整合，即提供我们希望的可以将重复删除与数据中心备份工作整合的设备。Asigra也向服务提供商销售Televaulting产品，以便不想建立自己架构的小企业也可以利用重复删除技术。
有几个客户的报告中都写到，他们在不对备份流程做大改动的情况下，的确获得了20：1的缩减比例。小企业可以采用 Asigra, EMC 和赛门铁克的新一代备份软件取代传统的备份方案。中型企业可以采用面向数据中心的备份设备。需要很高备份性能的大型企业可能不得不等待下一代产品了。
不要惧怕冲突
我们之前一直听说用户害怕使用基于散列的重复删除，因为有可能发生散列冲突----两组数据生成相同的散列，从而导致数据损毁。尽管有因为散列冲突导致数据损毁的风险，但是它发生的概率与每天存在的存储管理风险相比是非常小的。
重复删除技术通常采用MD-5 (a 128 字节的散列) 或 SHA-1 (a 160字节的散列) 算法。生成相同的MD5散列的两个随机数据块的可能性大约是1/1037。如果一个PB的数据采用 MD-5算法，以平均大小为4KB的数据块进行“重复删除”处理，两个块生成相同MD-5散列的可能性大约是1/1020。
通过比较，具有一百万小时MTBF（平均故障间隔时间）的两个互为镜像的驱动器在彼此一小时内发生故障的可能性是都是1/1020---比发生散列冲突的机会几乎高10亿倍。通过以太网或FC发送的数据受CRC-32检验和的保护，其未检出数据差错的概率大约是1/4x109。
记住存在散列冲突是很重要，但并不意味着数据会全部丢失。如果重复删除系统错误地把两个数据块识别成含有相同数据的块，当它们不被存储时，系统会继续执行操作。但当存储数据时，数据被错误识别的这个文件会被破坏。所有其它的数据会被正确地恢复。发生散列冲突的概率应该小于行星碰撞或黄石公园大火山喷发的概率。
存在于数据重复删除中更大的风险是来自硬件故障的灾难性的数据损失。因为任何特定的备份工作的数据，实事上，是任何特定的大文件被切成块，分散在整个重复数据删除设备中，它不关心你备份了那个服务器多少次，如果你在重复删除设备中损失了一个RAID设置，你会损失很多数据。于是增强的数据保护功能，例如电池备份缓存和RAID 6，对重复删除目标来说，比对基本的存储应用更重要。
标签：删除,重复,数据
