Facebook每天都会有大量的图片生成,需要文件存储系统来保存这些图片。不管我如何优化存储机制,最终要保存的图片都是实打实的要存到文件系统中去;比如说有10PB图片,那么我的存储系统至少也得10PB,但是考虑到数据备份,存储容量就得要好好规划下,我相信这才是facebook要优化的问题。传统的备份是多找几台服务器备份存储,那么facebook可能是采用一种全新的备份机制,在现有的存储器下尽可能多的发挥存储功效。那么它到底怎么备份的呢?大家都来参与讨论下吧。我的想法:

采用数据本身自我描述机制,就像汉明码那样,把数据分割成比较小的部分,有原码和校验码,通过提取一定量的原码和校验码可以恢复原有的数据。

1 收藏


直接登录
最新评论
  • 小编辑 编辑 2015/11/04

    看一下这篇旧文

    揭秘全球最大网站Facebook背后的那些软件

    文中提到

    Haystack是Facebook高性能的图片存储/检索系统。(严格来说,Haystack是一对象存储,所以它不一定要存储图片。)Haystack的工作量超大。Facebook上有超过2百亿张图片,每张图片以四种不同分辨率保存,所以,Facebook有超过8百亿张图片。

    Haystack的作用不单是处理大量的图片,它的性能才是亮点。我们在前面已提到,Facebook每秒大概处理120万张图片,这个数据并不包括其CDN处理的图片数。这可是个惊人的数据!!!