`
coolsunchen
  • 浏览: 61824 次
  • 性别: Icon_minigender_1
  • 来自: 深圳
文章分类
社区版块
存档分类
最新评论

七牛的存储方法的冗余度如何做到1.4

 
阅读更多
在经历2013年年底,云基础服务商之间开始竞相降价的价格战后,该市场留存的头部玩家已经逐渐尝到了甜头——包括云主机服务商QingCloud、UCloud,云存储服务商七牛在内的创业公司,相继在今年拿到数千万美元的融资。这让我想起在八个月前,金山云的CEO王育林曾在接受PingWest采访时说:“如果不是百亿级以上的市场,金山就不会专门成立子公司去做它。”

最近,PingWest采访了七牛云存储的创始人许式伟,在拿到宽带资本、经纬中国、启明创投的C轮千万美元投资后,许式伟告诉PingWest:“接下来,七牛要和产业上下游更多的公司相互协作,在技术上实现对接。”

从创业之初,七牛就和那些大体量的云基础服务提供商区别开来——只专注于非结构化数据存储内容,目前有超过10万的用户基数,覆盖在线教育、电商、旅游、图片社交等领域。据许式伟介绍,在七牛的客户群中,有许多用户一边用阿里云、腾讯云的云主机服务,一边使用七牛的云存储。这也意味着,七牛与这些大公司的服务在竞争之外,也是可以协作的。

为了保证数据可靠性,同时尽量降低成本,七牛在6月发布的2.0版产品中加入了纠删码算术冗余技术。为了便于理解,我们通过一种比较具象的比方来解释:传统的存储方法中,假设备份数据X、Y,在不同的硬盘中各自备份三份副本,这时数据的冗余度为3。据许式伟的介绍,七牛的存储方法的冗余度做到在1.4左右。这时候,你也许会问,为什么数据副本变少了,但存储可靠性却没有降低呢?

实际上,七牛2.0的数据备份,是分别备份一份X、一份Y,再备份类似X+Y,X²+Y²这样的冗余数据。那么,即便Y的数据丢失,就可以通过已知X+Y和X数据,去恢复Y的数据。七牛2.0的纠删码(EC) 采用的是 28 + 4,也就是把文件切分为 28 份,然后再根据这 28 份数据计算出 4 份冗余数据(比如X+Y),最后把这 32 份数据存储在 32 台不同的机器上。

这种新式的存储方式相比经典三副本冗余方案,需要的服务器只需要后者的32.5%,大大降低了成本,最高同时损坏四个硬盘数据也不会丢失,提高了硬件的容灾能力。

此外,相较于传统的单机数据恢复,七牛采取了多组服务器的存储集群修复。也就说,一台服务器上的数据损失,能够通过剩余存储集群能力共同为其恢复数据,且集群规模越大,效率越高。许式伟认为这些“技术壁垒”,使得他并不畏惧来自竞争对手的价格战——“首先我们存储的成本低,即便把价格降下来,我们也会有轻微的利润;而我们并不完全靠价格取胜,还包括增值服务。”

在基础技术之上,七牛为一些开发者的共性需求做一些优化服务,在存储的基础上加入了一些PaaS应用,比如图片存储中的缩略图、自定义尺寸、防盗链等。在2013年年底,七牛团队发现客户对音频、视频内容的存储需求比例开始增加后,开始为视频数据存储,提供了十余种可供调用的API接口——包括视频格式转码、视频水印、视频帧提取、数据分析等功能。

尽管,目前视频客户需求的比例还不算太高,但许式伟认为,随着视频类应用和服务的兴起,这会成为一种趋势。目前,包括视频监控设备供应商海康威视、短视频应用美拍、在线教育平台开课吧,都已经是七牛云储存的案例用户。
分享到:
评论

相关推荐

    数据库系统和应用.pdf

    定义数据库中的数据对象 数据组织、存储和管理 分类组织、存储和管理各种数据 确定组织数据的文件结构和存取方式 实现数据之间的联系 提供多种存取方法提高存取效率 第一章 绪论 数据库管理系统的主要功能 数据操纵...

    数据库系统基础知识.pdf

    Visual FoxPuo 程序设计基础 第1章 数据库系统基础知识 数据库基础知识 1.1 数据模型 1.2 数据库系统 1.3 关系数据库 1.4 数据库系统的体系结构与开发工具 1.5 1.1 数据库基础知识 通常,把用计算机对数据进行处理的...

    2005-2009软件设计师历年真题

     •软件过程评估基本方法、软件能力成熟度评估基本方法  •软件开发环境和开发工具(分析工具、设计工具、编程工具、测试工具、维护工具、CASE)  •软件工程发展趋势(面向构件,统一建模语言(UML))  •软件...

    基于51单片机的温度计设计.doc

    分辨率设定,及用户设定的报警温度存储在EPROM中,掉电后依然保存。 温度传感器DS18B20引脚如图3所示。 8引脚封装 TO-92封装 图2 温度传感器 引脚功能说明: NC :空引脚,悬空不使用; VDD :可选电源脚,电源电压...

    数据库课程设计--仓库管理系统.doc

    数据表的设计要求:每个关系至少要满足3NF,既要有较低的冗余度,又具有较高 的访问效率,每个系统最少应有5个以上的表,并根据实际需要定义相关索引。 3. 数据库设计的完整性要求:根据实际需要定义合理的完整性...

    数据库系统基础知识.doc

    数据库中的数据具有结构化好,冗余度小,数据独立性高,共享性高和易于扩充等特点 。 2) 数据库管理系统(DataBase Management System,简称DBMS) 数据库管理系统是一个管理数据库的软件系统。它为用户提供了大量...

    数据库概论——精选推荐.pdf

    数据⾯向的对象:某⼀应⽤程序 数据的共享程度:⽆共享、冗余度极⼤ 数据的独⽴性:不独⽴,⼀组数据只能对应⼀个程序 数据的结构化:⽆结构 数据控制能⼒:应⽤程序⾃⼰控制 2.2 ⽂件管理阶段(50年代中–60年代中...

    数据库系统的基本概念.doc

    (4)、数据共享性差,冗余度大; 在文件系统中,一个文件基本上对应于一个应用程序,即文件仍然是面向应用的。 (5)、数据独立性差; 一旦数据的逻辑结构改变,必须修改应用程序,修改文件结构的定义,修改应用程...

    大数据下的智能数据分析技术研究.pdf

    决策树的建立过程 是数据规则的生成过程,因此,这种方法实 现了数据规则的可视化,其输出结果容易 理解,精确度较好,效率较高,缺点是难于 处理关系复杂的数据。 常用的方法有分类 及回归树法、 双方自动交互探测法等。...

    数据库系统的基础知识.pptx

    与传统的文件管理系统相比,数据库系统具有以下优点: 数据结构化 数据存储灵活 数据共享性强 数据冗余度低 数据独立性高 数据库系统的基础知识全文共25页,当前为第9页。 在信息高速发展的时代,数据信息同样是...

    关于ds18b20程序

    DS18B20温度传感器 * * C51 * * yajou 2008-06-28 无CRC * ********************************************************/ #include "reg51.h" #include "intrins.h" #include "DS18B20.h" /**********************...

    visual C++_Turbo C串口通信编程实践

    13.1七自由度机械臂远程控制系统 13.1.1 基于串口通信的单片机系统设计 13.1.2 基于串口与TCP/IP网络的远程控制 13.1.3基于视频网络服务器的远程控制 13.2 基于串口通信的LMS-200激光雷达数据处理 13.2.1 ...

    基于Delphi的仓库管理系统开发论文

    而用计算机来处理企业内部信息间的流通和使用,既可以实现数据信息的共享,控制好数据的冗余度,并使企业有统一的管理,提高信息的利用率;又可以实现整体数据的结构化,表示大量数据相互间的多种联系,这样就可以...

    安防天下智能网络视频监控技术详解与实践part2

    1.4 视频监控的发展方向 10 第2章 模拟视频监控系统 13 2.1 模拟监控系统的构成 14 2.2 视频采集设备 14 2.2.1 摄像机相关技术 15 .2.2.2 镜头相关介绍 19 2.2.3 防护罩 23 2.2.4 云台及解码器 23 ...

    安防天下智能网络视频监控技术详解与实践.part3

    1.4 视频监控的发展方向 10 第2章 模拟视频监控系统 13 2.1 模拟监控系统的构成 14 2.2 视频采集设备 14 2.2.1 摄像机相关技术 15 .2.2.2 镜头相关介绍 19 2.2.3 防护罩 23 2.2.4 云台及解码器 23 2.2.5 ...

    安防天下智能网络视频监控技术详解与实践part1

    1.4 视频监控的发展方向 10 第2章 模拟视频监控系统 13 2.1 模拟监控系统的构成 14 2.2 视频采集设备 14 2.2.1 摄像机相关技术 15 .2.2.2 镜头相关介绍 19 2.2.3 防护罩 23 2.2.4 云台及解码器 23 ...

    《数字图像处理》冈萨雷斯 第三版part1(共1-3部分)

     1.4 本书涵盖的图像处理范围  1.5 本书的Web站点  1.6 MATLAB工作环境  1.6.1 MATLAB桌面  1.6.2 使用MATLAB编辑器创建M文件  1.6.3 获得帮助  1.6.4 保存和检索工作会话  1.7 参考文献的组织方式  小结 ...

    工程硕士学位论文 基于Android+HTML5的移动Web项目高效开发探究

    东南大学、中国科学技术信息研究所、国家图书馆有权保留本人所送交学位论文的复印件和电子文档,可以采用影印、缩印或其他复制手段保存论文。本人电子文档的内容和纸质论文的内容相一致。除在保密期内的保密论文和在...

Global site tag (gtag.js) - Google Analytics