信息时代的数据每时每刻都在以几何速率增长,我们已经进入大数据时代。随着数据价值和体量的边际越来越大,互联网企业的数据处理——存储,分析,保护,安全……就像阿喀琉斯之踵成为致命的隐患。
区块链技术的出现,赋予人们重新审视中心化存储优缺点的机会,并提供了另一种不同视角的进化解决方案,即去中心化存储的机会在哪里?
本文将中心化存储和去中心化存储做一个大概定义,并在本文中对主要的去中心化存储项目做案例分析。
中心化存储
通常存在着一个核心的中心化服务器,所有用户的内容保存与使用都依赖于这个中心服务器,从而形成了一个中心化的网络结构。用户节点相互之间并无交互,对于网络中的信息也无法产生实时影响和反馈,整个网络的稳定性主要来自于中心服务器的稳定程度。而在内容的传播方式上也主要是通过中心服务器来完成,用户节点的主要作用在于请求与接收内容。
目前主流中心化云存储和数据服务公司,来源:鲸准研究院
去中心化存储
去中心化存储是将数据分散存储在非常多的独立的存储设备上,这些存储设备我们称作节点,所有节点一起组成了存储网络。当用户存储文件时,文件被切割成数据碎片然后使用自己的私钥加密后存储在网络的众多节点上,而不是某个中心化的服务器上。当需要使用这个文件时,这些碎片会被解密,然后迅速的无缝重新组装起来。
一、数据时代,存储市场有多大?
全球数据圈的年度规模,资料来源:IDC
过去十年,数据增长的主要来源PC、智能手机和其他消费类的设备的增加;未来随着嵌入式设备的逐渐广泛,其中包括安防摄像头、智能电表、芯片卡和自动售卖机等等,未来大数据会爆发性的增长,而这一部分大数据亟需创造很大空间来存储。
对此,云存储成为了不可避免的方式。云存储市场超25%复合年增长率,预计2023年市场规模达1040亿。随着更为完善的基础设施和更高的互联网普及率,中小型企业越来越多地采用云存储将成为云存储市场增长的主要因素。
存储市场规模走势及预测2016-2023,数据来源:Marketersmedia
对此,聚焦于去中心化存储的存储方式蕴藏着巨大的发展机会。
二、IPFS等去中心化存储项目概述
作为区块链技术的典型代表,比特币网络实现了在恶意节点和友好节点并存情况下进行网络支付的可信特征。这一特点,激发了Juan Benet设计星际文件系统——IPFS,Interplanetary File System的思路:数据即价值,运用比特币网络的分布式特性,也能创建可信数据库。
在这个思路中,有三个问题是数据存储行业的痛点,也非常关键。
1、中心化的云存储服务,是否可信?
2、中心化的云存储服务,是否永久,会不会突然消失?
3、中心化的云存储服务,是否中立,会不会被恶意利用?
基于上述问题,IPFS星际文件系统,力图成为这样的数据存储系统:
1、为全人类的信息创建一个去中心化的、高效的、强大的基础平台;
2、利用人类碎片化闲置空间,解决巨量数据的存储问题;
3、具有自我修复功能的数据库;
4、没有公司或者中心化组织掌握的数据库;
5、加密的数据库;
与目前统一的通过地址从中心化服务器中获取网络资源的传输方式相比,IPFS通过唯一的哈希值来匹配和寻找相应内容。用户可以在点对点的网络结构中更加快速地从就近的节点获取所需的网络资源,这可以使得目前的网络带宽问题得到一定程度的解决,而数据也将因分布式的存储方式获得更高的安全性。
于是全球大的去中心化存储项目IPFS便应运而生。IPFS产生之初便激起了世界各地支持者的热情,之后创始人Juan Benet便持续致力于建立这样一种去中心化存储系统,并于2018年将去中心化存储和加密数字资产Filecoin相结合,以激励更多人加入到星际文件协议,由于项目目标宏大,规模空前,难点众多,目前项目还在持续研发中。
Sia是一个有区块链技术保护的分散存储平台。Sia存储平台利用全球未被充分利用的硬盘驱动器容量,创建一个数据存储市场。Sia通过分散的网络对文件进行加密和分发。
Datum是一个存储和组织数据的DApp,并围绕数据建立一个经济生态系统。任何人都可以通过数据节点在数据网络上存储数据,而任何向网络发送数据的人都可以成为数据源。除此之外,任何人都可以在Datum市场上出售他们拥有的数据或者购买他们想要的数据。
去中心化存储项目的投资明细,来源:鲸准研究院
除了IPFS、Sia、Datum之外,还有一些颇具落地应用价值的代表性去中心化存储项目,比如Storj、Swarm等。
三、为什么会有去中心化存储方案的出现?
目前,大多数中心化的存储网络结构存在很多弊端,如服务器稳定和安全问题、存储空间浪费问题、数据安全问题等;且一旦中心发生故障,或者被攻击,则对于整个存储网络来说是致命的。
根据华住集团9月17日发生“5亿条个人信息疑似泄露”事件,该犯罪嫌疑人在暗网上试图兜售数据。说明现阶段的中心化存储存在相当大的数据安全隐患,中心化存储信息极其容易被窃取。
华住旗下酒店数据泄漏,来源:网络
现阶段,中心化存储在云存储对企业资源浪费特别显著,云技术本来不是很成熟,云成本控制也是多年来还未解决的问题。为此中心化存储也不具备完整的外部条件,为此去中心化存储成为了曲线救国的第二选择,可以实现存储的大利用。
2018年云报告显示云支出中有30%被浪费,来源:RightScale
而去中心化存储给了用户和服务方更多的重新思考机会。因为它借鉴了区块链技术基因,如加密算法、共识机制及分布式存储等,从而解决了中心化服务器问题、数据安全问题,带宽和存储问题等。
去中心化存储的架构是基于分布式网络中的各个节点所建立,在这样的网络架构中不存在一个中心化的存储服务器,而是利用了世界各地的网络用户手中空余的存储空间来进行内容的保存和传输。
四、去中心化存储在中国的机会:千亿市场,落地为王
区块链技术和比特币虽然是舶来品,但是区块链技术的迅速普及和应用得益于互联网的发展基础,中国区块链市场发展尤其是技术应用是走在世界前列的。其次,国外去中心化存储的项目诸多共性:大多落在顶层设计和论文当中,实践落地上需要一层层技术铺垫和讨论,落地缓慢;而国内则不然,快速落地、快速迭代、快速试错。而且存储行业需要硬件支持,而中国则是电子产品和智能硬件从研发到生产物流供应链配套最领先的国家,因此区块链去中心化存储有望在中国率先落地,领先于全球发展。
比如迅雷所推出的玩客云,它的主要作用是使用外置硬盘作为共享CDN,并兼顾私人云盘应用。共享CDN就是一个内容分发网络,依靠部署在各地的服务器通过中心化平台进行均衡、调节网络内容,降低网络拥堵,提高用户访问响应速度和命中率。玩客云的生态循环中,海量的用户节点作为资源方,提供了CDN服务所需要的闲置带宽、闲置存储,但资源的利用方则是少量的CDN服务采购商,主要为视频服务提供商。尽管玩客云也有一定的私人云盘功能,但其生态并非为存储而设计,而主要是为CDN设计。
相比较而言,炒米科技所推出的私家云更加精准定位于去中心化存储市场。私家云和玩客云外观相似,也是面向个人和家庭用户的体积小巧的家用智能硬件,而内置硬盘的设计更加方便用户使用也更加稳定。但其与玩客云的核心区别在于海量用户所提供的带宽和存储资源不是用于共享CDN,而是用于去中心化存储。
在私家云的生态循环中,一侧是海量的用户节点作为资源提供方提供了闲置带宽和闲置存储,另一侧资源的利用方既可以是海量的个人手机用户用于备份手机照片视频,也可以是支付能力强的行业用于备份其持续累积的各种资料和数据。
作为共享CDN和去中心化存储的标杆项目,玩客云和私家云都已有成熟的产品落地,代表了目前这一领域的最新进展。去中心化存储的市场,在当前区块链行业整体一片凄凉的背景中持续快速发展,展现了巨大的生命力,与行业背景形成巨大的反差。
五、去中心化存储的深度剖析:以私家云为例
1.私家云的技术方案剖析
从技术的角度分析,私家云主要由3大部分组成:个人私有云智能硬件 比特盘存储链 比特米激励链。
A、个人私有云智能硬件
每个人其实都有这样的需求,就是自己的各种文件既能随时随地可以备份和读取,又能完全保障个人的隐私和安全。其实这就是个人私有云服务。但当前的主流解决方案却是:移动硬盘——私密但使用不便;公有云盘——使用便捷但时有隐私问题曝光。
而私家云则融合了上述方案的优点,一台私有云设备支持多人共用,每个人都拥有自己的独立存储空间,所保存的文件相互默认不可见。私有云设备同时支持文件的便捷分享,用户可轻松将文件分享给私有云上的其他用户,或者分享至微信、QQ、微博、Facebook、WhatsApp 等第三方应用。
B、比特盘存储链
比特盘存储链首先打造去中心化存储的生态共识:人人为我,我为人人。即每个私家云用户都可参与“互益计划”,通过共享闲置宽带、存储空间来获得BITRICE奖励,而其所收集起来的宽带和存储空间,又通过去中心化存储技术打造成比特盘,并开放性面向社会,向所有人提供云存储服务。
比特盘存储链通过文件分片、数据加密、多重HASH等技术手段,通过存储节点、索引节点,以“基于存储工作量的证明”POWS为共识机制,基于多种对称/不对称加密算法以及HASH等密码学技术,构建了一条完整的去中心化存储链。
比特盘存储链有着所有去中心化存储服务共有的一些基本特性:
完全分布式存储,抗黑客攻击:无集中式服务器,无单点安全隐患
用户隐私保护更彻底:只有用户本人能查看其个人数据
数据不丢失,更安全:多节点多副本异地备份,数据更安全
自带CDN效果:用户可以同时从多个节点拉取文件,网络拥堵时自带加速效果。
除此之外,私家云系统的自我恢复能力也是设计初心目标之一:
私家云的存储节点与索引节点是完全分开的,只要由基本用户所掌握的存储节点还存在,即使所有索引节点完全关闭,用户存储节点仍然可重建整个存储网络。
这样的设计将指向最终目的:当用户基数越大,整张存储链将构成强大的自我修复力和稳定的性能;届时私家云的创始人以及运营主体对整个项目和网络而言将会变得不再重要。
C、比特米激励链
比特米激励链采取的是RPCA共识算法。RPCA实现了一种高性能,同时拥有较高拜占庭容错的算法,比较好的解决了三个问题:正确性、一致性和可用性。比特米激励链与比特盘存储链通过跨链技术协调,比特盘存储链提交节点基于存储的工作量证明,比特米激励链根据相应的工作量发放对应的BTR(BitRice)奖励。
BTR(BitRice)既是对私家云用户贡献其闲置存储与闲置带宽的奖励积分,同时也是驱动比特盘存储链运行的虚拟燃料,使用比特盘的用户需要支付BTR(BitRice)来驱动比特盘进行存储。
用户贡献以及奖励流程,来源:比特米白皮书
未来,在私家云/比特盘存储链中的各种付费内容共享和生态链合作,也将通过BTR(BitRice)流转来进行生态循环。
D、团队技术背景和运营背景
创始人李祥明一直活跃在信息安全领域,第一次创业做执法视频的分布式云存储和管理,服务于公安系统,已被上市公司并购。对私家云这样的去中心化存储项目而言,打造的是一个生态链,既需要有深厚的技术基础又需要有综合的管理能力。李祥明参与信息安全标准制定以及主持国家发改委信息安全产业专项的经历,都是去中心化存储项目的背后技术积淀。
2.产品核心竞争力分析
A、生态和激励体系
私家云构建了一个完整的智能硬件 去中心化存储 积分激励系统。
通过BITRICE来激励海量资源方用户共享其存储以及宽带,而另一侧面向海量应用方用户,激励用户使用BITRICE购买存储、宽带或者其他付费内容,从而建立了一个可持续运行的去中心化存储生态。
B、产品体验
一键备份功能。
全面支持苹果、安卓等各种手机,并支持平板、电脑等跨终端跨平台使用,来自任一设备的文件更新都可在其他设备同步。
全球随时随地访问。
C、节点众多,应用落地。
私家云已部署接近6万个节点,拥有5万多个T的存储,已为用户存储了数千万张照片、视频等各种文件。
与IPFS相比,私家云项目在技术实现、节点支持、市场推广和应用成熟度方面有着明显的速度优势。
落地为王。私家云已建立了覆盖全国的销售渠道,包括保修政策以及售后流程都已完善。这说明私家云早已不再停留在论文和实验室阶段,而是已扎扎实实进入了实际应用落地阶段。
私家云未来规划布置超过500万个节点,来源:比特米白皮书
由此可见,私家云所打造的去中心化存储也许会成为区块链领域最先落地的应用之一。
让市场和我们拭目以待。
(本文是区块链技术落地观察系列报告之一,不做任何投资建议。)