分布式存储生态概况—生态图谱简析-应用生态组

当前,分布式存储生态中占据主导地位的,还是由传统的(非区块链型)企业级分布式存储,云服务商提供的商业分布式存储,小型应用开发偏好的轻量级开源分布式存储,以及去中心化(P2P)文件共享组成。同时,由于区块链技术的逐渐发展,基于以太坊、波卡生态等,也涌现出了较多应用于去中心化场景的分布式存储项目。

一、传统(非区块链行)分布式项目的生态情况如下:

企业级:

Google公司为了满足本公司需求而开发的基于Linux的专有分布式文件系统。一 个GFS集群由一个master和大量的chunkserver构成,并被许多客户(Client)访问;

TFS(Taobao FileSystem)是一个高可扩展、高可用、高性能、面向互联网服务的分布式文件系统,主要针对海量的非结构化数据,它构筑在普通的Linux机器 集群上,可为外部提供高可靠和高并发的存储访问;

Glusterfs是一个开源的分布式文件系统,是Scale存储的核心,能够处理千数量级的客户端.在传统的解决 方案中能够灵活的结合物理的,虚拟的和云资源去体现高可用和企业级的性能存储;

Ceph是可靠的、可扩展的、统一的、分布式的存储系统。可以同时提供对象存储RADOSGW(Reliable、Autonomic、Distributed、Object Storage Gateway)、块存储RBD(Rados Block Device)、文件系统存储Ceph FS(Ceph Filesystem)3种功能;

Hadoop,无需再做说明。

云服务商,行业巨头主要就是那几家:AWS、Micorsoft Azure、阿里云、华为云、google cloud等,无须多做介绍,详见参考链接。

轻量级:

MogileFS是一款可扩展、软件定义的分布式存储文件系统,类似的还有Ceph, Openstack Swift and GlusterFS。MogileFS 适用于数据密集型任务,如云存储和媒体流;

FastDFS是一款轻量级的开源分布式文件系统,功能包括:文件存储、文件同步、文件上传、文件下载等,解决了文件大容量存储和高性能访问问题。特别适合以文件为载体的在线服务,如图片、视频、文档服务等等;

MooseFS是一个具备冗余容错功能的分布式网络文件系统,它将数据分别存放在多个物理服务器或单独磁盘或分区上,确保一份数据有多个备份副本。对于访问的客户端或者用户来说,整个分布式网络文件系统集群看起来就像一个资源一样。从其对文件操作的情况看,MooseFS就相当于一个类UNIX文件系统。

去中心化:

IPFS,星际文件系统是一个旨在创建持久且分布式存储和共享文件的网络传输协议。它是一种内容可寻址的对等超媒体分发协议。在IPFS网络中的节点将构成一个分布式文件系统。它是一个开放源代码项目,自2014年开始由Protocol Labs在开源社区的帮助下发展。其最初由Juan Benet设计;

BitTorrent,所有去中心化存储的祖先,人们主要从下载的角度关注它的,但是它本身,就是世界第一款流行的P2P文件共享系统协议。其出现以后,BT下载成为了所有P2P下载软件的统称。其创始人为布拉姆·科恩,BT下载是目前互联网最热门的应用之一。BT下载通过一个P2P下载软件(点对点下载软件)来实现,克服了传统下载方式的局限性,具有下载的人越多,文件下载速度就越快的特点。因此,吸引着众多的网民使用,其好处是不需要资源发布者拥有高性能服务器就能迅速有效地把发布的资源传向其他的BT客户软件使用者,而且大多数的BT软件都是免费的;

fopnu是由 winmx 团队,继 winmx 2007年停止开发后,后来又重启并重写架构的一款P2P文件共享软件,目前软件闭源。它吸取了电驴的文件长效与BT的高速,具有文件共享、好友、群聊等功能,软件极其轻量,是当下迅雷的替代品之一。对于这款软件,P2P领域的资深用户,都用一句“你懂的”来评价它。

二、区块链去中心化存储生态分布情况如下:

Filecoin定位的是 龙头级别的去中心化云存储项目IPFS协议的激励层(官方激励层) ,其他项目也可以做IPFS激励层,比如AR,而IPFS对标的是Web2.0时代的HTTP协议,所以Filecoin作为官方激励层,定位为web3.0时代的存储基础设施,它体量巨大、资金充沛,并且拥有完备的生态系统,在桶赛道属于龙头级别项目;

Storj是一个不会停机的云存储平台,一个去中心化的基于区块链的分布式云存储系统, 它能保证任何时候对用户上传到区块链的内容进行加密 。若用户要从区块链上下载内容,就必须使用对应的私钥。因此,Storj网络可靠性和安全性都非常高。目前Storj的用户存储量已达到5PB。

Crust 提供了 Web3 生态系统的去中心化存储网络, 支持包括 IPFS 在内的多种存储层协议 ,并对应用层提供接口。Crust 的技术栈还能够支持去中心化计算层。Crust 旨在构建一个重视数据隐私和所有权的分布式云生态系统;

Arweave 原名 Archain,通过区块链的方式实现, 文件存在每一个区块上 。Arweave 数据结构更像一张网,而不是一条链。其全新的共识方式 Proof of Access,做法是每次出新区块的时候必须同时验证一个以前的区块。这个以前的区块数随机产生,只有拥有随机区块的节点才能进行 PoW 出块。由于存储有成本,随着数据的指数级增长,不可能每个节点都能保存所有区块。随机区块的存在可以调节每个节点所保存的数据量,达到数据的均衡分布。实现真正的去中心化的存储;

Swarm 基于区块链技术, 完全去中心化、民主自治的资本市场平台 。Swarm 希望让所有小额投资者也能从世界上任何地方参与到高回报的数字货币资产投资中来。其愿景是使世界上任何地方的任何人都能参与加密资产类别的价值创造,并抓住新型的资产支持的代币的契机,包括房地产、对冲基金、太阳能设施等;

Sia,一个实现去中心化的数据存储平台,通过 分布式网络加密 和分发文件,区别传统云存储,外部公司或第三方不能访问或控制你的文件。在Sia网络中存储空间的租用,是在各节点之间相互租用,而非向中心化的存储空间租用。各节点间的存储空间租用,通过区块链合约实现;

MaidSafe于 2006年2月 (非常早期的去中心化存储项目,早期并非基于区块链)在苏格兰Troon成立,目标是用完全去中心化架构来取代互联网昂贵的数据中心,建立一个全球范围内任何人都可以访问的去中心化储存平台。在过去8年里,团队已编写了许多算法来协调、兼容和控制各个独立节点,这些独立节点不断地重复简单基础的工作——就像工蚁。因为用户数据被复制到分布于不同地理位置的4个服务器中,所以即使1或2个节点因为网络原因中断,网络的冗余性和安全性依然首屈一指;

关于sia、storj、maidsafe有一篇很有意思的对比文章:404 - 知乎

参考资料:

企业级:通用的分布式存储及专用的分布式存储 - 简书

云服务商:Top cloud providers: AWS, Microsoft Azure, and Google Cloud, hybrid, SaaS players | ZDNet

区块链:Top Storage Tokens by Market Capitalization | CoinMarketCap

IPFS:https://ipfs.io/

BitTorrent:https://www.bittorrent.com/

Fopnu:https://www.fopnu.com/

6 个赞