当前位置:网站首页 > 专栏 > 正文

科普| 冷数据在IPFS上可能会丢失?

作者: 金锄矿业 2020-04-07 22:20:35 1417 0



 

首先,我们先对数据进行一个简单的了解,数据分为冷数据、热数据,难道数据也有温度吗?

从字面意思来简单的说,热数据就是访问多的数据,门庭若市十分热闹。冷数据就是基本上没什么客人访问,门庭冷落车马稀。

 

热数据:是需要被计算节点频繁访问的在线类数据。

冷数据:是对于离线类不经常访问的数据,比如企业备份数据、业务与操作日志数据与统计数据。

 

两个不同的访问频次,就导致了在数据库搭建的目的各自不同,有一句话简单明了:热数据就近计算,冷数据集中存储。

 

那在IPFS网络中丢失冷门数据的可能性大么?

数据资源丢失的问题是所有的存储方式最为在意的一个痛点,在传统的数据中心一般是通过两个方式来保证数据不会出现丢失。

 

一、提升数据存储的安全性

更稳定的服务器(如Dell的730xd,740xd),一台的成本超过五万(不算硬盘),双电源,双路CPU。

更好的硬盘,如企业级的氦气盘,成本在单T上是普通家用级硬盘的2-3倍。Raid5/Raid50 ,可以通过奇偶校验恢复出已经损坏的硬盘的数据。

双电厂的独立电源,防止一个电厂故障,有足够的冗余。

UPS电源,防止电力故障,甚至级别较高的机房会采用柴油发电机保证电力在12小时之后仍然不中断。

 

二、多存几遍

这个就好理解了,一份真正重要的冷门数据企业不会只存在云端,可能公司电脑里有几份,公司服务器有几份,各大云端上又有几份。如此,它们同时丢失的可能性就很小了。

由此我们可以看出,在传统的存储领域,如果要想一个数据不丢失,代价是非常大的,而这样的代价体现在:如果想要降低数据丢失可能性,可能要花费几十倍甚至上百倍的费用才能保障,同时数据在传统的存储方式上存的越多,安全性也会指数级地降低。这也就是为何IPFS将要革新传统存储的根本。




 

对于冷门数据而言,IPFS在存储上究竟有哪些好处呢?

在IPFS中,采用的是Erasure coding的模式,即M+N的模式,M是原文件的份数,N是备份的份数。IPFS会将文件切割发到不同的矿工手里,防止局部网络的瘫痪,对全局文件安全性的影响。

 

而IPFS存储最大的好处是在于两个:

1、文件备份不会对整体安全性降低

这一点其实非常好理解,在传统的存储上,你的银行卡密码在家存了一份,在公司存了一份,即便你忘记,也有找回来的可能性,但同时被坏人看到的可能性也会随之增加。而IPFS不一样,无论你存多少份,你的数据安全性始终是不变的,都经过加密后传输在IPFS节点网络上。

 

2、数据安全性随着N增加,价格却保持稳定

N是备份数,在IPFS这样节点故障事件相互独立的概率模型之中,N的增加会极大地降低出故障的概率。

假如你有一个文件,按照IPFS的分发机制最少会分给7个人,而这个文件不大但却很重要,我们于是将文件存了10遍,于是就有了70个节点来存储。假如每个节点发生永久性损失的概率是1%(这个仅仅是电力非永久损失的大致概率,实际永久损失的概率比这个低得多),那么文件丢失的概率是多少呢?

P=1-(1-0.01^10)^7=-7*10^(-20)

这个概率有多小呢?

相当于一个人一次性连续中了两个500万彩票!!

 

如果你认为数据不是很重要,只存了3-5份,丢失的概率也要远远低于把它存在中心化服务器上的。

刚才只是一个小小的数学模型。现实中,分布式存储会再进一步降低数据丢失的概率,例如更加合理的数据切割;通过识别找到更低丢失概率的节点组合;更加偏好长寿节点,通过激励与惩罚降低恶性节点的比例;通过建设更多的节点降低单位存储的成本。总之有两个原则是永远不变的,N数越大越难丢失,随着N的增加,安全性并没有任何损失。

由此,我们IPFS实现了数据更廉价的存储,更强的安全性与更稳的抗丢失能力。


本文暂时没有评论,来添加一个吧(●'◡'●)

发表评论:

  • 评分:
  • 回到顶部