轩辕剑外传云之遥破解这个事件网友怎么看?

　　正在快消范畴，Daltix 是供给完整、通明、高质量零售数据的先行者。GFK 和结合利华等全球行业带领者依托他们的订价、产物、促销和位置数据来制定入市策略并做出环节决策，对 Daltix 来说，维护一个靠得住的数据生态系统势正在必行。

　　自 2016 年成立以来，跟着公司的成长，Daltix 处置的数据量呈指数级增加。他们目前办理着大约 250TB 的数据，分离正在数十亿个文件中，很快就形成了庞大的时间和资本耗损。Daltix 的根本设备几乎完满是环绕 AWS 建立，由于需要办理数十亿个极小的文件，所以正在可扩展性和成本效益方面，AWS 的存储选项曾经起头无法满脚他们的需求。

　　我们取 Daltix 首席软件工程师 Charlie Orford 进行了交换，领会他们若何迁徙到 Backblaze B2 云存储以及他们从阿谁过程中得出了什么结论。以下是此中的一些要点：

　　Daltix 正在公司创立初期建立的基于 S3 的根本设备，大部门还无缺无损。过去，数据管道将从收集上抓取的资本间接写入 Amazon S3，经由基于 Lambda 的提取器进行尺度化后，再发送回 S3。然后，由 AWS Batch 拔取要利用其他数据源进行弥补和丰硕的资本。

　　所有这些步调都是正在 Daltix 的阐发师团队预备好数据之前进行的。为了优化流程并提高效率，Orford 起头将该流程的部门环节纳入到 Kubernetes 中，但数据存储仍然存正在问题；Daltix 每生成成大约 300GB 的压缩数据，并且这个数值还正在敏捷增加。“跟着数据收集规模的扩大，我们必需愈加关心成本节制、数据可移植性和靠得住性，”Orford 说，“这些都是显而易见的，但规模大了，就愈加主要了。”

　　到 2020 年，Daltix 起头认识到，正在 AWS 中建立这么多根本设备存正在局限性。例如，环绕 S3 元数据进行的大量定制使得挪动对象的能力完全受制于方针系统取 S3 的兼容性。Orford 还担忧，正在 S3 中永世存储如斯庞大的数据湖的成本。如他所言，“很较着，没有需要把所有工具都永久存正在 S3 中。若是不采纳任何办法，那么我们的 S3 成本将继续上升，并最终远远超出我们利用其他 AWS 办事的成本。”

　　由于 Daltix 要处置数十亿个小文件，所以不成能利用 Glacier，由于它的订价模式是基于检索费用的。即便是利用 Glacier 立即检索，Daltix 所处置的文件数量也会使他们每年额外领取 20 万美元的费用。因而，Daltix 的数据收集团队（公司 85% 以上的数据都来自这个团队）鞭策实施了一种可替代的处理方案，处理了一些彼此矛盾的问题：

　　Daltix 决定利用 Amazon S3 进行热存储，并将暖存储转移到新的归档处理方案中，这能够降低成本，同时连结主要数据可拜候——即便目标是将文件存储正在别处。Orford 说：“主要的是要找到某个很是容易集成并且开辟风险低的工具，而且有帮于降低我们的成本。对我们来说，Backblaze 确实能够满脚所有要求。”

　　正在起头全面迁徙之前，Orford 和他的团队做了概念验证（POC），以确保处理方案处理了他们沉点关心的问题：

　　“晚期，我们取 Backblaze 合做，定制了一个能够满脚我们所有需求的迁徙东西，”Orford 说，“这给了我们继续前进的决心。”Backblaze 为我们定制了一个迁徙引擎，能够包管迁徙过程可以或许靠得住地传输整个数据湖，而且包管对象级元数据无缺无损。正在成功迁徙了一起头的 POC 存储桶之后，Daltix 就具有了起头建模和预测将来成本所需的一切。Orford 说道：“正在起头接触 Backblaze 之后，我们便不再寻找其他选项“。

　　现正在，Daltix 每天从 Amazon S3 向 Backblaze B2 迁徙 320 万个数据对象（大约 160GB 的数据）。他们正在 S3 中保留了 18 个月的热数据，一旦一个对象存正在达 18 个月零一天，就会被归档到 B2 中。正在少数环境下，Daltix 也会领受到请求 18 个月窗口期之外的数据的请求，因为 Backblaze 的 API 兼容 S3 且数据永久可用，所以他们能够间接将数据从 Backblaze B2 拉到 Amazon S3。

　　每日审计日记会汇总已传输的数据量，整个迁徙过程每天从动施行。Orford 说：“它正在后台运转，我们不需要办理任何工具，什么都能够看到，并且很划算。对我们来说，Backblaze B2 是一个抱负的处理方案。”

　　跟着每日数据收集量的添加，会有越来越多的数据从热存储窗口中迁出，Orford 估计成本会进一步降低。据 Orford 估量，日迁徙量将正在大约一年半后接近目出息度的三倍：这意味着 Daltix 每天将向 Backblaze B2 备份 900 万个对象（约 450GB 数据）。久远来看，从 Amazon S3 切换到 Backblaze B2 为 Daltix 节流的成本都令人难以相信。Orford 说：“由于利用了 Backblaze B2，估计到 2023 年，我们正在存储收入大将累计节流 7.5 万至 10 万美元，每年至多节流 3 万美元。”

　　想晓得每年多出 3 万美元能做什么吗？能够操纵我们的云存储订价计较器，领会下迁徙到 Backblaze B2 能够节流几多钱。