新闻动态

九游体育app官网镌汰不同行务佃户间的彼此影响-九游体育(Nine Game Sports)官方网站 登录入口

发布日期：2025-04-09 08:24    点击次数：86

经过一年奋战，小红书已把业界体量最大的数据湖0故障迁上阿里云。据统计，该格式共有1500东说念主参与，移动数据500PB。

四肢中国头部互联网公司之一，小红书月活已过3亿，其数据湖存储了曩昔11年的所有这个词原始数据，包括结构化、半结构化和非结构化数据。比年来，跟着业务的高速增长，小红书在线处理数据的需求赓续加多，同期离线处理所蕴蓄的历史问题，也会在畴昔的切换中带来更多本钱与风险。

为此，2023年11月，小红书发起迁云格式——决议一年内，把小红书的数据湖搬上阿里云。

移动至阿里云上后，数据湖可通过多个OSS Bucket援助纳入调解资源池，收场多个Bucket分享资源池内的OSS浑沌及QPS才气。这么的流控才气在面向小红书复杂业务场景，可生动调配资源，高效愚弄浑沌性能，镌汰不同行务佃户间的彼此影响。阿里云原生HDFS+DLA元数据可收场无缝对接Hadoop EMR体系，援助元数据线性膨胀才气，圣洁嘱托小红书数百PB数据下的元数据线性增长。

较于过往业界体量最大的案例，小红书的本次移动的数据体量更大。

*注：任务=数据处理经由

（图片来自小红书官方公众号）

据先容，小红书的迁云格式经验了三个阶段。第一步，格式组领先科罚法式问题，然后左证法式进行料理；第二步，完成料理后，格式在2024年5月细腻参预双跑阶段。把数据拷贝到阿里云上，双方同期跑数，考证正确性与实时性；第三步，2024年8月，格式结果双跑，参预割接阶段。阿里云团队全程在现场保险，顺利完成了割接。

2024年11月，小红书迁云格式细腻宣告结果。在0故障的情况下，移动数据500PB，任务11万，参与东说念主数1500东说念主，波及部门40多个。格式波及产物之多和数据体量之大均创下业界记载。

蕾蕾  小风九游体育app官网