Vamos falar sobre outro projeto de armazenamento desenvolvido pela equipe @SuiNetwork, @WalrusProtocol 🧐🧐 A Mysten Labs, uma empresa de desenvolvimento Sui, também desenvolveu um projeto de camada de dados @WalrusProtocol. Walrus é um projeto que faz armazenamento e disponibilização de dados. Depois que terminei de pesquisar, tive a sensação - "incrível". Este é o melhor projeto de armazenamento que já vi. O seguinte é o texto, Existem duas categorias principais de projetos de armazenamento descentralizados. O primeiro tipo usa replicação completa, em que a redundância ineficiente é trocada por segurança, em que cada nó armazena uma cópia completa dos dados, representando o projeto @Filecoin Arweave. O segundo tipo usa o método de código de eliminação Reed-Solomon para dividir e salvar os dados originais, representando projetos @Storj, Sia, etc. ———————————————————————————————— Explique os códigos de eliminação de uma maneira humana O método de armazenamento dos códigos de apagamento precisa ser explicado, estritamente falando, é dividir o arquivo original em fatias originais f + 1, gerar 2f lascas de reparo adicionais, salvar uma fatia diferente para cada nó de armazenamento e qualquer fatia f + 1 pode reconstruir o arquivo original. Bem, você pode pular essa expressão não humana e olhar para o parágrafo a seguir. Digamos que queremos salvar 4 números importantes: [3, 7, 2, 5], e esses 4 números são nossas "fatias originais". Em seguida, precisamos gerar fatias adicionais, Corrija as fatias 1 = 3 + 7 + 2 + 5 = 17 Reparar fatia 2 = 3×1 + 7×2 + 2×3 + 5×4 = 47 Fatia de reparo 3 = 3×1² + 7×2² + 2×3² + 5×4² = 131 Agora temos 7 fatias: [3, 7, 2, 5, 17, 47, 131], certo. Digamos que o sistema tenha 7 nós e os distribuímos, Zhang San: 3 Li Si: 7 Reis 5:2 Zhao Liu: 5 Dinheiro 7:17 Filho 8:47 João 9:131 Supondo que Li Si, Zhao Liu e Zhou Jiu percam dados, temos apenas: [3, _, 2, _, 17, 47, _]. Então, como recuperar os dados originais? Lembra da fórmula para fatias extras? Isso mesmo, resolva uma equação linear binária. 3 + X + 2 + Y = 17 3×1 + X×2 + 2×3 + Y×4 = 47 O resultado é X = 7, Y = 5. Claro, este é apenas um exemplo simples. Você só precisa se lembrar do efeito alcançado pelo código de eliminação. O efeito é que, desde que mais de 1/3 dos nós estejam íntegros. Em outras palavras, no sistema de codificação de eliminação, os nós armazenam apenas fatias de dados, desde que mais de 1/3 dos nós possam operar, os dados podem ser recuperados, mas a estabilidade do nó é necessária devido ao alto custo de substituição. No entanto, em um sistema totalmente replicado, deve haver um nó completo para baixar todas as cópias dos dados. O primeiro sacrifica parte da segurança em troca de baixo custo, enquanto o segundo troca redundância por segurança e estabilidade do sistema. ———————————————————————————————— A inovação do código de apagamento bidimensional (2D) da Walrus A abordagem de Walrus é, na verdade, ir para o meio-termo e alcançar um certo equilíbrio entre os dois. O núcleo também usa codificação de eliminação, mas cria uma tecnologia aprimorada Red Stuff nesta tecnologia. O Red Stuff usa um método de codificação mais inteligente para proteger os dados. Lembra do exemplo anterior de apagar códigos? Para salvar 4 números importantes: [3, 7, 2, 5], gere fatias adicionais e, finalmente, resolva a equação linear binária. Novamente, este é um exemplo para explicar Red Stuff. A codificação Red Stuff é um algoritmo de codificação bidimensional (2D) que você pode considerar como "Sudoku". 3 7 25 no código Red Stuf torna-se, [3 7] [2 5] Suponha que a regra de codificação seja, Coluna 3 = Coluna 1 + Coluna 2 Coluna 4 = Coluna 1×2 + Coluna 2×2 Linha 3 = Linha 1 + Linha 2 Linha 4 = Linha 1×2 + Linha 2×2 Esta é a fatia extra que se torna [3 7 10 20] [2 5 7 14] [5 12 18 34] [10 24 34 68] Em seguida, nós os distribuímos para nós em linhas e colunas, Zhang 3: 3 7 10 20, ou seja, a primeira linha Lee IV: 2 5 7 14, linha 2 Reis 5:5, 12, 18, 34,... Zhao Liu: 10 24 35 68,... Dinheiro 7:3 2 5 10, coluna 1 8 Dom: 7 5 12 24,... JN 9:10, 7, 18, 34,... Zheng Shi: 20 14 34 68,... Suponha que Wang Wu perca dados, ou seja, os dados na linha 3 sejam perdidos. Na verdade, ele só precisa perguntar a Zhang San na primeira fila e Li Si na segunda fila, e pedir os números 10 e 7, respectivamente. A mesma equação linear binária é resolvida para obter o resultado. A partir dos exemplos populares, mas não tão rigorosos, podemos resumir as características do Red Stuff, Ao recuperar dados, você não precisa de linhas ou colunas completas, apenas dados específicos do local. Essa característica pode ser chamada de "localidade". Além disso, um número pode ser recuperado de duas dimensões: linhas e colunas, ou seja, "reutilização de informações". Em segundo lugar, para dados complexos, você pode primeiro restaurar a dimensão que é mais "fácil" e conveniente de calcular e, em seguida, usar a dimensão de dificuldade no cálculo dos dados recuperados, ou seja, "progressividade". Na prática, suponha que um arquivo seja codificado como 301 fatias na arquitetura de código de eliminação. Em um sistema típico de codificação de apagamento, são necessárias 101 fatias para recuperar 1 fatia, mas em Red Stuff, são necessários apenas cerca de 200 símbolos individuais para recuperar 1 par de fatias. Supondo que um arquivo de 1 GB seja armazenado, o sistema tem 301 nós, o sistema de código de apagamento usual, após uma falha de nó, precisa baixar 1 GB para restaurar fatias e Red Stuff, cada nó armazena: fatia primária (3,3 MB) + fatia secundária (3,3 MB) = 6,6 MB. Apenas cerca de 10 MB de dados simbólicos são baixados durante a recuperação, economizando 99% da largura de banda. Esse design permite que o Walrus mantenha uma rede de armazenamento descentralizada em larga escala com custos de largura de banda muito baixos, reduzindo os custos de recuperação de O(|blob|) para O(|blob|/n). É por isso que Red Stuff é chamado de "autocura". Além disso, o Walrus adiciona vários recursos de segurança, como ser o primeiro protocolo a suportar desafios de armazenamento em redes assíncronas. O chamado "desafio" aqui é semelhante à verificação pontual do mecanismo Optimistic no armazenamento de dados do nó. Red Stuff adiciona compromissos criptográficos verificáveis a cada fatia, cada símbolo pode ser verificado de forma independente e assim por diante. Para resumir as características, 1) A primeira segurança assíncrona: resolve o problema de confiança do armazenamento distribuído para nós; 2) Auto-verificação: mecanismo anti-falsificação incorporado; 3) Progressivo: Lidar com mudanças dinâmicas nos nós; 4) Escalável: suporta centenas a milhares de nós; para encontrar o melhor equilíbrio entre segurança e eficiência. (A parte acima é a primeira parte deste artigo)