論文の概要: Cloud Storage Integrity at Scale: A Case for Dynamic Hash Trees

• arxiv url: http://arxiv.org/abs/2405.03830v1
• Date: Mon, 6 May 2024 20:22:56 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-08 18:04:44.944064
• Title: Cloud Storage Integrity at Scale: A Case for Dynamic Hash Trees
• Title（参考訳）: 大規模クラウドストレージの統合性 - 動的ハッシュツリーの例
• Authors: Quinn Burke, Ryan Sheatsley, Rachel King, Michael Swift, Patrick McDaniel,
• Abstract要約: Merkle hash treeは、ストレージシステムの完全性を保護する最先端の方法である。 本稿では,最適なハッシュツリーの定義と,ハッシュツリー設計を評価するための原則的方法論を提案する。 最先端の設計はスケーラビリティに欠けており、安全でないベースライン上で最大40.1倍のスローダウンが発生する。 次に、最適なハッシュツリーの特性を利用して、動的ハッシュツリー(DHT)を設計する。
• 参考スコア（独自算出の注目度）: 2.412552331376206
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Merkle hash trees are the state-of-the-art method to protect the integrity of storage systems. However, using a hash tree can severely degrade performance, and prior works optimizing them have yet to yield a concrete understanding of the scalability of certain designs in the context of large-scale cloud storage systems. In this paper, we take a first-principles approach to analyzing hash tree performance for storage by introducing a definition of an optimal hash tree and a principled methodology for evaluating hash tree designs. We show that state-of-the-art designs are not scalable; they incur up to 40.1X slowdowns over an insecure baseline and deliver <50% of optimal performance across various experiments. We then exploit the characteristics of optimal hash trees to design Dynamic Hash Trees (DHTs), hash trees that can adapt to workload patterns on-the-fly, delivering >95% of optimal read and write performance and up to 4.2X speedups over the state-of-the art. Our novel methodology and DHT design provides a new foundation in the search for integrity mechanisms that can operate efficiently at scale.
• Abstract（参考訳）: Merkle hash treeは、ストレージシステムの完全性を保護する最先端の方法である。 しかし、ハッシュツリーの使用はパフォーマンスを著しく低下させる可能性があるため、事前の最適化作業では、大規模なクラウドストレージシステムのコンテキストにおいて、特定の設計のスケーラビリティに関する具体的な理解が得られていない。 本稿では,最適なハッシュツリーの定義を導入し,ハッシュツリーの保存性能を第一原理として解析する手法と,ハッシュツリー設計の原理的手法を提案する。 安全でないベースライン上で最大40.1倍のスローダウンを発生し、様々な実験で最適性能の50%を達成している。 次に、動的ハッシュツリー(DHT)の設計に最適なハッシュツリーの特性を活用し、作業負荷パターンに対応可能なハッシュツリーをオンザフライで設計し、95%以上の読み書き性能と4.2倍のスピードアップを実現する。 我々の新しい方法論とDHT設計は、大規模に効率的に動作可能な整合性メカニズムの探索に新たな基盤を提供する。

関連論文リスト

• DobLIX: A Dual-Objective Learned Index for Log-Structured Merge Trees [4.077820670802213]
  DobLIXは、Log-Structured Merge(LSM)ツリーベースのキーバリューストア用に特別に設計された、二重目的学習インデックスである。 DobLIXは,RocksDBの最先端手法と比較して,インデックスのオーバーヘッドを低減し,スループットを1.19倍から2.21倍に向上することを示す。
  論文  参考訳（メタデータ） (2025-02-07T22:48:14Z)
• TreeKV: Smooth Key-Value Cache Compression with Tree Structures [19.06842704338332]
  TreeKVは、スムーズなキャッシュ圧縮のためにツリー構造を利用するトレーニング不要の手法である。 PG19とOpenWebText2の言語モデリングタスクのベースラインモデルを一貫して上回っている。
  論文  参考訳（メタデータ） (2025-01-09T06:00:27Z)
• FRUGAL: Memory-Efficient Optimization by Reducing State Overhead for Scalable Training [51.39495282347475]
  我々は、新しいメモリ効率最適化フレームワークであるtextbfF$ull-$textbfR$ank $textbfU$pdates with $textbfG$r$textbfA$dient sp$textbfL$ittingを紹介します。 当社のフレームワークは,GaLoreやBAdamなど,さまざまな低ランク更新選択技術と統合することが可能です。
  論文  参考訳（メタデータ） (2024-11-12T14:41:07Z)
• CFSP: An Efficient Structured Pruning Framework for LLMs with Coarse-to-Fine Activation Information [33.01180010689081]
  CFSPと呼ばれる効率的な構造化プルーニングフレームワークを提案する。 まず、その重要度に基づいて各ブロックに分散予算を割り当て、その後、各ブロックに重要な重みを保持する。 その結果,CFSP は様々な予算にまたがる様々なモデルにおいて,既存の手法よりも優れていることがわかった。
  論文  参考訳（メタデータ） (2024-09-20T04:03:27Z)
• Bypass Back-propagation: Optimization-based Structural Pruning for Large Language Models via Policy Gradient [57.9629676017527]
  大規模言語モデルを用いた最適化に基づく構造解析手法を提案する。 我々は,プルーニングモデルの損失を最適化することにより,確率空間におけるプルーニングマスクを直接学習する。 A100 GPUで13Bモデルに対して約35GBのメモリで2.7時間動作させる。
  論文  参考訳（メタデータ） (2024-06-15T09:31:03Z)
• FOBNN: Fast Oblivious Binarized Neural Network Inference [12.587981899648419]
  高速な双対型ニューラルネットワーク推論フレームワークであるFOBNNを開発した。 具体的には、二項化畳み込みニューラルネットワークをカスタマイズして、難解な推論を強化し、二項化畳み込みのための2つの高速アルゴリズムを設計し、制約されたコストで実験的にネットワーク構造を最適化する。
  論文  参考訳（メタデータ） (2024-05-06T03:12:36Z)
• An Efficient and Scalable Auditing Scheme for Cloud Data Storage using an Enhanced B-tree [0.6773121102591492]
  本稿では,Bツリーの強化版を活用した,集中型クラウド環境のための新しい動的監査手法を提案する。 他の静的監査スキームとは異なり、我々のスキームは動的挿入、更新、削除操作をサポートしている。 また,拡張されたBツリーを利用することで,特定のファイルへの変更後のバランスのとれたツリーを維持でき,性能が大幅に向上する。
  論文  参考訳（メタデータ） (2024-01-17T04:01:18Z)
• Improving Dual-Encoder Training through Dynamic Indexes for Negative Mining [61.09807522366773]
  本稿では,ソフトマックスを証明可能な境界で近似し,木を動的に維持するアルゴリズムを提案する。 我々は,2000万以上のターゲットを持つデータセットについて検討し,オラクル・ブルート力負の鉱業に関して,誤差を半分に削減した。
  論文  参考訳（メタデータ） (2023-03-27T15:18:32Z)
• Learning to Hash Robustly, with Guarantees [79.68057056103014]
  本稿では,理論的アルゴリズムと本質的に一致する最悪ケース保証を持つハミング空間のためのNSアルゴリズムを設計する。 理論的にも実用的にも、与えられたデータセットに対してアルゴリズムが最適化できる能力を評価する。 我々のアルゴリズムは、MNISTおよびImageNetデータセットに対する最悪のパフォーマンスのクエリを、1.8倍と2.1倍の精度でリコールする。
  論文  参考訳（メタデータ） (2021-08-11T20:21:30Z)
• Improved Branch and Bound for Neural Network Verification via Lagrangian Decomposition [161.09660864941603]
  ニューラルネットワークの入出力特性を公式に証明するためのブランチとバウンド(BaB)アルゴリズムのスケーラビリティを改善します。 活性化に基づく新しい分岐戦略とBaBフレームワークであるブランチとデュアルネットワーク境界(BaDNB)を提案する。 BaDNBは、従来の完全検証システムを大きなマージンで上回り、対数特性で平均検証時間を最大50倍に削減した。
  論文  参考訳（メタデータ） (2021-04-14T09:22:42Z)
• Reinforcing Short-Length Hashing [61.75883795807109]
  既存の手法は、非常に短いハッシュコードを用いた検索性能が劣っている。 本研究では, 短寿命ハッシュ(RSLH)を改良する新しい手法を提案する。 本稿では,ハッシュ表現とセマンティックラベルの相互再構成を行い,セマンティック情報を保存する。 3つの大規模画像ベンチマークの実験は、様々な短いハッシュシナリオ下でのRSLHの優れた性能を示す。
  論文  参考訳（メタデータ） (2020-04-24T02:23:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。