論文の概要: MetaHive: A Cache-Optimized Metadata Management for Heterogeneous Key-Value Stores

• arxiv url: http://arxiv.org/abs/2407.19090v1
• Date: Fri, 26 Jul 2024 21:11:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-10 18:49:53.547144
• Title: MetaHive: A Cache-Optimized Metadata Management for Heterogeneous Key-Value Stores
• Title（参考訳）: MetaHive: 異種キーバリューストアのためのキャッシュ最適化メタデータ管理
• Authors: Alireza Heidari, Amirhossein Ahmadi, Zefeng Zhi, Wei Zhang,
• Abstract要約: クラウドキーバリュー(KV)ストアは、従来のオンプレミスデータ管理ソリューションに代えて、コスト効率が高く適応的な選択肢を提供する。 本研究では,異種KVストアクラスタにおけるメタデータ管理のためのキャッシュ最適化手法であるMetaHiveを紹介する。 私たちは、RocksDBでデータの整合性を確保するためにMetaHiveをデプロイし、パフォーマンスに最小限の影響を伴って、その迅速なデータ検証を実証します。
• 参考スコア（独自算出の注目度）: 3.732804424387795
• License:
• Abstract: Cloud key-value (KV) stores provide businesses with a cost-effective and adaptive alternative to traditional on-premise data management solutions. KV stores frequently consist of heterogeneous clusters, characterized by varying hardware specifications of the deployment nodes, with each node potentially running a distinct version of the KV store software. This heterogeneity is accompanied by the diverse metadata that they need to manage. In this study, we introduce MetaHive, a cache-optimized approach to managing metadata in heterogeneous KV store clusters. MetaHive disaggregates the original data from its associated metadata to promote independence between them, while maintaining their interconnection during usage. This makes the metadata opaque from the downstream processes and the other KV stores in the cluster. MetaHive also ensures that the KV and metadata entries are stored in the vicinity of each other in memory and storage. This allows MetaHive to optimally utilize the caching mechanism without extra storage read overhead for metadata retrieval. We deploy MetaHive to ensure data integrity in RocksDB and demonstrate its rapid data validation with minimal effect on performance.
• Abstract（参考訳）: クラウドキーバリュー(KV)ストアは、従来のオンプレミスデータ管理ソリューションに代えて、コスト効率が高く適応的な選択肢を提供する。 KVストアはしばしば異種クラスタで構成され、デプロイメントノードのハードウェア仕様が異なっており、各ノードはKVストアソフトウェアの異なるバージョンを実行する可能性がある。 この異質性には、管理する必要がある多様なメタデータが伴います。 本研究では,異種KVストアクラスタにおけるメタデータ管理のためのキャッシュ最適化手法であるMetaHiveを紹介する。 MetaHiveは、関連するメタデータから元のデータを分離して、使用中の相互接続を維持しながら、それらの独立性を促進する。 これにより、メタデータは下流プロセスから不透明になり、他のKVはクラスタに格納される。 またMetaHiveは、KVとメタデータのエントリが互いに周辺にメモリとストレージに格納されることを保証する。 これによりMetaHiveは、メタデータの検索に余分なストレージ読み込みオーバーヘッドを伴わずに、キャッシングメカニズムを最適に利用できる。 私たちは、RocksDBでデータの整合性を確保するためにMetaHiveをデプロイし、パフォーマンスに最小限の影響を伴って、その迅速なデータ検証を実証します。

関連論文リスト

• DynamicKV: Task-Aware Adaptive KV Cache Compression for Long Context LLMs [31.62076958302603]
  既存のKVキャッシュ圧縮手法は、タスク固有の特性を無視し、必須情報の保持を減らす固定パターンを強制する。 本研究では,各層に保持されるトークンの数を調整することで,トークン保持を動的に最適化するDynamicKVを提案する。 本手法は,LongBench上でのフルKVキャッシュ性能の85%を達成しながら,KVキャッシュサイズの1.7%しか保持しない。
  論文  参考訳（メタデータ） (2024-12-19T13:28:42Z)
• More Tokens, Lower Precision: Towards the Optimal Token-Precision Trade-off in KV Cache Compression [71.42818367729573]
  大規模言語モデル(LLM)では、KVキャッシュのメモリ使用量は推論において重大なボトルネックとなっている。 KVプルーニングやKV量子化を含む主流のKV圧縮法は、主にトークンまたは精度寸法を別々に扱う。 本稿では,KVキャッシュ圧縮におけるトークン精度トレードオフを包括的に検討する。
  論文  参考訳（メタデータ） (2024-12-17T09:20:31Z)
• SCBench: A KV Cache-Centric Analysis of Long-Context Methods [61.025422435235456]
  KVキャッシュ中心の視点から長文の手法を評価するベンチマークであるSCBenchを紹介する。 我々は、Gated Linear RNNsやMamba-Attention Hybridsを含む8つのカテゴリの長期コンテキストソリューションについて、広範なKVキャッシュ中心の分析を行う。 本研究は,O(n)メモリとサブO(n2)プリフィルによるスパース符号化が堅牢に動作する一方で,サブO(n)メモリ手法がマルチターンシナリオに悩まされていることを示す。
  論文  参考訳（メタデータ） (2024-12-13T17:59:52Z)
• LoRC: Low-Rank Compression for LLMs KV Cache with a Progressive Compression Strategy [59.1298692559785]
  キーバリュー(KV)キャッシュは、トランスフォーマーベースの自己回帰型大言語モデル(LLM)を提供する上で重要なコンポーネントである。 この問題を緩和するためのアプローチとしては、(1) アップサイクルステージに統合された効率的な注意変動、(2) テスト時のKVキャッシュ圧縮、(3) テスト時のKVキャッシュ圧縮がある。 そこで我々は,KV重み行列の低ランク近似を提案し,モデル再学習なしに既存のトランスフォーマーベースLCMとのプラグイン統合を実現する。 本手法は,テスト段階におけるアップサイクリング段階のモデルチューニングやタスク固有のプロファイリングを伴わずに機能するように設計されている。
  論文  参考訳（メタデータ） (2024-10-04T03:10:53Z)
• Model Tells You Where to Merge: Adaptive KV Cache Merging for LLMs on Long-Context Tasks [21.815661269986425]
  KVMergerと呼ばれる新しいKVキャッシュマージ手法を提案し、長文タスクに対して適応的なKVキャッシュ圧縮を実現する。 我々のアプローチは、キー状態が1つのシーケンス内のトークンレベルで高い類似性を示すという興味深い観察にインスパイアされている。 我々は,制約メモリ予算下での長時間コンテキストタスクに対するKVMergerの有効性を示すため,広範囲な実験を行った。
  論文  参考訳（メタデータ） (2024-07-11T12:50:42Z)
• LoCoCo: Dropping In Convolutions for Long Context Compression [77.26610232994508]
  本稿では,Long Context Compression(LoCoCo)のための新しいアプローチであるDropping In Convolutionsを提案する。 LoCoCoは、固定サイズキーバリュー(KV)キャッシュのみを使用し、推論と微調整の両方のステージで効率を向上させることができる。
  論文  参考訳（メタデータ） (2024-06-08T01:35:11Z)
• PyramidKV: Dynamic KV Cache Compression based on Pyramidal Information Funneling [53.08975547824068]
  本研究では,大規模言語モデル(LLM)内の注意に基づく情報フローが,長期的文脈処理のための顕著なパターンによって集約されるかどうかを検討する。 観測の結果,LLMは下層に広く注意が散らばっているピラミッド情報ファンリングを通じて情報を集約することがわかった。 これらの知見に触発され、我々は新しい効率的なKVキャッシュ圧縮法であるPraamid KVを開発した。
  論文  参考訳（メタデータ） (2024-06-04T07:51:30Z)
• Model Tells You What to Discard: Adaptive KV Cache Compression for LLMs [82.08922896531618]
  大規模言語モデル(LLM)における生成推論のメモリフットプリントを削減するプラグイン・アンド・プレイ方式である適応KVキャッシュ圧縮を導入する。 我々は,アテンションモジュールの本質的な構造を明らかにするために,ターゲットプロファイリングを行う。 認識された構造に基づいて、我々はKVキャッシュを適応的に構築する: 注意頭上の長距離コンテキストを排除し、局所的なコンテキストを強調し、特別なトークンを中心とした注意頭上の特別なトークンを排除し、すべてのトークンに広く参加する注目頭に対して標準のKVキャッシュのみを使用する。
  論文  参考訳（メタデータ） (2023-10-03T05:17:08Z)
• Automated Metadata Harmonization Using Entity Resolution & Contextual Embedding [0.0]
  我々は、Cogntive DatabaseのDb2Vec埋め込みアプローチの助けを借りて、このステップの自動化を実演する。 一致したスキーマとは別に、ターゲットデータモデルの正しい存在論的構造も推測できることを実証する。
  論文  参考訳（メタデータ） (2020-10-17T02:14:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。