論文の概要: MetaHive: A Cache-Optimized Metadata Management for Heterogeneous Key-Value Stores

• arxiv url: http://arxiv.org/abs/2407.19090v1
• Date: Fri, 26 Jul 2024 21:11:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-10 18:49:53.547144
• Title: MetaHive: A Cache-Optimized Metadata Management for Heterogeneous Key-Value Stores
• Title（参考訳）: MetaHive: 異種キーバリューストアのためのキャッシュ最適化メタデータ管理
• Authors: Alireza Heidari, Amirhossein Ahmadi, Zefeng Zhi, Wei Zhang,
• Abstract要約: クラウドキーバリュー(KV)ストアは、従来のオンプレミスデータ管理ソリューションに代えて、コスト効率が高く適応的な選択肢を提供する。 本研究では,異種KVストアクラスタにおけるメタデータ管理のためのキャッシュ最適化手法であるMetaHiveを紹介する。 私たちは、RocksDBでデータの整合性を確保するためにMetaHiveをデプロイし、パフォーマンスに最小限の影響を伴って、その迅速なデータ検証を実証します。
• 参考スコア（独自算出の注目度）: 3.732804424387795
• License:
• Abstract: Cloud key-value (KV) stores provide businesses with a cost-effective and adaptive alternative to traditional on-premise data management solutions. KV stores frequently consist of heterogeneous clusters, characterized by varying hardware specifications of the deployment nodes, with each node potentially running a distinct version of the KV store software. This heterogeneity is accompanied by the diverse metadata that they need to manage. In this study, we introduce MetaHive, a cache-optimized approach to managing metadata in heterogeneous KV store clusters. MetaHive disaggregates the original data from its associated metadata to promote independence between them, while maintaining their interconnection during usage. This makes the metadata opaque from the downstream processes and the other KV stores in the cluster. MetaHive also ensures that the KV and metadata entries are stored in the vicinity of each other in memory and storage. This allows MetaHive to optimally utilize the caching mechanism without extra storage read overhead for metadata retrieval. We deploy MetaHive to ensure data integrity in RocksDB and demonstrate its rapid data validation with minimal effect on performance.
• Abstract（参考訳）: クラウドキーバリュー(KV)ストアは、従来のオンプレミスデータ管理ソリューションに代えて、コスト効率が高く適応的な選択肢を提供する。 KVストアはしばしば異種クラスタで構成され、デプロイメントノードのハードウェア仕様が異なっており、各ノードはKVストアソフトウェアの異なるバージョンを実行する可能性がある。 この異質性には、管理する必要がある多様なメタデータが伴います。 本研究では,異種KVストアクラスタにおけるメタデータ管理のためのキャッシュ最適化手法であるMetaHiveを紹介する。 MetaHiveは、関連するメタデータから元のデータを分離して、使用中の相互接続を維持しながら、それらの独立性を促進する。 これにより、メタデータは下流プロセスから不透明になり、他のKVはクラスタに格納される。 またMetaHiveは、KVとメタデータのエントリが互いに周辺にメモリとストレージに格納されることを保証する。 これによりMetaHiveは、メタデータの検索に余分なストレージ読み込みオーバーヘッドを伴わずに、キャッシングメカニズムを最適に利用できる。 私たちは、RocksDBでデータの整合性を確保するためにMetaHiveをデプロイし、パフォーマンスに最小限の影響を伴って、その迅速なデータ検証を実証します。

関連論文リスト

• KVSharer: Efficient Inference via Layer-Wise Dissimilar KV Cache Sharing [58.29726147780976]
  我々は,層間をKVキャッシュで共有し,層間圧縮を実現する,textit KVSharerと呼ばれるプラグアンドプレイ方式を提案する。 実験の結果、textit KVSharerはKVキャッシュの計算を30%削減し、メモリ消費を削減できることがわかった。 我々は,textit KVSharerが既存の層内KVキャッシュ圧縮手法と互換性があることを検証する。
  論文  参考訳（メタデータ） (2024-10-24T08:06:41Z)
• LoRC: Low-Rank Compression for LLMs KV Cache with a Progressive Compression Strategy [59.1298692559785]
  キーバリュー(KV)キャッシュは、トランスフォーマーベースの自己回帰型大言語モデル(LLM)を提供する上で重要なコンポーネントである。 この問題を緩和するためのアプローチとしては、(1) アップサイクルステージに統合された効率的な注意変動、(2) テスト時のKVキャッシュ圧縮、(3) テスト時のKVキャッシュ圧縮がある。 そこで我々は,KV重み行列の低ランク近似を提案し,モデル再学習なしに既存のトランスフォーマーベースLCMとのプラグイン統合を実現する。 本手法は,テスト段階におけるアップサイクリング段階のモデルチューニングやタスク固有のプロファイリングを伴わずに機能するように設計されている。
  論文  参考訳（メタデータ） (2024-10-04T03:10:53Z)
• Model Tells You Where to Merge: Adaptive KV Cache Merging for LLMs on Long-Context Tasks [21.815661269986425]
  KVMergerと呼ばれる新しいKVキャッシュマージ手法を提案し、長文タスクに対して適応的なKVキャッシュ圧縮を実現する。 我々のアプローチは、キー状態が1つのシーケンス内のトークンレベルで高い類似性を示すという興味深い観察にインスパイアされている。 我々は,制約メモリ予算下での長時間コンテキストタスクに対するKVMergerの有効性を示すため,広範囲な実験を行った。
  論文  参考訳（メタデータ） (2024-07-11T12:50:42Z)
• LoCoCo: Dropping In Convolutions for Long Context Compression [77.26610232994508]
  本稿では,Long Context Compression(LoCoCo)のための新しいアプローチであるDropping In Convolutionsを提案する。 LoCoCoは、固定サイズキーバリュー(KV)キャッシュのみを使用し、推論と微調整の両方のステージで効率を向上させることができる。
  論文  参考訳（メタデータ） (2024-06-08T01:35:11Z)
• PyramidKV: Dynamic KV Cache Compression based on Pyramidal Information Funneling [53.08975547824068]
  本研究では,大規模言語モデル(LLM)内の注意に基づく情報フローが,長期的文脈処理のための顕著なパターンによって集約されるかどうかを検討する。 観測の結果,LLMは下層に広く注意が散らばっているピラミッド情報ファンリングを通じて情報を集約することがわかった。 これらの知見に触発され、我々は新しい効率的なKVキャッシュ圧縮法であるPraamid KVを開発した。
  論文  参考訳（メタデータ） (2024-06-04T07:51:30Z)
• Leveraging Hierarchical Feature Sharing for Efficient Dataset Condensation [38.59750970617013]
  階層型メモリネットワーク(HMN)という新しいデータパラメータ化アーキテクチャを提案する。 HMNは、凝縮したデータを3層構造に格納し、データセットレベル、クラスレベル、インスタンスレベルの特徴を表現する。 5つの公開データセット上でHMNを評価し,提案手法がすべてのベースラインより優れていることを示す。
  論文  参考訳（メタデータ） (2023-10-11T14:02:11Z)
• Model Tells You What to Discard: Adaptive KV Cache Compression for LLMs [82.08922896531618]
  大規模言語モデル(LLM)における生成推論のメモリフットプリントを削減するプラグイン・アンド・プレイ方式である適応KVキャッシュ圧縮を導入する。 我々は,アテンションモジュールの本質的な構造を明らかにするために,ターゲットプロファイリングを行う。 認識された構造に基づいて、我々はKVキャッシュを適応的に構築する: 注意頭上の長距離コンテキストを排除し、局所的なコンテキストを強調し、特別なトークンを中心とした注意頭上の特別なトークンを排除し、すべてのトークンに広く参加する注目頭に対して標準のKVキャッシュのみを使用する。
  論文  参考訳（メタデータ） (2023-10-03T05:17:08Z)
• Dual Cluster Contrastive learning for Person Re-Identification [78.42770787790532]
  私たちはDual Cluster Contrastive Learning(DCC)という統合クラスタコントラストフレームワークを定式化します。 DCCは、個々のメモリバンクとセントロイドクラスタメモリバンクの2種類のメモリバンクを維持している。 教師なしまたは監督されていない人物のReIDに容易に適用できる。
  論文  参考訳（メタデータ） (2021-12-09T02:43:25Z)
• Automated Metadata Harmonization Using Entity Resolution & Contextual Embedding [0.0]
  我々は、Cogntive DatabaseのDb2Vec埋め込みアプローチの助けを借りて、このステップの自動化を実演する。 一致したスキーマとは別に、ターゲットデータモデルの正しい存在論的構造も推測できることを実証する。
  論文  参考訳（メタデータ） (2020-10-17T02:14:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。