論文の概要: Harmonia: A Multi-Agent Reinforcement Learning Approach to Data Placement and Migration in Hybrid Storage Systems

• arxiv url: http://arxiv.org/abs/2503.20507v1
• Date: Wed, 26 Mar 2025 12:47:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-27 13:19:26.147224
• Title: Harmonia: A Multi-Agent Reinforcement Learning Approach to Data Placement and Migration in Hybrid Storage Systems
• Title（参考訳）: Harmonia: ハイブリッドストレージシステムにおけるデータ配置とマイグレーションのためのマルチエージェント強化学習アプローチ
• Authors: Rakesh Nadig, Vamanan Arulchelvan, Rahul Bera, Taha Shahroodi, Gagandeep Singh, Mohammad Sadrosadati, Jisung Park, Onur Mutlu,
• Abstract要約: ハイブリッドストレージシステム(HSS)は、複数のストレージデバイスを多様な特徴と組み合わせて、高性能で低コストでキャパシティを実現する。 HSSの性能は,(1)入力データに最適な記憶装置を決定するデータ配置ポリシー,(2)デバイス間で格納データを並べ替えて高いHSS性能を維持するデータマイグレーションポリシーの2つの主要なポリシーの有効性に大きく依存する。 我々の目標は、HSSの可能性を完全に活用するために、データ配置とデータ移行ポリシーの両方を最適化する、HSSのための総合的なデータ管理手法を設計することです。
• 参考スコア（独自算出の注目度）: 9.704634483822527
• License:
• Abstract: Hybrid storage systems (HSS) combine multiple storage devices with diverse characteristics to achieve high performance and capacity at low cost. The performance of an HSS highly depends on the effectiveness of two key policies: (1) the data-placement policy, which determines the best-fit storage device for incoming data, and (2) the data-migration policy, which rearranges stored data across the devices to sustain high HSS performance. Prior works focus on improving only data placement or only data migration in HSS, which leads to sub-optimal HSS performance. Unfortunately, no prior work tries to optimize both policies together. Our goal is to design a holistic data-management technique for HSS that optimizes both data-placement and data-migration policies to fully exploit the potential of an HSS. We propose Harmonia, a multi-agent reinforcement learning (RL)-based data-management technique that employs two light-weight autonomous RL agents, a data-placement agent and a data-migration agent, which adapt their policies for the current workload and HSS configuration, and coordinate with each other to improve overall HSS performance. We evaluate Harmonia on a real HSS with up to four heterogeneous storage devices with diverse characteristics. Our evaluation using 17 data-intensive workloads on performance-optimized (cost-optimized) HSS with two storage devices shows that, on average, Harmonia (1) outperforms the best-performing prior approach by 49.5% (31.7%), (2) bridges the performance gap between the best-performing prior work and Oracle by 64.2% (64.3%). On an HSS with three (four) devices, Harmonia outperforms the best-performing prior work by 37.0% (42.0%). Harmonia's performance benefits come with low latency (240ns for inference) and storage overheads (206 KiB for both RL agents together). We plan to open-source Harmonia's implementation to aid future research on HSS.
• Abstract（参考訳）: ハイブリッドストレージシステム(HSS)は、複数のストレージデバイスを多様な特徴と組み合わせて、高性能で低コストでキャパシティを実現する。 HSSの性能は,(1)入力データに最適な記憶装置を決定するデータ配置ポリシー,(2)デバイス間で格納データを並べ替えて高いHSS性能を維持するデータマイグレーションポリシーの2つの主要なポリシーの有効性に大きく依存する。 以前の作業では、HSS内のデータ配置のみを改善するか、あるいはデータマイグレーションのみに重点を置いている。 残念ながら、両方のポリシーを一緒に最適化しようとする事前の作業はありません。 我々の目標は、HSSの可能性を完全に活用するために、データ配置とデータ移行ポリシーの両方を最適化する、HSSのための総合的なデータ管理手法を設計することです。 本稿では,2つの軽量自律RLエージェント,データプレースメントエージェント,データマイグレーションエージェントを活用するマルチエージェント強化学習(RL)に基づくデータ管理手法であるHarmoniaを提案する。 我々は,最大4つの異種記憶装置を備えた実HSS上でのハーモニアの評価を行った。 パフォーマンス最適化(コスト最適化)された2つのストレージデバイスを使用した17のデータ集約的ワークロードを使用した評価では,Harmonia (1) がパフォーマンス向上前のアプローチで 49.5% (31.7%), (2) 最高のパフォーマンス向上前の作業と Oracle のパフォーマンスギャップを 64.2% (64.3%) で埋める,という結果が得られた。 3つの(4つの)デバイスを持つHSSでは、ハーモニアは37.0%(42.0%)の最高のパフォーマンスの先行作業より優れている。 Harmoniaのパフォーマンス上の利点は、低レイテンシ(推論で240ns)とストレージオーバーヘッド(RLエージェントを合わせて206KiB)である。 我々は,今後のHSS研究を支援するため,Harmoniaの実装をオープンソース化する予定である。

関連論文リスト

• Star-Agents: Automatic Data Optimization with LLM Agents for Instruction Tuning [71.2981957820888]
  本稿では,データセット間のデータ品質向上を自動化する新しいStar-Agentsフレームワークを提案する。 このフレームワークは最初,複数のLDMエージェントを用いた多様なインストラクションデータを生成する。 生成したデータは、難易度と品質の両方を評価する二重モデル法を用いて厳密な評価を行う。
  論文  参考訳（メタデータ） (2024-11-21T02:30:53Z)
• Efficient Federated Learning Using Dynamic Update and Adaptive Pruning with Momentum on Shared Server Data [59.6985168241067]
  フェデレートラーニング(FL)は、低トレーニング効率と限られた計算資源の2つの重要な問題に遭遇する。 本稿では,サーバ上の共有不感データとエッジデバイスの分散データを活用するための新しいFLフレームワークであるFedDUMAPを提案する。 提案するFLモデルであるFedDUMAPは,従来の3つの手法を組み合わせることで,ベースラインアプローチと比較して性能が大幅に向上した。
  論文  参考訳（メタデータ） (2024-08-11T02:59:11Z)
• RA-DIT: Retrieval-Augmented Dual Instruction Tuning [90.98423540361946]
  Retrieval-augmented Language Model (RALMs) は、外部データストアからロングテールおよび最新の知識にアクセスすることで、パフォーマンスを向上させる。 既存のアプローチでは、LM事前トレーニングに高価な検索固有の修正が必要になるか、あるいは、最適以下のパフォーマンスをもたらすデータストアのポストホック統合を使用する必要がある。 本稿では,第3の選択肢を提供する軽量な微調整手法であるRetrieval-Augmented Dual Instruction Tuning (RA-DIT)を紹介する。
  論文  参考訳（メタデータ） (2023-10-02T17:16:26Z)
• Towards General and Efficient Online Tuning for Spark [55.30868031221838]
  本稿では,3つの問題を同時に処理できる汎用的で効率的なSparkチューニングフレームワークを提案する。 我々は、このフレームワークを独立したクラウドサービスとして実装し、Tencentのデータプラットフォームに適用しました。
  論文  参考訳（メタデータ） (2023-09-05T02:16:45Z)
• Hera: A Heterogeneity-Aware Multi-Tenant Inference Server for Personalized Recommendations [5.665277660516125]
  モデルの複数のワーカーを同時に配置することは、クエリレベルの並列性とサーバのスループットを最大化する効果的な方法である。 Heraはマシンの有効利用を平均37.3%改善し、必要なサーバを26%削減できることを示した。
  論文  参考訳（メタデータ） (2023-02-23T02:36:09Z)
• Sibyl: Adaptive and Extensible Data Placement in Hybrid Storage Systems Using Online Reinforcement Learning [12.154786841911447]
  ハイブリッドストレージシステムにおけるデータ配置のための最初の手法であるSibylを紹介する。 Sibylはパフォーマンス指向/コスト指向のHSS構成において21.6%/19.9%のパフォーマンス改善を提供する。
  論文  参考訳（メタデータ） (2022-05-15T22:53:36Z)
• Exploiting Data Sparsity in Secure Cross-Platform Social Recommendation [34.60672247558132]
  社会的レコメンデーションは従来のシステムよりも有望な改善を示している。 既存の作業の多くは、すべてのデータがレコメンデーションプラットフォームで利用可能であると仮定している。 本稿では,セキュアなクロスプラットフォームソーシャルレコメンデーションフレームワークであるS3Recを提案する。
  論文  参考訳（メタデータ） (2022-02-15T08:46:34Z)
• DHA: End-to-End Joint Optimization of Data Augmentation Policy, Hyper-parameter and Architecture [81.82173855071312]
  本稿では,AutoMLコンポーネントを統合したエンドツーエンドソリューションを提案する。 Dhaは、様々なデータセット、特にセルベースの検索空間を持つImageNetの77.4%の精度で、最先端(SOTA)結果を達成する。
  論文  参考訳（メタデータ） (2021-09-13T08:12:50Z)
• Supervised Hyperalignment for multi-subject fMRI data alignment [81.8694682249097]
  本稿では,MVP解析における機能的アライメントを改善するために,SHA(Supervised Hyperalignment)手法を提案する。 マルチオブジェクトデータセットの実験では、SHA法は最大19%の性能がマルチクラス問題に対して達成されている。
  論文  参考訳（メタデータ） (2020-01-09T09:17:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。