論文の概要: Sibyl: Adaptive and Extensible Data Placement in Hybrid Storage Systems Using Online Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2205.07394v1
• Date: Sun, 15 May 2022 22:53:36 GMT
• ステータス: 処理完了
• システム内更新日: 2022-05-17 15:04:26.653964
• Title: Sibyl: Adaptive and Extensible Data Placement in Hybrid Storage Systems Using Online Reinforcement Learning
• Title（参考訳）: Sibyl: オンライン強化学習を用いたハイブリッドストレージシステムにおける適応的で拡張可能なデータ配置
• Authors: Gagandeep Singh, Rakesh Nadig, Jisung Park, Rahul Bera, Nastaran Hajinazar, David Novo, Juan G\'omez-Luna, Sander Stuijk, Henk Corporaal, Onur Mutlu
• Abstract要約: ハイブリッドストレージシステムにおけるデータ配置のための最初の手法であるSibylを紹介する。 Sibylはパフォーマンス指向/コスト指向のHSS構成において21.6%/19.9%のパフォーマンス改善を提供する。
• 参考スコア（独自算出の注目度）: 12.80753291020758
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Hybrid storage systems (HSS) use multiple different storage devices to provide high and scalable storage capacity at high performance. Recent research proposes various techniques that aim to accurately identify performance-critical data to place it in a "best-fit" storage device. Unfortunately, most of these techniques are rigid, which (1) limits their adaptivity to perform well for a wide range of workloads and storage device configurations, and (2) makes it difficult for designers to extend these techniques to different storage system configurations (e.g., with a different number or different types of storage devices) than the configuration they are designed for. We introduce Sibyl, the first technique that uses reinforcement learning for data placement in hybrid storage systems. Sibyl observes different features of the running workload as well as the storage devices to make system-aware data placement decisions. For every decision it makes, Sibyl receives a reward from the system that it uses to evaluate the long-term performance impact of its decision and continuously optimizes its data placement policy online. We implement Sibyl on real systems with various HSS configurations. Our results show that Sibyl provides 21.6%/19.9% performance improvement in a performance-oriented/cost-oriented HSS configuration compared to the best previous data placement technique. Our evaluation using an HSS configuration with three different storage devices shows that Sibyl outperforms the state-of-the-art data placement policy by 23.9%-48.2%, while significantly reducing the system architect's burden in designing a data placement mechanism that can simultaneously incorporate three storage devices. We show that Sibyl achieves 80% of the performance of an oracle policy that has complete knowledge of future access patterns while incurring a very modest storage overhead of only 124.4 KiB.
• Abstract（参考訳）: ハイブリッドストレージシステム(HSS)は、複数の異なるストレージデバイスを使用して、高性能でスケーラブルなストレージ容量を提供する。 近年,「最適な」記憶装置に配置する性能クリティカルなデータを正確に識別する手法が提案されている。 残念なことに、これらの技術のほとんどは厳格であり、(1)幅広いワークロードやストレージデバイスの構成でうまく機能するように適応性を制限し、(2)デザイナーが設計した構成よりも異なるストレージシステム構成(例えば、異なる数や異なるタイプのストレージデバイス)にこれらの技術を拡張することが困難である。 ハイブリッドストレージシステムにおけるデータ配置に強化学習を利用する最初の手法であるSibylを紹介する。 Sibylは実行中のワークロードのさまざまな機能とストレージデバイスを観察して、システム対応のデータ配置決定を行う。 Sibylは、意思決定の長期的なパフォーマンスへの影響を評価し、データ配置ポリシーをオンラインで継続的に最適化するために、システムから報酬を受け取っている。 我々は様々なHSS構成で実システム上でSibylを実装している。 その結果、sibylはパフォーマンス指向/コスト指向のhss構成における21.6%/19.9%の性能改善を提供することがわかった。 3つの異なるストレージデバイスを備えたHSS構成を用いて評価したところ、Sibylは最先端のデータ配置ポリシーを23.9%-48.2%向上させ、同時に3つのストレージデバイスを組み込むデータ配置機構を設計する際のシステムアーキテクトの負担を大幅に低減した。 そこで我々は,Sibylが将来的なアクセスパターンを十分に把握し,ストレージのオーバーヘッドをわずか124.4KiBに抑えながら,その性能の80%をSibylが達成していることを示す。

関連論文リスト

• An Enhanced Batch Query Architecture in Real-time Recommendation [9.073405491915198]
  Webサイトやアプリの産業レコメンデーションシステムでは、ユーザの関心事に関連するトップnの結果をリコールし、予測することが不可欠である。 我々は,リアルタイムレコメンデーションシステムのための高性能バッチクエリアーキテクチャの設計と実装を行った。 このアーキテクチャは1年以上にわたってbilibiliレコメンデーションシステムにデプロイされ、最小限のリソース増加を伴う10倍のモデルをサポートする。
  論文  参考訳（メタデータ） (2024-08-31T09:19:41Z)
• EASRec: Elastic Architecture Search for Efficient Long-term Sequential Recommender Systems [82.76483989905961]
  現在のSRS(Sequential Recommender Systems)は、計算とリソースの非効率に悩まされている。 我々は、効率的な長期シーケンスレコメンダシステム(EASRec)のための弾性アーキテクチャー探索を開発する。 EASRecは、入力データバッチから履歴情報を活用するデータ認識ゲートを導入し、レコメンデーションネットワークの性能を改善する。
  論文  参考訳（メタデータ） (2024-02-01T07:22:52Z)
• RA-DIT: Retrieval-Augmented Dual Instruction Tuning [90.98423540361946]
  Retrieval-augmented Language Model (RALMs) は、外部データストアからロングテールおよび最新の知識にアクセスすることで、パフォーマンスを向上させる。 既存のアプローチでは、LM事前トレーニングに高価な検索固有の修正が必要になるか、あるいは、最適以下のパフォーマンスをもたらすデータストアのポストホック統合を使用する必要がある。 本稿では,第3の選択肢を提供する軽量な微調整手法であるRetrieval-Augmented Dual Instruction Tuning (RA-DIT)を紹介する。
  論文  参考訳（メタデータ） (2023-10-02T17:16:26Z)
• Towards Learned Predictability of Storage Systems [0.0]
  ストレージシステムは、データセンターの基本的なビルディングブロックになっている。 ストレージの普及と関心にもかかわらず、信頼性のあるストレージシステムの設計と実装は依然として困難である。 ストレージシステムの予測可能性に向けて、近年様々なメカニズムとフィールド研究が提案されている。 3つの代表的な研究成果に基づき、この分野で機械学習をどのように適用すべきかを論じる。
  論文  参考訳（メタデータ） (2023-07-30T17:53:08Z)
• MP-Rec: Hardware-Software Co-Design to Enable Multi-Path Recommendation [8.070008246742681]
  最先端のレコメンデーションモデルは、テラバイト規模の埋め込みテーブルを使ってユーザの好みを学習する。 組込み表現とハードウェアプラットフォームとの相乗効果が,アルゴリズムおよびシステム性能の改善につながることを示す。
  論文  参考訳（メタデータ） (2023-02-21T18:38:45Z)
• RMM: Reinforced Memory Management for Class-Incremental Learning [102.20140790771265]
  クラスインクリメンタルラーニング(CIL)は、厳格な記憶予算の下で分類器を訓練する。 既存のメソッドは静的およびアドホックな戦略を使ってメモリ割り当てを行うが、これはしばしば準最適である。 本稿では,段階的な段階と異なるオブジェクトクラスに最適化された動的メモリ管理戦略を提案する。
  論文  参考訳（メタデータ） (2023-01-14T00:07:47Z)
• BaLeNAS: Differentiable Architecture Search via the Bayesian Learning Rule [95.56873042777316]
  近年,微分可能なアーキテクチャ探索 (DARTS) が注目されている。 本稿では,アーキテクチャ重みをガウス分布に緩和することにより,ニューラルネットワーク探索を分布学習問題として定式化する。 ベイズ主義の原理から異なるNASがいかに恩恵を受け、探索を強化し、安定性を向上するかを実証する。
  論文  参考訳（メタデータ） (2021-11-25T18:13:42Z)
• KML: Using Machine Learning to Improve Storage Systems [0.2810625954925814]
  機械学習技術はパターンを学習し、それらから一般化し、最適なソリューションを可能にすることを約束する。 我々はKMLアーキテクチャのプロトタイプを開発し、最適な読み出しと読み出しサイズという2つの問題に適用する。 実験の結果、KMLはOSのリソースをほとんど消費せず、遅延を無視できるだけでなく、I/Oスループットを最大2.3倍または15倍改善できるパターンを学習できることがわかった。
  論文  参考訳（メタデータ） (2021-11-22T21:59:50Z)
• DHA: End-to-End Joint Optimization of Data Augmentation Policy, Hyper-parameter and Architecture [81.82173855071312]
  本稿では,AutoMLコンポーネントを統合したエンドツーエンドソリューションを提案する。 Dhaは、様々なデータセット、特にセルベースの検索空間を持つImageNetの77.4%の精度で、最先端(SOTA)結果を達成する。
  論文  参考訳（メタデータ） (2021-09-13T08:12:50Z)
• Memory-Efficient Hierarchical Neural Architecture Search for Image Restoration [68.6505473346005]
  メモリ効率の高い階層型NAS HiNAS(HiNAS)を提案する。 単一の GTX1080Ti GPU では、BSD 500 でネットワークを消すのに約 1 時間、DIV2K で超解像構造を探すのに 3.5 時間しかかかりません。
  論文  参考訳（メタデータ） (2020-12-24T12:06:17Z)
• Automatic Storage Structure Selection for hybrid Workload [14.15132605296406]
  ハイブリッドワークロードでは、データベースのクエリセットが動的に変更され、最適なストレージ構造の設計も変更されている。 そこで本研究では,学習コストに基づく自動記憶構造選択システムを提案する。 実験の結果,本システムでは,現在のワークロードに応じて,ストレージエンジンとデータモデルの組み合わせを最適に選択できることがわかった。
  論文  参考訳（メタデータ） (2020-08-15T03:42:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。