論文の概要: Dynamic Adaptation in Data Storage: Real-Time Machine Learning for Enhanced Prefetching

• arxiv url: http://arxiv.org/abs/2501.14771v2
• Date: Tue, 28 Jan 2025 20:33:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-30 19:10:13.716695
• Title: Dynamic Adaptation in Data Storage: Real-Time Machine Learning for Enhanced Prefetching
• Title（参考訳）: データストレージにおける動的適応:強化プレフェッチのためのリアルタイム機械学習
• Authors: Chiyu Cheng, Chang Zhou, Yang Zhao, Jin Cao,
• Abstract要約: 本研究は,マルチ階層ストレージシステムにおけるデータプレフェッチングの革命に,ストリーミング機械学習の適用について検討する。 従来のバッチトレーニングモデルとは異なり、ストリーミング機械学習は適応性、リアルタイム洞察、計算効率を提供する。
• 参考スコア（独自算出の注目度）: 40.13303683102544
• License:
• Abstract: The exponential growth of data storage demands has necessitated the evolution of hierarchical storage management strategies [1]. This study explores the application of streaming machine learning [3] to revolutionize data prefetching within multi-tiered storage systems. Unlike traditional batch-trained models, streaming machine learning [5] offers adaptability, real-time insights, and computational efficiency, responding dynamically to workload variations. This work designs and validates an innovative framework that integrates streaming classification models for predicting file access patterns, specifically the next file offset. Leveraging comprehensive feature engineering and real-time evaluation over extensive production traces, the proposed methodology achieves substantial improvements in prediction accuracy, memory efficiency, and system adaptability. The results underscore the potential of streaming models in real-time storage management, setting a precedent for advanced caching and tiering strategies.
• Abstract（参考訳）: データストレージ需要の指数的な成長は、階層的なストレージ管理戦略の進化を必要としている[1]。 本研究は,マルチ階層ストレージシステムにおけるデータのプリフェッチ化にストリーミング機械学習[3]を適用することを検討する。 従来のバッチトレーニングモデルとは異なり、ストリーミング機械学習[5]は適応性、リアルタイム洞察、計算効率を提供し、ワークロードの変動に動的に対応します。 この作業は、ファイルアクセスパターン、特に次のファイルオフセットを予測するためのストリーミング分類モデルを統合する革新的なフレームワークを設計し、検証する。 提案手法は、広範囲な生産トレースに対する包括的特徴工学とリアルタイム評価を活用し、予測精度、メモリ効率、システム適応性を大幅に改善する。 その結果は、リアルタイムストレージ管理におけるストリーミングモデルの可能性を強調し、高度なキャッシュと階層化戦略の先駆けとなった。

関連論文リスト

• Dynamic Optimization of Storage Systems Using Reinforcement Learning Techniques [40.13303683102544]
  本稿では,ストレージシステム構成を動的に最適化する強化学習ベースのフレームワークであるRL-Storageを紹介する。 RL-Storageは、リアルタイムI/Oパターンから学習し、キャッシュサイズ、キュー深さ、readahead設定などの最適なストレージパラメータを予測する。 スループットは最大2.6倍、レイテンシはベースラインに比べて43%向上する。
  論文  参考訳（メタデータ） (2024-12-29T17:41:40Z)
• Stable Hadamard Memory: Revitalizing Memory-Augmented Agents for Reinforcement Learning [64.93848182403116]
  現在のディープラーニングメモリモデルは、部分的に観察可能で長期にわたる強化学習環境で苦労している。 本稿では,強化学習エージェントのための新しい記憶モデルであるStable Hadamard Memoryを紹介する。 我々の手法は、部分的に観測可能なベンチマークに挑戦する上で、最先端のメモリベースの手法よりも大幅に優れています。
  論文  参考訳（メタデータ） (2024-10-14T03:50:17Z)
• Adjusting Pretrained Backbones for Performativity [34.390793811659556]
  本稿では,事前学習したバックボーンをモジュラー方式で演奏性に適応させる新しい手法を提案する。 再学習軌道に沿った損失を減らし、候補モデルの中から効果的に選択し、性能劣化を予測できることを示す。
  論文  参考訳（メタデータ） (2024-10-06T14:41:13Z)
• Reprogramming Foundational Large Language Models(LLMs) for Enterprise Adoption for Spatio-Temporal Forecasting Applications: Unveiling a New Era in Copilot-Guided Cross-Modal Time Series Representation Learning [0.0]
  パティオ時間予測は、輸送システム、物流、サプライチェーン管理など、様々な分野において重要な役割を担っている。 本稿では,オープンソースの大規模・小規模言語モデル(LLM,LM)と従来の予測手法を組み合わせたハイブリッド手法を提案する。
  論文  参考訳（メタデータ） (2024-08-26T16:11:53Z)
• Bullion: A Column Store for Machine Learning [4.096087402737292]
  本稿では,機械学習処理に適した列記憶システムであるBullionについて述べる。 Bundyはデータコンプライアンスの複雑さに対処し、長いシーケンススパース機能のエンコーディングを最適化し、拡張可能なプロジェクションを効率的に管理し、ストレージに機能量子化を導入し、包括的なカスケードエンコーディングフレームワークを提供する。 予備的な実験結果と理論的分析は、機械学習ワークロードのユニークな要求に直面して、Bullionが強力なパフォーマンスを提供する能力が改善されたことを示している。
  論文  参考訳（メタデータ） (2024-04-13T05:01:54Z)
• Enhanced LFTSformer: A Novel Long-Term Financial Time Series Prediction Model Using Advanced Feature Engineering and the DS Encoder Informer Architecture [0.8532753451809455]
  本研究では,拡張LFTSformerと呼ばれる長期金融時系列の予測モデルを提案する。 このモデルは、いくつかの重要なイノベーションを通じて、自分自身を区別する。 さまざまなベンチマークストックマーケットデータセットに関するシステマティックな実験は、強化LFTSformerが従来の機械学習モデルより優れていることを示している。
  論文  参考訳（メタデータ） (2023-10-03T08:37:21Z)
• TranDRL: A Transformer-Driven Deep Reinforcement Learning Enabled Prescriptive Maintenance Framework [58.474610046294856]
  産業システムは、運用効率を高め、ダウンタイムを減らすための信頼性の高い予測保守戦略を要求する。 本稿では,Transformerモデルに基づくニューラルネットワークと深部強化学習(DRL)アルゴリズムの機能を活用し,システムの保守動作を最適化する統合フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-09-29T02:27:54Z)
• A Memory Transformer Network for Incremental Learning [64.0410375349852]
  本研究では,モデルが学習する時間とともに,新しいデータクラスが観察される学習環境であるクラスインクリメンタルラーニングについて検討する。 素直な問題定式化にもかかわらず、クラス増分学習への分類モデルの素直な適用は、これまで見られたクラスの「破滅的な忘れ込み」をもたらす。 これは、過去のデータのサブセットをメモリバンクに保存し、将来のタスクをトレーニングする際の忘れの防止にそれを活用することで、破滅的な忘れの問題を克服するものだ。
  論文  参考訳（メタデータ） (2022-10-10T08:27:28Z)
• Augmented Bilinear Network for Incremental Multi-Stock Time-Series Classification [83.23129279407271]
  本稿では,有価証券のセットで事前学習したニューラルネットワークで利用可能な知識を効率的に保持する手法を提案する。 本手法では,既存の接続を固定することにより,事前学習したニューラルネットワークに符号化された事前知識を維持する。 この知識は、新しいデータを用いて最適化された一連の拡張接続によって、新しい証券に対して調整される。
  論文  参考訳（メタデータ） (2022-07-23T18:54:10Z)
• Automated Machine Learning Techniques for Data Streams [91.3755431537592]
  本稿では、最先端のオープンソースAutoMLツールを調査し、ストリームから収集したデータに適用し、時間とともにパフォーマンスがどのように変化するかを測定する。 この結果から,既製のAutoMLツールで十分な結果が得られることが示されたが,概念ドリフトや検出,適応といった手法が適用されれば,予測精度を時間とともに維持することが可能になる。
  論文  参考訳（メタデータ） (2021-06-14T11:42:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。