論文の概要: A Distribution-Aware Flow-Matching for Generating Unstructured Data for Few-Shot Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2409.14178v2
• Date: Sun, 26 Jan 2025 16:54:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-28 20:37:55.566955
• Title: A Distribution-Aware Flow-Matching for Generating Unstructured Data for Few-Shot Reinforcement Learning
• Title（参考訳）: Few-Shot強化学習のための非構造化データ生成のための分布認識フローマッチング
• Authors: Mohammad Pivezhandi, Abusayeed Saifullah,
• Abstract要約: 数発の強化学習のための合成非構造化データを生成するための分布認識フローマッチング手法を提案する。 我々のアプローチは、オーバーフィッティングやデータ相関など、従来のモデルベースRLにおける重要な課題に対処する。 提案手法は,初期タイムスタンプのフレームレートを30%向上させながら,最大Q値で安定した収束を実現することを示す。
• 参考スコア（独自算出の注目度）: 1.0709300917082865
• License:
• Abstract: Generating realistic and diverse unstructured data is a significant challenge in reinforcement learning (RL), particularly in few-shot learning scenarios with limited data availability. Traditional RL methods often rely on real data for exploration, which can be time-consuming and inefficient. In this paper, we introduce a distribution-aware flow matching approach designed to generate synthetic unstructured data, specifically tailored for the few-shot RL application of Dynamic Voltage and Frequency Scaling (DVFS) on embedded processors. Our method leverages the flow matching algorithm as a sample-efficient generative model and incorporates bootstrapping techniques to enhance latent space diversity and generalization. Additionally, we apply feature weighting using Random Forests to prioritize critical features, improving the precision of the generated synthetic data. Our approach addresses key challenges in traditional model-based RL, such as overfitting and data correlation, while aligning with the principles of the Law of Large Numbers to support empirical consistency and policy improvement as the number of samples increases. We validate our approach through extensive experimentation on a DVFS application for low-energy processing. Results demonstrate that our method achieves stable convergence in terms of maximum Q-value while enhancing frame rates by 30\% in the initial timestamps. These improvements make the proposed RL model more efficient in resource-constrained environments.
• Abstract（参考訳）: 現実的で多様な非構造化データを生成することは、強化学習(RL)において重要な課題である。 従来のRL法は、しばしば探索に実際のデータに依存するが、それは時間がかかり非効率である。 本稿では,DVFS(Dynamic voltage and Frequency Scaling)を組込みプロセッサに適用した数ショットのRLアプリケーションに適した,合成非構造化データを生成するための分散型フローマッチング手法を提案する。 本手法は,フローマッチングアルゴリズムをサンプル効率のよい生成モデルとして利用し,遅延空間の多様性と一般化を高めるブートストラップ手法を取り入れた。 さらに、ランダムフォレストを用いた特徴量重み付けを適用し、重要な特徴を優先順位付けし、生成した合成データの精度を向上させる。 提案手法は,サンプル数の増加に伴い,経験的整合性および政策改善をサポートするために,大規模法則の原則と整合しながら,過剰適合やデータ相関などの従来のモデルベースRLにおける重要な課題に対処する。 低エネルギー処理のためのDVFSアプリケーション上で広範囲な実験を行い,本手法の有効性を検証した。 提案手法は,初期タイムスタンプのフレームレートを30倍に高めながら,最大Q値で安定した収束を実現することを示す。 これらの改善により、リソース制約のある環境で提案されたRLモデルはより効率的になる。

関連論文リスト

• Tackling Data Heterogeneity in Federated Time Series Forecasting [61.021413959988216]
  時系列予測は、エネルギー消費予測、病気の伝染モニタリング、天気予報など、様々な実世界の応用において重要な役割を果たす。 既存のほとんどのメソッドは、分散デバイスから中央クラウドサーバに大量のデータを収集する、集中的なトレーニングパラダイムに依存しています。 本稿では,情報合成データを補助的知識キャリアとして生成することにより,データの均一性に対処する新しいフレームワークであるFed-TRENDを提案する。
  論文  参考訳（メタデータ） (2024-11-24T04:56:45Z)
• Optimizing VarLiNGAM for Scalable and Efficient Time Series Causal Discovery [5.430532390358285]
  因果発見は、データの因果関係を特定するように設計されている。 時系列因果発見は、時間的依存と潜在的な時間ラグの影響を考慮する必要があるため、特に困難である。 本研究は大規模データセット処理の実現可能性を大幅に改善する。
  論文  参考訳（メタデータ） (2024-09-09T10:52:58Z)
• Reprogramming Foundational Large Language Models(LLMs) for Enterprise Adoption for Spatio-Temporal Forecasting Applications: Unveiling a New Era in Copilot-Guided Cross-Modal Time Series Representation Learning [0.0]
  パティオ時間予測は、輸送システム、物流、サプライチェーン管理など、様々な分野において重要な役割を担っている。 本稿では,オープンソースの大規模・小規模言語モデル(LLM,LM)と従来の予測手法を組み合わせたハイブリッド手法を提案する。
  論文  参考訳（メタデータ） (2024-08-26T16:11:53Z)
• Advancing Enterprise Spatio-Temporal Forecasting Applications: Data Mining Meets Instruction Tuning of Language Models For Multi-modal Time Series Analysis in Low-Resource Settings [0.0]
  パティオ時間予測は輸送、物流、サプライチェーン管理において重要である。 本稿では,従来の予測手法の強みと小言語モデルの命令チューニングを融合した動的マルチモーダル手法を提案する。 我々のフレームワークは、推論速度とデータプライバシ/セキュリティを維持しながら、計算とメモリの要求を低減したオンプレミスのカスタマイズを可能にする。
  論文  参考訳（メタデータ） (2024-08-24T16:32:58Z)
• Take the Bull by the Horns: Hard Sample-Reweighted Continual Training Improves LLM Generalization [165.98557106089777]
  大きな言語モデル(LLM)の能力を高めることが大きな課題だ。 本研究は,従来の事前学習データセットを用いたLCMの光連続訓練に関する実証的戦略から始まった。 次に、この戦略をインスタンス重み付け分散ロバスト最適化の原則化されたフレームワークに定式化します。
  論文  参考訳（メタデータ） (2024-02-22T04:10:57Z)
• Federated Learning with Projected Trajectory Regularization [65.6266768678291]
  フェデレーション学習は、ローカルデータを共有せずに、分散クライアントから機械学習モデルの共同トレーニングを可能にする。 連合学習における重要な課題の1つは、クライアントにまたがる識別できない分散データを扱うことである。 本稿では,データ問題に対処するための予測軌道正則化(FedPTR)を備えた新しいフェデレーション学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-12-22T02:12:08Z)
• Hybrid State Space-based Learning for Sequential Data Prediction with Joint Optimization [0.0]
  本稿では,従来の非線形予測モデルにおいて,ドメイン固有の特徴工学的問題の必要性を緩和するハイブリッドモデルを提案する。 基本モデルに対する新しい状態空間表現を導入し、ハイブリッドやアンサンブルの完全な状態空間表現を提供する。 このような新しい組み合わせと共同最適化により、広く公開されている実生活競合データセットの大幅な改善が示された。
  論文  参考訳（メタデータ） (2023-09-19T12:00:28Z)
• Analysis and Optimization of Wireless Federated Learning with Data Heterogeneity [72.85248553787538]
  本稿では、データの不均一性を考慮した無線FLの性能解析と最適化と、無線リソース割り当てについて述べる。 ロス関数の最小化問題を、長期エネルギー消費と遅延の制約の下で定式化し、クライアントスケジューリング、リソース割り当て、ローカルトレーニングエポック数(CRE)を共同で最適化する。 実世界のデータセットの実験により、提案アルゴリズムは学習精度とエネルギー消費の点で他のベンチマークよりも優れていることが示された。
  論文  参考訳（メタデータ） (2023-08-04T04:18:01Z)
• Improved Distribution Matching for Dataset Condensation [91.55972945798531]
  本稿では,分布マッチングに基づく新しいデータセット凝縮法を提案する。 提案手法は,計算資源の少ない従来の最適化指向手法よりも優れている。
  論文  参考訳（メタデータ） (2023-07-19T04:07:33Z)
• Towards Synthetic Multivariate Time Series Generation for Flare Forecasting [5.098461305284216]
  データ駆動・レアイベント予測アルゴリズムのトレーニングにおける制限要因の1つは、関心のあるイベントの不足である。 本研究では,データインフォームド・オーバーサンプリングを行う手段として,条件付き生成逆数ネットワーク(CGAN)の有用性を検討する。
  論文  参考訳（メタデータ） (2021-05-16T22:23:23Z)
• Learning summary features of time series for likelihood free inference [93.08098361687722]
  時系列データから要約機能を自動的に学習するためのデータ駆動型戦略を提案する。 以上の結果から,データから要約的特徴を学習することで,手作りの値に基づいてLFI手法よりも優れる可能性が示唆された。
  論文  参考訳（メタデータ） (2020-12-04T19:21:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。