論文の概要: Adaptive Data Exploitation in Deep Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2501.12620v1
• Date: Wed, 22 Jan 2025 04:01:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-23 16:53:21.680022
• Title: Adaptive Data Exploitation in Deep Reinforcement Learning
• Title（参考訳）: 深層強化学習における適応的データ爆発
• Authors: Mingqi Yuan, Bo Li, Xin Jin, Wenjun Zeng,
• Abstract要約: 深層強化学習(RL)における**データ効率**と**一般化**を強化する強力なフレームワークであるADEPTを紹介する。 具体的には、ADEPTはマルチアーム・バンディット(MAB)アルゴリズムを用いて、異なる学習段階にわたるサンプルデータの使用を適応的に管理する。 Procgen、MiniGrid、PyBulletなどのベンチマークでADEPTをテストする。
• 参考スコア（独自算出の注目度）: 50.53705050673944
• License:
• Abstract: We introduce ADEPT: Adaptive Data ExPloiTation, a simple yet powerful framework to enhance the **data efficiency** and **generalization** in deep reinforcement learning (RL). Specifically, ADEPT adaptively manages the use of sampled data across different learning stages via multi-armed bandit (MAB) algorithms, optimizing data utilization while mitigating overfitting. Moreover, ADEPT can significantly reduce the computational overhead and accelerate a wide range of RL algorithms. We test ADEPT on benchmarks including Procgen, MiniGrid, and PyBullet. Extensive simulation demonstrates that ADEPT can achieve superior performance with remarkable computational efficiency, offering a practical solution to data-efficient RL. Our code is available at https://github.com/yuanmingqi/ADEPT.
• Abstract（参考訳）: Adaptive Data ExPloiTation - 深層強化学習(RL)における**データ効率**と**一般化**を強化するためのシンプルで強力なフレームワーク。 具体的には、ADEPTは、マルチアーム・バンディット(MAB)アルゴリズムを用いて、異なる学習段階にわたるサンプルデータの使用を適応的に管理し、オーバーフィッティングを緩和しながらデータ利用を最適化する。 さらに、ADEPTは計算オーバーヘッドを大幅に削減し、広範囲のRLアルゴリズムを高速化することができる。 Procgen、MiniGrid、PyBulletなどのベンチマークでADEPTをテストする。 広範囲なシミュレーションにより、ADEPTは計算効率が著しく向上し、データ効率のRLに対する実用的なソリューションを提供する。 私たちのコードはhttps://github.com/yuanmingqi/ADEPT.comから入手可能です。

関連論文リスト

• Adaptive Data Optimization: Dynamic Sample Selection with Scaling Laws [59.03420759554073]
  本稿では,オンライン手法でデータ分散を最適化するアルゴリズムであるAdaptive Data Optimization (ADO)を導入する。 ADOは外部の知識やプロキシモデル、モデル更新の変更を必要としない。 ADOは、ドメインごとのスケーリング法則を使用して、トレーニング中の各ドメインの学習ポテンシャルを推定し、データ混合を調整する。
  論文  参考訳（メタデータ） (2024-10-15T17:47:44Z)
• CodeACT: Code Adaptive Compute-efficient Tuning Framework for Code LLMs [30.441431693349866]
  既存の方法は、微調整のための膨大な量の合成データを生成し、訓練の効率を損なう。 CodeACTはCDAS(Complexity and Diversity Aware Smpling)メソッドを導入し、高品質なトレーニングデータを選択する。 CodeACTはHumanEvalのパフォーマンスが8.6%向上し、トレーニング時間を78%削減し、ピーク時のGPUメモリ使用量を27%削減した。
  論文  参考訳（メタデータ） (2024-08-05T02:38:48Z)
• AutoScale: Automatic Prediction of Compute-optimal Data Composition for Training LLMs [61.13296177652599]
  本稿では,異なる領域からのトレーニングデータの最適構成がスケール依存であることを示す。 我々は、潜在的に大規模なトレーニングデータスケールでデータ合成を最適化するための、新しい実用的なアプローチである*AutoScale*を紹介します。 GPT-2Large and BERT pre-training の評価は,トレーニング収束性および下流性能向上における *AutoScale* の有効性を示す。
  論文  参考訳（メタデータ） (2024-07-29T17:06:30Z)
• Monte Carlo Tree Search Boosts Reasoning via Iterative Preference Learning [55.96599486604344]
  本稿では,Large Language Models (LLMs) の推論能力向上を目的とした,反復的な選好学習プロセスによるアプローチを提案する。 我々は、MCTS(Monte Carlo Tree Search)を用いて好みデータを反復的に収集し、そのルックアヘッド機能を利用して、インスタンスレベルの報酬をよりきめ細かいステップレベルの信号に分解する。 提案アルゴリズムはDPO(Direct Preference Optimization)を用いて,新たに生成されたステップレベルの優先度データを用いてLCMポリシーを更新する。
  論文  参考訳（メタデータ） (2024-05-01T11:10:24Z)
• Enhancing data efficiency in reinforcement learning: a novel imagination mechanism based on mesh information propagation [0.3729614006275886]
  Imagination Mechanism (IM) と呼ばれる新しいメッシュ情報伝達機構を導入する。 IMは、単一のサンプルによって生成された情報を、エピソード間で異なる状態に効果的にブロードキャストすることを可能にする。 汎用性を促進するため,他の広く採用されているRLアルゴリズムにシームレスかつ流動的に統合可能なプラグイン・アンド・プレイモジュールとして機能するIMを拡張した。
  論文  参考訳（メタデータ） (2023-09-25T16:03:08Z)
• Train a Real-world Local Path Planner in One Hour via Partially Decoupled Reinforcement Learning and Vectorized Diversity [8.068886870457561]
  深層強化学習(DRL)は局所経路計画(LPP)問題の解決に有効である。 実世界におけるそのような応用は、DRLの訓練効率と一般化能力の不足により、非常に制限されている。 アクター・シャーラーラーナー(ASL)トレーニングフレームワークと移動ロボット指向シミュレータSparrowで構成されたColorというソリューションが提案されている。
  論文  参考訳（メタデータ） (2023-05-07T03:39:31Z)
• Efficient Online Reinforcement Learning with Offline Data [78.92501185886569]
  オンライン学習時にオフラインデータを活用するために、既存のオフライン手法を単純に適用できることを示します。 私たちはこれらの設計選択を広範囲に改善し、パフォーマンスに最も影響を与える重要な要因を示します。 これらのシンプルなレコメンデーションの正しい適用によって、既存のアプローチよりも$mathbf2.5times$の改善が得られます。
  論文  参考訳（メタデータ） (2023-02-06T17:30:22Z)
• A Distributed Deep Reinforcement Learning Technique for Application Placement in Edge and Fog Computing Environments [31.326505188936746]
  フォグ/エッジコンピューティング環境において, DRL(Deep Reinforcement Learning)に基づく配置技術が提案されている。 IMPortance weighted Actor-Learner Architectures (IMPALA) に基づくアクタ批判に基づく分散アプリケーション配置手法を提案する。
  論文  参考訳（メタデータ） (2021-10-24T11:25:03Z)
• AWAC: Accelerating Online Reinforcement Learning with Offline Datasets [84.94748183816547]
  提案手法は,従来の実演データとオンライン体験を組み合わせることで,スキルの素早い学習を可能にする。 以上の結果から,事前データを組み込むことで,ロボット工学を実践的な時間スケールまで学習するのに要する時間を短縮できることが示唆された。
  論文  参考訳（メタデータ） (2020-06-16T17:54:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。