論文の概要: Representation Learning Enables Scalable Multitask Deep Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2606.05555v1
• Date: Thu, 04 Jun 2026 01:09:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-05 22:39:44.46136
• Title: Representation Learning Enables Scalable Multitask Deep Reinforcement Learning
• Title（参考訳）: スケーラブルなマルチタスク深層強化学習を可能にする表現学習
• Authors: Johan Obando-Ceron, Lu Li, Scott Fujimoto, Pierre-Luc Bacon, Aaron Courville, Pablo Samuel Castro,
• Abstract要約: 本研究では,予測型モデルベース表現と高容量値関数近似を組み合わせることで,高い性能が得られることを示す。 我々は,シンプルなモデルフリーアルゴリズムであるMR.Qと補助的な予測目標を併用して,スケーラブルなアクター・クリティカルなアーキテクチャを提案する。
• 参考スコア（独自算出の注目度）: 32.45608314596038
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Scaling reinforcement learning (RL) to diverse multitask settings remains a central challenge. While recent advances in model-based RL achieve strong performance, they rely on planning and complex training pipelines, making it unclear which components are essential for scalability. We revisit this question and argue that the primary driver of scalable multitask RL is not model-based control, but \emph{representation learning}. In particular, we show that combining predictive, model-based representations with high-capacity value function approximation is sufficient to achieve strong performance, even without planning. We evaluate a simple model-free algorithm, MR.Q, coupled with auxiliary predictive objectives into a scalable actor-critic architecture. This approach outperforms a recent world-model-based method and a range of deep RL baselines across a diverse suite of multitask continuous control tasks, while significantly reducing computational overhead and improving wall-clock efficiency. We observe consistent improvements with increased model capacity and show through ablations that predictive representation learning is critical for performance.
• Abstract（参考訳）: 多様なマルチタスク設定への強化学習(RL)のスケーリングは、依然として中心的な課題である。 モデルベースRLの最近の進歩は、強力なパフォーマンスを達成する一方で、計画と複雑なトレーニングパイプラインに依存しており、どのコンポーネントがスケーラビリティに不可欠なのかがはっきりしない。 本稿では,この問題を再考し,スケーラブルマルチタスクRLの原動力はモデルベース制御ではなく,emph{representation learning}であると主張した。 特に,予測モデルに基づく表現と高容量値関数の近似を組み合わせることで,計画なしでも高い性能が得られることを示す。 我々は,シンプルなモデルフリーアルゴリズムであるMR.Qと補助的な予測目標を併用して,スケーラブルなアクター・クリティカルなアーキテクチャを提案する。 このアプローチは,マルチタスク連続制御タスクの多種多様なスイートにまたがって,近年のワールドモデルベース手法と深部RLベースラインの性能を向上すると同時に,計算オーバーヘッドを大幅に削減し,ウォールクロック効率を向上する。 モデルキャパシティの向上による一貫した改善を観察し,予測表現学習が性能に不可欠であることを示す。

関連論文リスト

• Why Does Reinforcement Learning Generalize? A Feature-Level Mechanistic Study of Post-Training in Large Language Models [51.45122910254346]
  強化学習(RL)に基づくポストトレーニングは、トレーニングドメインを超えた大規模言語モデルの推論性能を改善することが多い。 Supervised Fine-tuning (SFT) はしばしば一般的な忘れる能力をもたらす。 制御された実験装置を用いてRL一般化を探索する特徴レベル力学解析手法を提案する。
  論文  参考訳（メタデータ） (2026-04-27T21:22:34Z)
• Beyond Accuracy: Dissecting Mathematical Reasoning for LLMs Under Reinforcement Learning [93.00629872970364]
  強化学習(Reinforcement Learning, RL)は, 複雑な推論タスクにおいて, 言語モデルの性能向上のための主要なパラダイムとなっている。 SPARKLE(SPARKLE)は、3つの重要な次元にわたるRLの効果を詳細に解析するフレームワークである。 我々は、RL信号と混合品質の推論トレースを産出しない難題が、依然としてトレーニングに有効であるかどうかを調査する。
  論文  参考訳（メタデータ） (2025-06-05T07:53:59Z)
• Diffusion Guidance Is a Controllable Policy Improvement Operator [98.11511661904618]
  CFGRLは教師付き学習の単純さで訓練されているが、データ内のポリシーをさらに改善することができる。 オフラインのRLタスクでは、信頼性の高いトレンドが観察されます -- ガイダンスの重み付けの増加によって、パフォーマンスが向上します。
  論文  参考訳（メタデータ） (2025-05-29T14:06:50Z)
• Bigger, Regularized, Categorical: High-Capacity Value Functions are Efficient Multi-Task Learners [60.75160178669076]
  オンライン強化学習におけるタスク干渉の問題に対して,クロスエントロピーを用いて訓練し,学習可能なタスク埋め込みを条件とした高容量値モデルの使用が課題であることを示す。 280以上のユニークなタスクを持つ7つのマルチタスクベンチマークで、高い自由度ヒューマノイド制御と離散視覚ベースのRLにまたがるアプローチを検証した。
  論文  参考訳（メタデータ） (2025-05-29T06:41:45Z)
• Echo Chamber: RL Post-training Amplifies Behaviors Learned in Pretraining [74.83412846804977]
  強化学習(RL)に基づく微調整は、訓練後の言語モデルにおいて重要なステップとなっている。 数理推論のためのRLファインタニングを、スクラッチから完全にトレーニングモデルを用いて体系的にエンドツーエンドに研究する。
  論文  参考訳（メタデータ） (2025-04-10T17:15:53Z)
• Multi-Task Reinforcement Learning Enables Parameter Scaling [14.492112822801113]
  マルチタスク強化学習は、1つのエージェントに複数のタスクでうまく機能させる能力を与えることを目的としている。 最近の研究は、パフォーマンスを改善するための新しい高度なアーキテクチャの開発に重点を置いている。 我々は、パラメータ数にマッチする単純なMTRLベースラインを鼻でスケールアップすることが、より洗練されたアーキテクチャよりも優れていることを実証することによって、ゲインが大きな原因であると論じている。
  論文  参考訳（メタデータ） (2025-03-07T04:13:02Z)
• Are Expressive Models Truly Necessary for Offline RL? [18.425797519857113]
  シークエンシャルモデリングでは、適切なポリシー性能を確保するために、軌道データの長い地平線を越えて正確なダイナミクスを捉える必要がある。 浅層2層モデルほど単純な軽量モデルは、正確な動的一貫性と逐次モデリングエラーを著しく低減できることを示す。
  論文  参考訳（メタデータ） (2024-12-15T17:33:56Z)
• Simplified Temporal Consistency Reinforcement Learning [19.814047499837084]
  本稿では,潜時整合性によって訓練された潜時力学モデルに依存する単純な表現学習手法が,高性能なRLには十分であることを示す。 提案手法は,モデルフリー手法を大きなマージンで上回り,モデルベース手法のサンプル効率を2.4倍高速にトレーニングしながら比較する。
  論文  参考訳（メタデータ） (2023-06-15T19:37:43Z)
• Learning a model is paramount for sample efficiency in reinforcement learning control of PDEs [5.488334211013093]
  RLエージェントの訓練と並行して動作モデルを学ぶことで,実システムからサンプリングしたデータ量を大幅に削減できることを示す。 また、RLトレーニングのバイアスを避けるために、モデルを反復的に更新することが重要であることも示している。
  論文  参考訳（メタデータ） (2023-02-14T16:14:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。