論文の概要: Multi-Task Reinforcement Learning Enables Parameter Scaling
- arxiv url: http://arxiv.org/abs/2503.05126v1
- Date: Fri, 07 Mar 2025 04:13:02 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-03-10 12:23:45.149221
- Title: Multi-Task Reinforcement Learning Enables Parameter Scaling
- Title（参考訳）: マルチタスク強化学習によるパラメータスケーリングの実現
- Authors: Reginald McLean, Evangelos Chataroulas, Jordan Terry, Isaac Woungang, Nariman Farsad, Pablo Samuel Castro,
- Abstract要約: マルチタスク強化学習は、1つのエージェントに複数のタスクでうまく機能させる能力を与えることを目的としている。
最近の研究は、パフォーマンスを改善するための新しい高度なアーキテクチャの開発に重点を置いている。
我々は、パラメータ数にマッチする単純なMTRLベースラインを鼻でスケールアップすることが、より洗練されたアーキテクチャよりも優れていることを実証することによって、ゲインが大きな原因であると論じている。
- 参考スコア（独自算出の注目度）: 14.492112822801113
- License:
- Abstract: Multi-task reinforcement learning (MTRL) aims to endow a single agent with the ability to perform well on multiple tasks. Recent works have focused on developing novel sophisticated architectures to improve performance, often resulting in larger models; it is unclear, however, whether the performance gains are a consequence of the architecture design itself or the extra parameters. We argue that gains are mostly due to scale by demonstrating that naively scaling up a simple MTRL baseline to match parameter counts outperforms the more sophisticated architectures, and these gains benefit most from scaling the critic over the actor. Additionally, we explore the training stability advantages that come with task diversity, demonstrating that increasing the number of tasks can help mitigate plasticity loss. Our findings suggest that MTRL's simultaneous training across multiple tasks provides a natural framework for beneficial parameter scaling in reinforcement learning, challenging the need for complex architectural innovations.
- Abstract（参考訳）: マルチタスク強化学習(MTRL: Multi-task reinforcement learning)は、複数のタスクでうまく機能する単一のエージェントを提供することを目的としている。
最近の研究は、性能を改善するための新しい高度なアーキテクチャの開発に重点を置いており、しばしばより大きなモデルをもたらすが、性能向上がアーキテクチャ設計自体の結果なのか、余分なパラメータの結果なのかは不明である。
我々は、パラメータ数にマッチする単純なMTRLベースラインを鼻でスケールアップすることが、より洗練されたアーキテクチャよりも優れていることを示し、これらの利益はアクターに対する批判のスケーリングの恩恵を最も受けている、と論じる。
さらに,タスクの多様性に伴うトレーニング安定性の優位性についても検討し,タスク数の増加が可塑性損失の軽減に役立つことを示した。
以上の結果から,MTRLの複数のタスクを同時学習することで,強化学習におけるパラメータスケーリングに有用な自然な枠組みが得られ,複雑なアーキテクチャ革新の必要性に挑戦することが示唆された。
関連論文リスト
- Transforming Vision Transformer: Towards Efficient Multi-Task Asynchronous Learning [59.001091197106085]
Vision TransformerのためのMulti-Task Learning (MTL)は、複数のタスクを同時に処理することでモデル能力を向上させることを目的としている。
最近の研究は、Mixture-of-Experts(MoE)構造の設計とローランド適応(LoRA)によるマルチタスク学習の効率化に重点を置いている。
本稿では,事前学習した視覚変換器を効率的なマルチタスク学習器に変換することで,EMTAL(Efficient Multi-Task Learning)と呼ばれる新しい手法を提案する。
論文 参考訳（メタデータ） (2025-01-12T17:41:23Z) - RILe: Reinforced Imitation Learning [60.63173816209543]
RILeは、模倣学習と逆強化学習の強みを組み合わせて、高密度報酬関数を効率的に学習するフレームワークである。
本フレームワークは, 直接模倣が複雑な動作を再現できないような高次元タスクにおいて, 高い性能のポリシーを生成する。
論文 参考訳（メタデータ） (2024-06-12T17:56:31Z) - InterroGate: Learning to Share, Specialize, and Prune Representations
for Multi-task Learning [17.66308231838553]
推論計算効率を最適化しつつ,タスク干渉を緩和する新しいマルチタスク学習(MTL)アーキテクチャを提案する。
学習可能なゲーティング機構を用いて、すべてのタスクのパフォーマンスを保ちながら、共有表現とタスク固有の表現を自動的にバランスさせる。
論文 参考訳（メタデータ） (2024-02-26T18:59:52Z) - Learning to Optimize for Reinforcement Learning [58.01132862590378]
強化学習(Reinforcement Learning, RL)は、教師付き学習とは本質的に異なり、実際、これらの学習は単純なRLタスクでもうまく機能しない。
エージェント勾配分布は非独立で同一分布であり、非効率なメタトレーニングをもたらす。
おもちゃのタスクでしか訓練されていないが、我々の学習はブラックスの目に見えない複雑なタスクを一般化できることを示した。
論文 参考訳（メタデータ） (2023-02-03T00:11:02Z) - An Evolutionary Approach to Dynamic Introduction of Tasks in Large-scale
Multitask Learning Systems [4.675744559395732]
マルチタスク学習は、複数のタスクから学習できるモデルが知識伝達によってより良い品質と効率を達成すると仮定する。
最先端のMLモデルは、タスクごとに高いカスタマイズに依存し、タスクの数をスケールするのではなく、サイズとデータスケールを活用する。
本稿では,大規模マルチタスクモデルを生成でき,新しいタスクの動的かつ連続的な追加を支援する進化的手法を提案する。
論文 参考訳（メタデータ） (2022-05-25T13:10:47Z) - Efficient Feature Transformations for Discriminative and Generative
Continual Learning [98.10425163678082]
継続的学習のための簡易タスク特化機能マップ変換戦略を提案する。
これらは新しいタスクを学習するための強力な柔軟性を提供し、ベースアーキテクチャに最小パラメータを追加することで実現される。
本手法の有効性と効率を,判別(cifar-100およびimagenet-1k)および生成的タスクの一連の実験を用いて実証する。
論文 参考訳（メタデータ） (2021-03-25T01:48:14Z) - Reparameterizing Convolutions for Incremental Multi-Task Learning
without Task Interference [75.95287293847697]
マルチタスクモデルを開発する際の2つの一般的な課題は、しばしば文献で見過ごされる。
まず、モデルを本質的に漸進的に可能にし、以前に学んだことを忘れずに新しいタスクから情報を継続的に取り入れる(インクリメンタルラーニング)。
第二に、タスク間の有害な相互作用を排除し、マルチタスク設定(タスク干渉)においてシングルタスクのパフォーマンスを著しく低下させることが示されている。
論文 参考訳（メタデータ） (2020-07-24T14:44:46Z) - Gradient Surgery for Multi-Task Learning [119.675492088251]
マルチタスク学習は、複数のタスク間で構造を共有するための有望なアプローチとして登場した。
マルチタスク学習がシングルタスク学習と比較して難しい理由は、完全には理解されていない。
本稿では,他の作業の勾配の正規平面上にタスクの勾配を投影する勾配手術の一形態を提案する。
論文 参考訳（メタデータ） (2020-01-19T06:33:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。