論文の概要: Mastering Massive Multi-Task Reinforcement Learning via Mixture-of-Expert Decision Transformer

• arxiv url: http://arxiv.org/abs/2505.24378v1
• Date: Fri, 30 May 2025 09:08:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-02 19:47:52.870609
• Title: Mastering Massive Multi-Task Reinforcement Learning via Mixture-of-Expert Decision Transformer
• Title（参考訳）: Mixture-of-Expert Decision Transformer による大規模マルチタスク強化学習の習得
• Authors: Yilun Kong, Guozheng Ma, Qi Zhao, Haoyu Wang, Li Shen, Xueqian Wang, Dacheng Tao,
• Abstract要約: M3DTは、モデルのパラメータのスケーラビリティをさらに開放することで、タスクのスケーラビリティに対処する新しいM3DTフレームワークである。 実験結果から,M3DTは,専門家の数を増やすことにより,一定のタスク数に対するモデル拡張としての性能を継続的に向上するだけでなく,タスクのスケーラビリティも向上し,性能が向上した160タスクにまで拡張できることが示唆された。
• 参考スコア（独自算出の注目度）: 56.898822179122476
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Despite recent advancements in offline multi-task reinforcement learning (MTRL) have harnessed the powerful capabilities of the Transformer architecture, most approaches focus on a limited number of tasks, with scaling to extremely massive tasks remaining a formidable challenge. In this paper, we first revisit the key impact of task numbers on current MTRL method, and further reveal that naively expanding the parameters proves insufficient to counteract the performance degradation as the number of tasks escalates. Building upon these insights, we propose M3DT, a novel mixture-of-experts (MoE) framework that tackles task scalability by further unlocking the model's parameter scalability. Specifically, we enhance both the architecture and the optimization of the agent, where we strengthen the Decision Transformer (DT) backbone with MoE to reduce task load on parameter subsets, and introduce a three-stage training mechanism to facilitate efficient training with optimal performance. Experimental results show that, by increasing the number of experts, M3DT not only consistently enhances its performance as model expansion on the fixed task numbers, but also exhibits remarkable task scalability, successfully extending to 160 tasks with superior performance.
• Abstract（参考訳）: オフラインマルチタスク強化学習(MTRL)の最近の進歩はTransformerアーキテクチャの強力な能力を活用しているにもかかわらず、ほとんどのアプローチは限られたタスクに重点を置いており、非常に大規模なタスクへのスケーリングは深刻な課題のままである。 本稿では,まず,現在のMTRL法におけるタスク数の影響について再検討し,さらに,タスク数がエスカレートするにつれて,パラメータを中立的に拡張しても性能劣化に対処できないことを示す。 これらの知見に基づいて、モデルのパラメータスケーラビリティをさらにアンロックすることでタスクスケーラビリティに取り組む新しいM3DT(Mixix-of-experts(MoE)フレームワーク)を提案する。 具体的には,パラメータサブセットのタスク負荷を軽減するため,Decision Transformer(DT)バックボーンをMoEで強化し,最適な性能で効率的なトレーニングを行うための3段階トレーニング機構を導入する。 実験結果から,M3DTは,専門家の数を増やすことにより,一定のタスク数に対するモデル拡張としての性能を継続的に向上するだけでなく,タスクのスケーラビリティも向上し,性能が向上した160タスクにまで拡張できることが示唆された。

関連論文リスト

• Bigger, Regularized, Categorical: High-Capacity Value Functions are Efficient Multi-Task Learners [60.75160178669076]
  オンライン強化学習におけるタスク干渉の問題に対して,クロスエントロピーを用いて訓練し,学習可能なタスク埋め込みを条件とした高容量値モデルの使用が課題であることを示す。 280以上のユニークなタスクを持つ7つのマルチタスクベンチマークで、高い自由度ヒューマノイド制御と離散視覚ベースのRLにまたがるアプローチを検証した。
  論文  参考訳（メタデータ） (2025-05-29T06:41:45Z)
• Multi-Task Reinforcement Learning Enables Parameter Scaling [14.492112822801113]
  マルチタスク強化学習は、1つのエージェントに複数のタスクでうまく機能させる能力を与えることを目的としている。 最近の研究は、パフォーマンスを改善するための新しい高度なアーキテクチャの開発に重点を置いている。 我々は、パラメータ数にマッチする単純なMTRLベースラインを鼻でスケールアップすることが、より洗練されたアーキテクチャよりも優れていることを実証することによって、ゲインが大きな原因であると論じている。
  論文  参考訳（メタデータ） (2025-03-07T04:13:02Z)
• Transforming Vision Transformer: Towards Efficient Multi-Task Asynchronous Learning [59.001091197106085]
  Vision TransformerのためのMulti-Task Learning (MTL)は、複数のタスクを同時に処理することでモデル能力を向上させることを目的としている。 最近の研究は、Mixture-of-Experts(MoE)構造の設計とローランド適応(LoRA)によるマルチタスク学習の効率化に重点を置いている。 本稿では,事前学習した視覚変換器を効率的なマルチタスク学習器に変換することで,EMTAL(Efficient Multi-Task Learning)と呼ばれる新しい手法を提案する。
  論文  参考訳（メタデータ） (2025-01-12T17:41:23Z)
• Beyond Task Vectors: Selective Task Arithmetic Based on Importance Metrics [0.0]
  本稿では,タスク固有パラメータ融合によるマルチタスク性能向上を目的としたトレーニングフリーフレームワークであるtextbfunderlineSelective textbfunderlineTask textbfunderlineArithmetic underlinetextbf(STA)を紹介する。 実験により,STAはベンチマーク間で優れたマルチタスク性能を実現し,タスクを忘れる際の優れた性能を示した。
  論文  参考訳（メタデータ） (2024-11-25T06:59:16Z)
• Hyper-Decision Transformer for Efficient Online Policy Adaptation [66.91294935068957]
  我々は,ごく少数のデモから新しいタスクを一般化できるHyper-Decision Transformer (HDT) と呼ばれる新しいフレームワークを提案する。 1つの専門家によるデモンストレーションと、DTパラメータの0.5%のみ微調整を行うことで、HDTはDTモデル全体を微調整するよりも、目に見えないタスクに迅速に適応できることがわかった。
  論文  参考訳（メタデータ） (2023-04-17T17:59:32Z)
• M$^3$ViT: Mixture-of-Experts Vision Transformer for Efficient Multi-task Learning with Model-Accelerator Co-design [95.41238363769892]
  マルチタスク学習(MTL)は、複数の学習タスクを単一のモデルにカプセル化し、それらのタスクを共同でよりよく学習できるようにする。 現在のMTLレギュレータは、1つのタスクだけを実行するためにさえ、ほぼすべてのモデルを起動する必要がある。 効率的なオンデバイスMTLを実現するためのモデル-アクセラレータ共設計フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-10-26T15:40:24Z)
• Reparameterizing Convolutions for Incremental Multi-Task Learning without Task Interference [75.95287293847697]
  マルチタスクモデルを開発する際の2つの一般的な課題は、しばしば文献で見過ごされる。 まず、モデルを本質的に漸進的に可能にし、以前に学んだことを忘れずに新しいタスクから情報を継続的に取り入れる(インクリメンタルラーニング)。 第二に、タスク間の有害な相互作用を排除し、マルチタスク設定(タスク干渉)においてシングルタスクのパフォーマンスを著しく低下させることが示されている。
  論文  参考訳（メタデータ） (2020-07-24T14:44:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。