論文の概要: Task-Aware Harmony Multi-Task Decision Transformer for Offline Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2411.01146v1
• Date: Sat, 02 Nov 2024 05:49:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-05 14:42:24.716651
• Title: Task-Aware Harmony Multi-Task Decision Transformer for Offline Reinforcement Learning
• Title（参考訳）: オフライン強化学習のためのタスク対応高調波マルチタスク決定変換器
• Authors: Ziqing Fan, Shengchao Hu, Yuhang Zhou, Li Shen, Ya Zhang, Yanfeng Wang, Dacheng Tao,
• Abstract要約: オフラインマルチタスク強化学習(MTRL)の目的は、オンライン環境相互作用を必要とせず、多様なタスクに適用可能な統一されたポリシーを開発することである。 タスクの内容と複雑さの変化は、政策の定式化において重大な課題を引き起こします。 本稿では,各タスクに対するパラメータの最適な調和部分空間を特定するための新しいソリューションであるHarmoDT(Harmony Multi-Task Decision Transformer)を紹介する。
• 参考スコア（独自算出の注目度）: 70.96345405979179
• License:
• Abstract: The purpose of offline multi-task reinforcement learning (MTRL) is to develop a unified policy applicable to diverse tasks without the need for online environmental interaction. Recent advancements approach this through sequence modeling, leveraging the Transformer architecture's scalability and the benefits of parameter sharing to exploit task similarities. However, variations in task content and complexity pose significant challenges in policy formulation, necessitating judicious parameter sharing and management of conflicting gradients for optimal policy performance. Furthermore, identifying the optimal parameter subspace for each task often necessitates prior knowledge of the task identifier during inference, limiting applicability in real-world scenarios with variable task content and unknown current tasks. In this work, we introduce the Harmony Multi-Task Decision Transformer (HarmoDT), a novel solution designed to identify an optimal harmony subspace of parameters for each task. We formulate this as a bi-level optimization problem within a meta-learning framework, where the upper level learns masks to define the harmony subspace, while the inner level focuses on updating parameters to improve the overall performance of the unified policy. To eliminate the need for task identifiers, we further design a group-wise variant (G-HarmoDT) that clusters tasks into coherent groups based on gradient information, and utilizes a gating network to determine task identifiers during inference. Empirical evaluations across various benchmarks highlight the superiority of our approach, demonstrating its effectiveness in the multi-task context with specific improvements of 8% gain in task-provided settings, 5% in task-agnostic settings, and 10% in unseen settings.
• Abstract（参考訳）: オフラインマルチタスク強化学習(MTRL)の目的は、オンライン環境相互作用を必要とせず、多様なタスクに適用可能な統一されたポリシーを開発することである。 近年の進歩は、Transformerアーキテクチャのスケーラビリティと、タスク類似性を活用するためにパラメータ共有の利点を活用する、シーケンスモデリングによるアプローチである。 しかし、タスクの内容と複雑さの変化は、政策定式化、司法的パラメータ共有の必要、および最適な政策性能のための矛盾する勾配の管理において重大な課題を生じさせる。 さらに、各タスクに対する最適なパラメータのサブスペースを特定するには、推論中にタスク識別子の事前の知識が必要であり、可変タスクの内容と未知の現在のタスクを持つ現実のシナリオに適用性を制限する。 本研究では,各タスクに対するパラメータの最適な調和部分空間を特定するための新しいソリューションであるHarmoDT(Harmony Multi-Task Decision Transformer)を紹介する。 我々はこれをメタラーニングフレームワーク内の二段階最適化問題として定式化し、上位層はマスクを学習して調和部分空間を定義する一方、内部層はパラメータの更新に焦点を合わせ、統一されたポリシーの全体的な性能を改善する。 タスク識別子を不要にするために、勾配情報に基づいてタスクをコヒーレントなグループにクラスタリングするグループワイド変種(G-HarmoDT)を設計し、ゲーティングネットワークを用いて推論中のタスク識別子を決定する。 各種ベンチマークによる実証評価では,タスク提供設定で8%,タスクに依存しない設定で5%,目に見えない設定で10%,マルチタスクコンテキストでの有効性を示すとともに,アプローチの優位性を強調した。

関連論文リスト

• HarmoDT: Harmony Multi-Task Decision Transformer for Offline Reinforcement Learning [72.25707314772254]
  本稿では,各タスクに対するパラメータの最適な調和部分空間を特定するための新しいソリューションであるHarmoDT(Harmony Multi-Task Decision Transformer)を紹介する。 このフレームワークの上位レベルは、調和部分空間を規定するタスク固有のマスクの学習に特化しており、内部レベルは、統一されたポリシーの全体的なパフォーマンスを高めるためにパラメータの更新に重点を置いている。
  論文  参考訳（メタデータ） (2024-05-28T11:41:41Z)
• Task Indicating Transformer for Task-conditional Dense Predictions [16.92067246179703]
  この課題に対処するために,タスク表示変換(TIT)と呼ばれる新しいタスク条件フレームワークを導入する。 本手法では,行列分解によるタスク指示行列を組み込んだMix Task Adapterモジュールをトランスフォーマーブロック内に設計する。 また,タスク表示ベクトルとゲーティング機構を利用するタスクゲートデコーダモジュールを提案する。
  論文  参考訳（メタデータ） (2024-03-01T07:06:57Z)
• MetaModulation: Learning Variational Feature Hierarchies for Few-Shot Learning with Fewer Tasks [63.016244188951696]
  本稿では,タスクを減らした少数ショット学習手法を提案する。 メタトレーニングタスクを増やすために、さまざまなバッチレベルでパラメータを変更します。 また,変分法を取り入れた学習的変分特徴階層も導入する。
  論文  参考訳（メタデータ） (2023-05-17T15:47:47Z)
• PaCo: Parameter-Compositional Multi-Task Reinforcement Learning [44.43196786555784]
  これらの課題に対処するために,パラメータ合成アプローチ(PaCo)を導入する。 すべての単一タスクに対するポリシーはこの部分空間にあり、学習された集合と補間することで構成できる。 メタワールドベンチマークの最先端性能を実証し,提案手法の有効性を検証した。
  論文  参考訳（メタデータ） (2022-10-21T01:00:10Z)
• Exploring Relational Context for Multi-Task Dense Prediction [76.86090370115]
  我々は,共通バックボーンと独立タスク固有のヘッドで表される,密集予測タスクのためのマルチタスク環境を考える。 マルチタスク設定では,グローバルやローカルなど,さまざまな注意に基づくコンテキストを探索する。 タスクペアごとに利用可能なすべてのコンテキストのプールをサンプリングするAdaptive Task-Relational Contextモジュールを提案する。
  論文  参考訳（メタデータ） (2021-04-28T16:45:56Z)
• Adaptive Procedural Task Generation for Hard-Exploration Problems [78.20918366839399]
  ハード探索問題における強化学習を容易にするために,適応手続きタスク生成(APT-Gen)を導入する。 私たちのアプローチの中心は、ブラックボックスの手続き生成モジュールを通じてパラメータ化されたタスク空間からタスクを作成することを学習するタスクジェネレータです。 学習進捗の直接指標がない場合のカリキュラム学習を可能にするために,生成したタスクにおけるエージェントのパフォーマンスと,対象タスクとの類似性をバランスさせてタスクジェネレータを訓練することを提案する。
  論文  参考訳（メタデータ） (2020-07-01T09:38:51Z)
• Multi-Task Reinforcement Learning with Soft Modularization [25.724764855681137]
  マルチタスク学習は強化学習において非常に難しい問題である。 この最適化問題を緩和するために,ポリシー表現に明示的なモジュール化手法を導入する。 提案手法は,強いベースライン上でのサンプリング効率と性能を,大きなマージンで向上することを示す。
  論文  参考訳（メタデータ） (2020-03-30T17:47:04Z)
• Meta Reinforcement Learning with Autonomous Inference of Subtask Dependencies [57.27944046925876]
  本稿では,タスクがサブタスクグラフによって特徴づけられるような,新しい数発のRL問題を提案し,対処する。 メタ政治を直接学習する代わりに、Subtask Graph Inferenceを使ったメタラーナーを開発した。 実験の結果,2つのグリッドワールド領域とStarCraft II環境において,提案手法が潜在タスクパラメータを正確に推定できることが確認された。
  論文  参考訳（メタデータ） (2020-01-01T17:34:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。