論文の概要: Decision Transformer with Task-Aware Representations for Offline Meta-Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2611.04010v1
• Date: Mon, 02 Nov 2026 21:52:16 GMT
• ステータス: 情報取得中
• システム内更新日: 2026-11-04 17:45:40.332475
• Title: Decision Transformer with Task-Aware Representations for Offline Meta-Reinforcement Learning
• Title（参考訳）: オフラインメタ強化学習のためのタスク認識表現を用いた決定変換器
• Abstract要約: 本稿では,タスク表現を学習するDTベースのオフラインメタRLフレームワークであるContrastive Task-Aware Decision Transformer (CoTA-DT)を提案する。 学習したタスク表現は、DTベースのポリシーの条件付け信号として使用される。 ゼロショットと少数ショットの両方の設定における一般化をさらに支援するために,言語を基盤とした自己適応型戦略を設計する。
• 参考スコア（独自算出の注目度）: 12.581451804329044
• License:
• Abstract: To enable effective generalization in offline meta-RL, it is essential to accurately infer the underlying task through latent task representations, which provide a compact and transferable summary of task-specific characteristics for guiding policy generation. In this paper, we propose Contrastive Task-Aware Decision Transformer (CoTA-DT), a DT-based offline meta-RL framework that learns task representations by jointly integrating four complementary components: (i) contrastive learning from offline trajectories, (ii) alignment with natural-language task descriptions, (iii) one-step supervision via a task-conditioned world model, and (iv) long-term supervision via a task-conditioned Q function. The learned task representations are used as conditioning signals for a DT-based policy, enabling task-aware meta-policy learning. To further support generalization in both zero-shot and few-shot settings, we design a language-grounded, self-adaptive strategy that enables effective and reliable adaptation to unseen tasks. Notably, in CoTA-DT, the pretrained LLM serves as a shared backbone for language encoding, world modeling, Q-function estimation, and policy learning. This unified design facilitates parameter sharing, improving both efficiency and generalization. Extensive experiments across diverse offline meta-RL benchmarks demonstrate that CoTA-DT consistently outperforms prior methods, particularly in challenging zero-shot generalization scenarios.
• Abstract（参考訳）: オフラインメタRLの効率的な一般化を実現するためには,タスク表現の潜時化によるタスクの正確な推論が不可欠である。 本稿では,4つの相補的コンポーネントを統合することでタスク表現を学習するDTベースのオフラインメタRLフレームワークであるContrastive Task-Aware Decision Transformer (CoTA-DT)を提案する。 一 オフラインの軌跡からの対照的な学習 (ii)自然言語のタスク記述との整合性 三 課題条件付き世界モデルによる一段階の監督及び (4)タスク条件Q関数による長期監視。 学習されたタスク表現は、DTベースのポリシーの条件付け信号として使用され、タスク対応のメタ政治学習を可能にする。 ゼロショットと少数ショットの両方の設定における一般化をさらに支援するために,未確認タスクへの効果的かつ信頼性の高い適応を可能にする,言語を基盤とした自己適応型戦略を設計する。 特に、CoTA-DTでは、事前訓練されたLLMは、言語符号化、世界モデリング、Q関数推定、ポリシー学習のための共有バックボーンとして機能する。 この統一された設計はパラメータ共有を促進し、効率と一般化の両方を改善する。 多様なオフラインメタRLベンチマークによる大規模な実験により、CoTA-DTは、特にゼロショットの一般化シナリオにおいて、先行手法よりも一貫して優れていたことが示されている。

関連論文リスト

• Language Model Augmented Decision Transformer for Multi-Task Offline Reinforcement Learning [15.201769654474818]
  オフラインマルチタスク強化学習のためのLanguage-Model Augmented Decision Transformer (LaMA-DT)を提案する。 LaMA-DTは、自然言語によるタスク記述を使用して、タスク整列軌道拡張をガイドする。 Meta-WorldとMuJoCoのマルチタスクベンチマークの実験は、LaMA-DTが競争ベースラインを一貫して上回っていることを示している。
  論文  参考訳（メタデータ） (2026-11-02T22:22:17Z)
• Learning Task Representations from In-Context Learning [67.66042137487287]
  大規模言語モデル(LLM)は、文脈内学習(ICL)において顕著な習熟性を示した。 ICLプロンプトにおけるタスク情報をアテンションヘッドの関数として符号化するための自動定式化を導入する。 提案手法は,テキスト中の実演からタスク固有の情報を抽出し,テキストと回帰タスクの両方で優れる。
  論文  参考訳（メタデータ） (2025-02-08T00:16:44Z)
• Task-Aware Virtual Training: Enhancing Generalization in Meta-Reinforcement Learning for Out-of-Distribution Tasks [4.374837991804085]
  Task-Aware Virtual Training (TAVT)は、トレーニングとアウト・オブ・ディストリビューション(OOD)シナリオの両方のタスク特性をキャプチャする新しいアルゴリズムである。 数値計算の結果,TAVT は様々な MuJoCo および MetaWorld 環境における OOD タスクの一般化を著しく促進することが示された。
  論文  参考訳（メタデータ） (2025-02-05T02:31:50Z)
• Task-Aware Harmony Multi-Task Decision Transformer for Offline Reinforcement Learning [70.96345405979179]
  オフラインマルチタスク強化学習(MTRL)の目的は、オンライン環境相互作用を必要とせず、多様なタスクに適用可能な統一されたポリシーを開発することである。 タスクの内容と複雑さの変化は、政策の定式化において重大な課題を引き起こします。 本稿では,各タスクに対するパラメータの最適な調和部分空間を特定するための新しいソリューションであるHarmoDT(Harmony Multi-Task Decision Transformer)を紹介する。
  論文  参考訳（メタデータ） (2024-11-02T05:49:14Z)
• HarmoDT: Harmony Multi-Task Decision Transformer for Offline Reinforcement Learning [72.25707314772254]
  本稿では,各タスクに対するパラメータの最適な調和部分空間を特定するための新しいソリューションであるHarmoDT(Harmony Multi-Task Decision Transformer)を紹介する。 このフレームワークの上位レベルは、調和部分空間を規定するタスク固有のマスクの学習に特化しており、内部レベルは、統一されたポリシーの全体的なパフォーマンスを高めるためにパラメータの更新に重点を置いている。
  論文  参考訳（メタデータ） (2024-05-28T11:41:41Z)
• Generalizable Task Representation Learning for Offline Meta-Reinforcement Learning with Data Limitations [22.23114883485924]
  本稿では,データ制限に直面した一般化可能なタスク表現を学習するための新しいアルゴリズムGENTLEを提案する。 GENTLEは、タスクの特徴を抽出するために、エンコーダ・デコーダアーキテクチャであるTask Auto-Encoder(TAE)を使用している。 限られた行動多様性の影響を軽減するため,TAEのトレーニングに使用されるデータ分布とテスト中に発生するデータ分布とを整合させる擬似遷移を構築した。
  論文  参考訳（メタデータ） (2023-12-26T07:02:12Z)
• Meta-Reinforcement Learning Based on Self-Supervised Task Representation Learning [23.45043290237396]
  MoSSは、自己監督型タスク表現学習に基づくコンテキストベースメタ強化学習アルゴリズムである。 MuJoCoとMeta-Worldのベンチマークでは、MoSSはパフォーマンス、サンプル効率(3-50倍高速)、適応効率、一般化の点で先行して性能が向上している。
  論文  参考訳（メタデータ） (2023-04-29T15:46:19Z)
• Learning Action Translator for Meta Reinforcement Learning on Sparse-Reward Tasks [56.63855534940827]
  本研究は,訓練作業中の行動伝達子を学習するための,新たな客観的機能を導入する。 理論的には、転送されたポリシーとアクショントランスレータの値が、ソースポリシーの値に近似可能であることを検証する。 本稿では,アクショントランスレータとコンテキストベースメタRLアルゴリズムを組み合わせることで,データ収集の効率化と,メタトレーニング時の効率的な探索を提案する。
  論文  参考訳（メタデータ） (2022-07-19T04:58:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。