論文の概要: Behavior-Invariant Task Representation Learning with Transformer-based World Models for Offline Meta-Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2606.00780v1
• Date: Sat, 30 May 2026 15:53:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-02 21:34:28.771521
• Title: Behavior-Invariant Task Representation Learning with Transformer-based World Models for Offline Meta-Reinforcement Learning
• Title（参考訳）: オフラインメタ強化学習のためのトランスフォーマーに基づく世界モデルを用いた行動不変タスク表現学習
• Abstract要約: 本稿では,情報理論に基づくタスク表現学習とトランスフォーマーに基づく世界モデルを統合する新しいフレームワークを提案する。 本手法は, 安定度が向上し, アウト・オブ・ディストリビューション, スパース・リワード設定に優れ, 最先端の手法よりも優れる。
• 参考スコア（独自算出の注目度）: 13.491848927208373
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Offline meta-reinforcement learning leverages static datasets to enable agents to generalize to unseen environments by combining offline efficiency with meta-learning adaptability, yet it faces key challenges from context and policy distribution shifts. These issues hinder agents from adapting to online environments, and are further exacerbated under sparse-reward settings. As a result, agents often become trapped in an inherent pattern dilemma, failing to achieve robust generalization. In this work, we propose a novel framework that integrates information-theoretic task representation learning with a Transformer-based stochastic world model. Our approach extracts task-defining latent variables that are invariant to behavior policy, thereby effectively mitigating the context distribution shift. To further handle policy shift and model exploitation, we apply a conservative value penalty to imagination-based rollouts, preventing the policy from exploiting model inaccuracies while maintaining robust adaptation. Extensive evaluations demonstrate that our method outperforms state-of-the-art approaches, with superior stability and generalization under out-of-distribution and sparse-reward settings.
• Abstract（参考訳）: オフラインのメタ強化学習は静的データセットを活用し、オフライン効率とメタ学習適応性を組み合わせることで、エージェントが見えない環境に一般化できるようにする。 これらの問題は、エージェントがオンライン環境に適応するのを妨げ、スパース・リワード・セッティングの下でさらに悪化している。 その結果、エージェントはしばしば固有のパターンジレンマに閉じ込められ、堅牢な一般化を達成できなかった。 本研究では,情報理論に基づくタスク表現学習とトランスフォーマーに基づく確率的世界モデルを統合する新しいフレームワークを提案する。 提案手法は,動作方針に不変なタスク定義潜時変数を抽出し,コンテキスト分布シフトを効果的に軽減する。 政策シフトとモデルエクスプロイトを更に扱うために、我々は、イマジネーションベースのロールアウトに保守的な価値ペナルティを適用し、ロバストな適応を維持しつつ、モデル不正確さを悪用することを防止する。 本手法は, 分散状態とスパース・リワード条件下での安定性, 一般化に優れ, 最先端手法よりも優れることを示す。

関連論文リスト

• Policy-Based Reinforcement Learning with Action Masking for Dynamic Job Shop Scheduling under Uncertainty: Handling Random Arrivals and Machine Failures [3.2880869992413246]
  本稿では、不確実性の下で動的ジョブショップスケジューリング問題を解決するための新しいフレームワークを提案する。 提案手法は,スケジュール環境を表現するためにColoured Timed Petri Netsを用いて,モデルに基づくパラダイムに従う。 我々は,動的JSSPベンチマークの実験を行い,提案手法が従来型の最小化とルールベースのアプローチを,メイスパンの観点から一貫して上回っていることを示す。
  論文  参考訳（メタデータ） (2026-01-14T08:53:46Z)
• MAESTRO: Meta-learning Adaptive Estimation of Scalarization Trade-offs for Reward Optimization [56.074760766965085]
  大規模言語モデル(LLM)の整合性のための効率的なパラダイムとしてグループ相対政策最適化が登場している。 我々は,報酬スカラー化を動的潜在ポリシーとして扱い,モデルの終端隠蔽状態を意味的ボトルネックとして活用するMAESTROを提案する。 本稿では,軽量コンダクタネットワークがメタリワード信号としてグループ相対的優位性を生かしてポリシと共進化する,双方向最適化フレームワークにおけるコンテキスト的帯域幅問題としてこれを定式化する。
  論文  参考訳（メタデータ） (2026-01-12T05:02:48Z)
• Balance Equation-based Distributionally Robust Offline Imitation Learning [8.607736795429638]
  イミテーション・ラーニング(IL)は、報酬関数や明示的なコントローラを手動で設計するロボットや制御タスクに非常に効果的であることが証明されている。 標準のILメソッドは、トレーニングとデプロイメントの間に環境のダイナミクスが固定されていると暗黙的に仮定します。 バランス方程式に基づく分散ロバストオフライン学習を通じてこの問題に対処する。 不確実な遷移モデルの集合に対する分布論的にロバストな最適化としてこの問題を定式化し、最悪の遷移分布の下での模倣損失を最小限に抑える政策を求める。
  論文  参考訳（メタデータ） (2025-11-11T07:48:09Z)
• Multi-Modal Manipulation via Multi-Modal Policy Consensus [62.49978559936122]
  本稿では,ロボット操作のための多様な感覚モダリティを統合するための新しいアプローチを提案する。 提案手法は,それぞれが単一の表現に特化している拡散モデルの集合にポリシーを分解する。 我々は、RLBenchにおけるシミュレーション操作タスクと、隠蔽対象のピック、手作業のスプーン再配向、パズル挿入といった実世界のタスクについて評価した。
  論文  参考訳（メタデータ） (2025-09-27T19:43:04Z)
• Model-Based Offline Reinforcement Learning with Adversarial Data Augmentation [36.9134885948595]
  本稿では,AdversariaLデータ拡張を用いたモデルベースオフライン強化学習について紹介する。 MoRALでは,エンサンブルモデルと交互サンプリングを行うために,エンサンブルデータ拡張を用いて固定水平線ロールアウトを置き換える。 D4RLベンチマークの実験では、MORALはポリシー学習やサンプル効率の観点から、他のモデルベースのオフラインRLメソッドよりも優れていた。
  論文  参考訳（メタデータ） (2025-03-26T07:24:34Z)
• HarmoDT: Harmony Multi-Task Decision Transformer for Offline Reinforcement Learning [72.25707314772254]
  本稿では,各タスクに対するパラメータの最適な調和部分空間を特定するための新しいソリューションであるHarmoDT(Harmony Multi-Task Decision Transformer)を紹介する。 このフレームワークの上位レベルは、調和部分空間を規定するタスク固有のマスクの学習に特化しており、内部レベルは、統一されたポリシーの全体的なパフォーマンスを高めるためにパラメータの更新に重点を置いている。
  論文  参考訳（メタデータ） (2024-05-28T11:41:41Z)
• Policy-Guided Diffusion [30.4597043728046]
  多くの現実世界の設定では、エージェントは以前の行動ポリシーによって収集されたオフラインデータセットから学ぶ必要がある。 本稿では,自己回帰的オフライン世界モデルに代わる政策誘導拡散法を提案する。 本研究では,政策誘導拡散モデルが目標分布の正規化形態をモデル化し,目標と行動の両ポリシの下で行動可能性のバランスをとることを示す。
  論文  参考訳（メタデータ） (2024-04-09T14:46:48Z)
• Equivariant Data Augmentation for Generalization in Offline Reinforcement Learning [10.00979536266327]
  オフライン強化学習(RL)における一般化の課題に対処する新しいアプローチを提案する。 具体的には,エージェントのアウト・オブ・ディストリビューション目標への一般化能力の向上を目指す。 我々は、オフラインのオフラインRLアルゴリズムを用いて、拡張データセットに基づいて新しいポリシーをオフラインで学習する。
  論文  参考訳（メタデータ） (2023-09-14T10:22:33Z)
• Offline Reinforcement Learning with Closed-Form Policy Improvement Operators [88.54210578912554]
  行動制約付きポリシー最適化は、オフライン強化学習に対処するための成功パラダイムであることが示されている。 本稿では,閉形式政策改善演算子を提案する。 我々は、標準的なD4RLベンチマークにおいて、最先端アルゴリズムに対するそれらの効果を実証的に実証した。
  論文  参考訳（メタデータ） (2022-11-29T06:29:26Z)
• Distributionally Adaptive Meta Reinforcement Learning [85.17284589483536]
  テスト時間分布シフトの下で適切に振る舞うメタRLアルゴリズムのフレームワークを開発する。 我々の枠組みは、分布のロバスト性に対する適応的なアプローチを中心とし、様々なレベルの分布シフトに対してロバストであるようメタポリスの人口を訓練する。 本研究は, 分散シフト下での後悔を改善するための枠組みを示し, シミュレーションロボティクス問題に対する効果を実証的に示す。
  論文  参考訳（メタデータ） (2022-10-06T17:55:09Z)
• Latent-Variable Advantage-Weighted Policy Optimization for Offline RL [70.01851346635637]
  オフラインの強化学習メソッドは、新しいトランジションを環境に問い合わせる必要なしに、事前にコンパイルされたデータセットから学習ポリシーを保証します。 実際には、オフラインデータセットは、しばしば異種、すなわち様々なシナリオで収集される。 より広範な政策分布を表現できる潜在変数ポリシーを活用することを提案する。 提案手法は,次回のオフライン強化学習法の性能を,異種データセット上で49%向上させる。
  論文  参考訳（メタデータ） (2022-03-16T21:17:03Z)
• A Regularized Implicit Policy for Offline Reinforcement Learning [54.7427227775581]
  オフラインの強化学習は、環境とのさらなるインタラクションなしに、固定データセットから学習を可能にする。 フレキシブルだが十分に調整された完全実装ポリシーの学習を支援するフレームワークを提案する。 D4RLデータセットの実験とアブレーション研究により、我々のフレームワークとアルゴリズム設計の有効性が検証された。
  論文  参考訳（メタデータ） (2022-02-19T20:22:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。