論文の概要: Pessimistic Latent Task-aware Optimization for Robust Offline Meta-Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2610.15428v1
• Date: Sun, 11 Oct 2026 08:03:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:15.210605
• Title: Pessimistic Latent Task-aware Optimization for Robust Offline Meta-Reinforcement Learning
• Title（参考訳）: ロバストオフラインメタ強化学習のための悲観的潜在タスク認識最適化
• Abstract要約: 悲観的潜在タスク認識最適化は、トレーニング中に非サポート潜在タスクに対してポリシーを公開することを示す。 摂動は、制御可能なマージンでトレーニング支援を残していることを証明します。 我々は、経験的に証明された明示的な条件を与え、そこで摂動された潜伏状態における不一致がゼロから遠ざかる。
• 参考スコア（独自算出の注目度）: 15.909660836365928
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Context-based offline meta-reinforcement learning (COMRL) has advanced almost entirely through better task representations, which separate task identity from artifacts of the behavior policy so that the latent reflects the task alone. The implicit expectation has been that a clean representation will transfer to out-of-support (parameter-extrapolation) tasks. On such a task, however, the encoder produces a latent outside the training support, where the policy has never been trained. We address this gap with Pessimistic Latent Task-aware Optimization (PLATO), which exposes the policy to off-support latents during training. PLATO assumes a mild manifold hypothesis: task latents lie on a low-dimensional manifold, and out-of-support tasks lie farther from the training centroid. It exploits this geometry by perturbing inferred latents outward from the centroid to synthesize counterfactual tasks. A learned decoder ensemble then rolls out short trajectories at each perturbed latent, and the policy is updated on the imagined transitions under a pessimism weight that down-weights steps on which the ensemble disagrees. We prove that the perturbation leaves the training support by a controllable margin and that the out-of-support generalization gap is bounded by the same perturbation reach, and we give explicit conditions, verified empirically, under which the epistemic disagreement at the perturbed latent stays bounded away from zero. On eight MuJoCo continuous-control benchmarks, PLATO consistently improves out-of-support returns over strong COMRL baselines while remaining competitive on in-distribution tasks. Our code is available at https://github.com/deephoony/plato.
• Abstract（参考訳）: コンテキストベースのオフラインメタ強化学習(COMRL)は、タスク表現の改善によってほぼ完全に進歩し、タスクアイデンティティを行動ポリシーのアーティファクトから切り離して、潜在者がタスクのみを反映するようにしている。 暗黙的な期待は、クリーンな表現がサポート外(パラメータ外)タスクに移行することである。 しかし、そのようなタスクでは、エンコーダはトレーニングサポートの外で潜伏者を生成する。 このギャップは、トレーニング中に非サポートの潜伏者に対してポリシーを公開するPussimistic Latent Task-Aware Optimization (PLATO) によって解決される。 PLATO は軽度多様体の仮説を仮定する: タスクラテントは低次元多様体上にあり、サポート外タスクはトレーニングセントロイドから遠く離れている。 この幾何学は、遠心部から外向きに推論された潜伏剤を摂動させ、反現実的なタスクを合成することによって、この幾何学を利用する。 学習されたデコーダのアンサンブルは、各乱れた潜伏者に対して短い軌跡をロールアウトし、このポリシーは、アンサンブルが反対するステップを下降する悲観的な重みの下で、想像上の遷移に基づいて更新される。 摂動がトレーニング支援を制御可能なマージンで残し、サポート外一般化ギャップが同じ摂動範囲で束縛されていることを証明し、経験的に実証された明示的な条件を提示する。 8つの MuJoCo の連続制御ベンチマークでは、PLATO は強い COMRL ベースラインよりもサポート外リターンを継続的に改善し、分散タスクでは競争力を維持している。 私たちのコードはhttps://github.com/deephoony/plato.comで公開されています。

関連論文リスト

• ARISE-RL: Agentic Rubric-Grounded Iterative Self-Evolution with Reinforcement Learning [74.19730275669227]
  ARISE-RLは、オープンエンドエージェントをトレーニングするための新しいフルサイクルの自己進化フレームワークである。 Reward-Gated Self-Evolution Distillation (RG-SED)を提案する。 ECR-Benchは,シングルツールディープリサーチとマルチツールトラベルプランニングを対象とする,専門家校正型ルーリックベンチマークスイートである。
  論文  参考訳（メタデータ） (2026-09-01T10:54:13Z)
• HERO: Hindsight-Enhanced Reflection from Environment Observations for Agentic Self-Distillation [50.53459634301361]
  HEROは、次の環境観測を局所的に整列したフィードバックとして利用する、後向きの自己蒸留フレームワークである。 HEROはタスク成功を改善し、環境フィードバックのみの自己蒸留とGRPOに対する不要なターンを減らす。
  論文  参考訳（メタデータ） (2026-06-10T01:35:34Z)
• Self-evolving LLM agents with in-distribution Optimization [60.05867547965365]
  大規模言語モデル(LLM)は最近、複雑な環境で対話的なエージェントのための強力なコントローラとして登場した。 本稿では,自動プロセス・リワードラベリングとポリシー学習を統一するLDMエージェントの自己進化フレームワークであるQ-Evolveを提案する。 我々は,AlfWorld,WebShop,ScienceWorldの手法を評価し,Q-Evolveがサンプル効率,堅牢性,全体的なタスク性能において高いベースラインを達成していることを示す。
  論文  参考訳（メタデータ） (2026-06-05T15:09:52Z)
• Behavior-Invariant Task Representation Learning with Transformer-based World Models for Offline Meta-Reinforcement Learning [13.491848927208373]
  本稿では,情報理論に基づくタスク表現学習とトランスフォーマーに基づく世界モデルを統合する新しいフレームワークを提案する。 本手法は, 安定度が向上し, アウト・オブ・ディストリビューション, スパース・リワード設定に優れ, 最先端の手法よりも優れる。
  論文  参考訳（メタデータ） (2026-05-30T15:53:03Z)
• Multi-scale Predictive Representations for Goal-conditioned Reinforcement Learning [16.445856792021726]
  Ms.PRは、マルチスケールの予測監督を活用して、潜在空間内でゴール指向のアライメントを強制するフレームワークである。 我々は、Ms.PRが、視覚と状態に基づくタスクの両方において、表現品質の向上と強力なパフォーマンスをもたらすことを実証した。
  論文  参考訳（メタデータ） (2026-05-10T06:27:20Z)
• Modular Continual Learning via Zero-Leakage Reconstruction Routing and Autonomous Task Discovery [0.9137554315375919]
  ニューラルネットワークのシーケンシャルなタスク学習において、破滅的な忘れは依然として主要なハードルである。 本稿では,タスク特化専門家と分散型外乱型ゲートキーパーを用いた構造パラメータ分離を実現するシリコンネイティブなモジュールアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2026-04-15T19:48:40Z)
• No Global Plan in Chain-of-Thought: Uncover the Latent Planning Horizon of LLMs [65.783709850324]
  この研究は、Chain-of-Thought (CoT): Large Language Models (LLMs)の力学に関する先行的な補完的な観察に由来する。 LLMは、CoTの出現前の後続の推論の遅延計画を示すため、明示的なCoTの重要性は低下する。 各種タスク領域にまたがる隠れ状態に適用し,LLMの潜在計画強度について検討する。
  論文  参考訳（メタデータ） (2026-02-02T13:46:56Z)
• Provable Benefit of Curriculum in Transformer Tree-Reasoning Post-Training [76.12556589212666]
  学習後のカリキュラムは指数関数的複雑性のボトルネックを回避していることを示す。 結果のみの報酬信号の下では、強化学習の微調整は、サンプルの複雑さを高い精度で達成する。 カリキュラムを意識したクエリにより、報奨託書の呼び出しとサンプリングコストの両方を指数関数的に削減するテストタイムスケーリングの保証を確立する。
  論文  参考訳（メタデータ） (2025-11-10T18:29:54Z)
• BOTS: A Unified Framework for Bayesian Online Task Selection in LLM Reinforcement Finetuning [82.925106913459]
  強化微調整(Reinforcement Finetuning, RFT)は、大規模言語モデル(LLM)を人間の嗜好と整合させ、推論を強化するための重要な手法である。 RFT強化微調整におけるベイズオンラインタスク選択のための統合フレームワークBOTSを紹介する。
  論文  参考訳（メタデータ） (2025-10-30T11:15:23Z)
• Towards Robust Bisimulation Metric Learning [3.42658286826597]
  ビシミュレーションメトリクスは、表現学習問題に対する一つの解決策を提供する。 非最適ポリシーへのオン・ポリティクス・バイシミュレーション・メトリクスの値関数近似境界を一般化する。 これらの問題は、制約の少ない力学モデルと、報酬信号への埋め込みノルムの不安定な依存に起因する。
  論文  参考訳（メタデータ） (2021-10-27T00:32:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。