論文の概要: Before We Adapt: The Zero-Shot Generalization Bottleneck in Continual World Models

• arxiv url: http://arxiv.org/abs/2610.41041v1
• Date: Thu, 29 Oct 2026 22:32:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-02 22:05:31.509704
• Title: Before We Adapt: The Zero-Shot Generalization Bottleneck in Continual World Models
• Title（参考訳）: 我々が適応する前に: 連続世界モデルにおけるゼロショット一般化ボトルネック
• Abstract要約: 継続的な強化学習では、エージェントは可能な限り事前知識を再利用しながら環境変化の下で活動する必要がある。 モデルに基づく強化学習がこの設定に有望なフレームワークを提供すると我々は主張する。 行動規則が変更されていない場合の直接再利用について検討する。 ゼロショットの再利用は、物理的コンテキストの変化によって著しく劣化する。
• 参考スコア（独自算出の注目度）: 3.4219049032524804
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Continual reinforcement learning (CRL) requires agents to operate under environmental changes while reusing prior knowledge whenever possible. We argue that model-based reinforcement learning provides a promising framework for this setting because learned world models (WMs) can, in principle, support change detection, knowledge reuse, adaptation, and acquisition of new knowledge. However, such benefits depend heavily on whether the learned model can generalize beyond the contexts in which it was trained. In this work, we propose to formulate this problem with a contextual Markov decision process in which context is decomposed into behavioral and physical components. This view organizes continual WM learning into reuse, adaptation, and acquisition of new knowledge. As a first step, we study direct reuse when behavioral rules remain unchanged. Using Dyna-Q and TD-MPC in controlled FourRooms tasks, we find that zero-shot reuse can degrade substantially under physical-context changes and that this behavior depends strongly on the observation representation used by the WM. Additional ablation studies and latent-space diagnostics suggest that learned representations do not automatically provide the invariances needed for reuse. These results identify representation generalization as an important bottleneck for reliable world-model reuse in CRL.
• Abstract（参考訳）: 継続的強化学習(CRL)では、エージェントは可能な限り事前知識を再利用しながら環境変化の下で活動する必要がある。 学習世界モデル(WM)は、原則として、変化検出、知識の再利用、適応、新しい知識の獲得をサポートすることができるため、モデルに基づく強化学習は、この設定に有望な枠組みを提供すると我々は主張する。 しかし、そのような利点は、学習されたモデルが訓練された文脈を超えて一般化できるかどうかに大きく依存する。 本研究では,この問題を文脈的マルコフ決定プロセスで定式化し,文脈を行動的・身体的要素に分解する手法を提案する。 この視点は、継続的なWM学習を、新しい知識の再利用、適応、獲得に編成する。 最初のステップとして、動作規則が変更されていない場合の直接再利用について検討する。 制御されたFourRoomsタスクにおいて、Dyna-QとTD-MPCを用いることで、ゼロショットの再利用は物理的コンテキスト変化の下で大幅に劣化し、この挙動はWMが使用する観測表現に強く依存する。 追加のアブレーション研究と潜在空間診断は、学習された表現が再利用に必要な不変性を自動的に提供していないことを示唆している。 これらの結果は,表現一般化をCRLにおける信頼性のある世界モデル再利用の重要なボトルネックとみなす。

関連論文リスト

• ReCAP: Retrieval-Guided Capability Reuse for Multimodal Continual Instruction Tuning [53.43775325949729]
  マルチモーダル・インストラクション・チューニングの目的は,マルチモーダルな大規模言語モデルがシーケンシャルタスクから新たな機能を獲得できるようにすることである。 既存の方法は、パラメータの更新を制限したり、タスク固有の適応を分離することで、破滅的な忘れを軽減します。 本稿では,外部知識を活用した検索誘導型フレームワークReCAPを提案する。
  論文  参考訳（メタデータ） (2026-09-29T15:56:11Z)
• Benchmarking World Models for Continual Learning on Compositional Tasks [14.560880629883394]
  ロボット操作における世界モデルのための構成連続学習ベンチマークを提案する。 具体的には、各タスクカリキュラムを、シーケンスで見られるタスクの側面を組み合わせた構成タスクで設計する。 我々は,動的バックボーンが再利用可能なコンポーネントを含むモジュール型世界モデルとともに,正準連続学習手法による最先端世界モデルの評価を行った。
  論文  参考訳（メタデータ） (2026-09-18T17:46:28Z)
• When Does Continual Learning Require Learning [68.55508958298942]
  継続的学習は単一の能力ではないことを示す。 環境変化の異なるパターンは、根本的に異なる更新動作を必要とする。 それぞれの手法が成功するか、失敗するかを理解することが、より強力な継続的学習システムの設計を導くことを願っている。
  論文  参考訳（メタデータ） (2026-07-08T18:27:40Z)
• CASCADE: Case-Based Continual Adaptation for Large Language Models During Deployment [35.81483031531396]
  大規模言語モデル(LLM)は現代の人工知能の基盤となっている。 本稿では、LCMライフサイクルの第3段階としてデプロイメント時学習(DTL)を定式化する。 本稿では、LCMエージェントに明示的で進化するエピソードメモリを装備するフレームワークであるCASCADEについて述べる。
  論文  参考訳（メタデータ） (2026-05-05T12:16:59Z)
• Composite Learning Units: Generalized Learning Beyond Parameter Updates to Transform LLMs into Adaptive Reasoners [0.0]
  連続学習が可能な学習者へ推論器を変換する複合学習ユニット(CLU)を導入する。 CLUは、動的知識リポジトリの保守と進化を可能にするアーキテクチャ上に構築されている。 我々は暗号推論タスクを通じてCLUの有効性を実証し、フィードバックを通じて理解を継続的に進化させ、隠れた変換規則を明らかにする。
  論文  参考訳（メタデータ） (2024-10-09T02:27:58Z)
• A Unified and General Framework for Continual Learning [58.72671755989431]
  継続学習(CL)は、以前取得した知識を維持しながら、動的かつ変化するデータ分布から学ぶことに焦点を当てている。 正規化ベース、ベイズベース、メモリ再生ベースなど、破滅的な忘れ込みの課題に対処する様々な手法が開発されている。 本研究の目的は,既存の方法論を包含し,整理する包括的かつ包括的な枠組みを導入することで,このギャップを埋めることである。
  論文  参考訳（メタデータ） (2024-03-20T02:21:44Z)
• Mitigating Catastrophic Forgetting in Task-Incremental Continual Learning with Adaptive Classification Criterion [50.03041373044267]
  本稿では,継続的学習のための適応型分類基準を用いた教師付きコントラスト学習フレームワークを提案する。 実験により, CFLは最先端の性能を達成し, 分類基準に比べて克服する能力が強いことが示された。
  論文  参考訳（メタデータ） (2023-05-20T19:22:40Z)
• Contextualize Me -- The Case for Context in Reinforcement Learning [49.794253971446416]
  文脈強化学習(cRL)は、このような変化を原則的にモデル化するためのフレームワークを提供する。 我々は,cRLが有意義なベンチマークや一般化タスクに関する構造化推論を通じて,RLのゼロショット一般化の改善にどのように貢献するかを示す。
  論文  参考訳（メタデータ） (2022-02-09T15:01:59Z)
• Fractional Transfer Learning for Deep Model-Based Reinforcement Learning [0.966840768820136]
  強化学習(Reinforcement Learning, RL)は、RLエージェントが複雑なタスクを実行することを学ぶために大量のデータを必要とすることで知られている。 モデルベースRLの最近の進歩により、エージェントはずっとデータ効率が良い。 簡単な代替手法として、分数変換学習を提案する。
  論文  参考訳（メタデータ） (2021-08-14T12:44:42Z)
• Dynamics Generalization via Information Bottleneck in Deep Reinforcement Learning [90.93035276307239]
  本稿では,RLエージェントのより優れた一般化を実現するために,情報理論正則化目標とアニーリングに基づく最適化手法を提案する。 迷路ナビゲーションからロボットタスクまで、さまざまな領域において、我々のアプローチの極端な一般化の利点を実証する。 この研究は、タスク解決のために冗長な情報を徐々に取り除き、RLの一般化を改善するための原則化された方法を提供する。
  論文  参考訳（メタデータ） (2020-08-03T02:24:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。