論文の概要: The World Model Remembers, the Actor Forgets: Dream Rehearsal for Continual Model-Based RL

• arxiv url: http://arxiv.org/abs/2607.19749v1
• Date: Wed, 22 Jul 2026 04:46:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-23 18:51:37.978434
• Title: The World Model Remembers, the Actor Forgets: Dream Rehearsal for Continual Model-Based RL
• Title（参考訳）: 世界モデルが思い出す、連続モデルベースRLの夢のリハーサル
• Abstract要約: 強化学習エージェントは、タスクシーケンスでトレーニングされたときに破滅的に忘れる。 我々は,この方式を忘れることはチャネルの問題であり,記憶の問題ではないことを示した。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Model-based reinforcement-learning agents of the DreamerV3 family forget catastrophically when trained on task sequences, even when an unbounded replay buffer preserves every earlier experience. We ask a question the continual-RL literature has assumed an answer to but never measured: which component forgets? Under never-clear replay, pre-registered component-level probes (n=3 seeds throughout) show that the world model retains essentially everything measurable about old tasks -- reward discrimination (retention ratio ~1.0), value estimates, and termination structure -- while the actor's behavior collapses. Forgetting in this regime is a channel problem, not a memory problem. We demonstrate this by intervention: with the world model frozen and identical imagined rollouts, reinforcement learning in imagination fails to recover a lost skill (0/3 seeds), while supervised self-imitation on the world model's own graded dreams recovers it on 3/3 seeds with zero environment interaction. Interleaved during training, this graded dream rehearsal yields a task-label-free, parameter-constant continual learner: 3/3 four-task chains retained where plain replay passes 0/3, 3/3 eight-task chains, and consistent gains over matched real-episode cloning (paired difference +0.13, bootstrap 95% CI [0.07, 0.24], complete seed separation). The dream-grading step is load-bearing: we characterize two scoring failure modes, provide an offline selection gauge that caught both before they contaminated results, and give a realized-first grading rule that closes them. All experiments were pre-registered with committed protocols; every refuted hypothesis is reported.
• Abstract（参考訳）: モデルベースのDreamerV3ファミリーの強化学習エージェントは、非バウンドリプレイバッファが初期の経験をすべて保存している場合でも、タスクシーケンスでトレーニングされた時に破滅的に忘れる。 連続RL文学は、どのコンポーネントが忘れているのか? 明確でないリプレイの下では、事前登録されたコンポーネントレベルのプローブ(n=3シード)は、世界モデルが基本的に古いタスクについて測定可能なすべてのもの(報酬の差別(保持率 ~1.0)、価値見積、終了構造)を保持し、アクターの振る舞いが崩壊することを示している。 この体制での蓄積はチャネルの問題であり、メモリの問題ではない。 我々は、世界モデルが凍結し、同じ想像上のロールアウトによって、想像力の強化学習は、失われたスキル(0/3シード)を回復するのに失敗する一方で、世界モデル自身のグレードドドドリームを監督する自己イメージは、環境相互作用のない3/3シードでそれを回復する。 トレーニング中にインターリーブされたこのグレードドドリームリハーサルは、タスクラベルのないパラメータ・コンスタントな連続学習者を生成する: 3/3の4タスク・チェーンは、平易なリプレイが0/3, 3/3の8タスク・チェーンを通ったまま保持され、マッチした実エピソード・クローン(paired difference +0.13, bootstrap 95% CI [0.07, 0.24], complete seed separation)よりも一貫したゲインを得る(paired difference +0.13, bootstrap 95% CI [0.07, 0.24])。 2つのスコアリング障害モードを特徴付け、結果が汚染される前に両方をキャッチするオフライン選択ゲージを提供し、それらを閉じる実現第一段階のグレーティングルールを与えます。 全ての実験はコミットされたプロトコルで事前登録され、全ての反証された仮説が報告される。

関連論文リスト

• The Intervention Gap in Latent World Models [0.0]
  計画時介入の忠実さは、学習された世界モデルの際立った、測定可能な特性である。 リリースされたTD-MPC2チェックポイントサイズ全体で、タスクオブザーバのオペレータエラー診断が増加するにつれて、エピソードリターンが減少する。 タスク信号無しで訓練された自己教師付き世界モデルは、共有タスク上のタスク選択モデルよりもかなり優れた演算子を保存する。
  論文  参考訳（メタデータ） (2026-08-30T19:47:51Z)
• Forget Narrowly, Retain Broadly: Unlearning as an Asymmetric Generalization Problem [16.147107064302435]
  本研究では,現実のファクト・ドメインの無視保持構造をキャプチャするプロトコルと学習コーパスを開発する。 JensUn++は,3つのLLM間での最高の忘れがちなユーティリティトレードオフを実現する未学習アルゴリズムである。
  論文  参考訳（メタデータ） (2026-07-10T09:31:29Z)
• The Orthogonalized Read Is a Removable Training Scaffold for Recurrent Memory [0.0]
  効果は再現されるが、メモリ改善ではない。 この任務の訓練は、急激な脱出に続き、長い確率の台地である。 公開された利益の多くは、アーキテクチャをまったく必要としない。
  論文  参考訳（メタデータ） (2026-07-02T18:54:23Z)
• Robust Dreamer: Deviation-Aware Latent Gaussian Memory for Action-Controlled AR Video Generation [89.70897512515477]
  アクション制御された画像対ビデオ生成は、インタラクティブな世界シミュレーションにおいて有望なパラダイムであり、各制御信号が即時視覚応答を誘発する。 長時間の自己回帰的なロールアウトに対する視覚的忠実さと3D一貫性を維持することは依然として難しい。 既存の3D認識手法は、textitLatent--RGB Cyclingからの情報損失と、textiterror-free仮説によって引き起こされるトレーニング-推論ギャップという2つの障害により、破滅的なドリフトに悩まされることが多い。 textbfRobust Dreamerという,メモリ拡張フレームワークについて紹介する。
  論文  参考訳（メタデータ） (2026-05-29T05:21:33Z)
• Unlearners Can Lie: Evaluating and Improving Honesty in LLM Unlearning [19.83087496179494]
  大規模言語モデル(LLM)におけるアンラーニングは、全体的なユーティリティを保ちながら有害なトレーニングデータを削除することを目的としている。 既存の方法は、しばしば幻覚、異常なトークン配列の生成、不整合な振る舞い、安全と信頼の懸念を高める。 本稿では,保持された知識に対する実用性と誠実さの両立を含む,非学習的誠実さの形式的定義を提案する。
  論文  参考訳（メタデータ） (2026-05-09T07:50:27Z)
• SHRED: Retain-Set-Free Unlearning via Self-Distillation with Logit Demotion [39.17638540496959]
  SHRED (Self-distillation via High-surprisal-only Retain-free Entropy Demotion) は、キーインサイトに基づいて構築された、保持セットなしのアンラーニング手法である。 高情報トークンはモデルの記憶された知識に集中し、低情報トークンは一般的な言語能力を反映する。 SHREDは再学習攻撃やメンバシップ推論攻撃に対して堅牢であり、連続的なアンラーニングの実行が多数あった後も安定したユーティリティを維持している。
  論文  参考訳（メタデータ） (2026-05-08T09:25:18Z)
• Not Every Subject Should Stay: Machine Unlearning for Noisy Engagement Recognition [53.005382593686356]
  エンゲージメント認識データセットは典型的には主観的インデクシングであり、しばしば騒々しく主観的な監督を含んでいる。 本研究では、この設定を、エンゲージメント認識のためのポストホック衛生機構として、主観レベルマシンアンラーニングを通して研究する。
  論文  参考訳（メタデータ） (2026-05-06T10:03:06Z)
• A Rubric-Supervised Critic from Sparse Real-World Outcomes [87.11204512676193]
  現実のコーディングエージェントは、成功信号がノイズが多く、遅延し、スパースであるループで人間と動作します。 本稿では,RLに基づくトレーニングや推論時間スケーリングの報奨モデルとして,スパースとノイズの相互作用データから"批判的"モデルを学習するプロセスを提案する。
  論文  参考訳（メタデータ） (2026-03-04T07:23:54Z)
• Learning under noisy supervision is governed by a feedback-truth gap [0.0]
  タスク構造を評価できるよりも早くフィードバックが吸収されると、学習者は真実よりもフィードバックを優先する。 我々は、ノイズラベル(30データセット、2700ラン)、人間の確率的リバースラーニング(N = 292)、同時脳波(N = 25)でトレーニングされたニューラルネットワークでこの予測を検証した。 このギャップは、ノイズの多い監督の下での学習の基本的な制約であり、その結果は各システムが採用する規制に依存する。
  論文  参考訳（メタデータ） (2026-02-18T19:50:56Z)
• Train for Truth, Keep the Skills: Binary Retrieval-Augmented Reward Mitigates Hallucinations [103.16279860448874]
  新たな二分探索強化報酬(RAR)を用いたオンライン強化学習手法を提案する。 オープンエンド世代では、バイナリRARは幻覚率を39.3%減少させる。 短い形式の質問応答では、モデルは、パラメトリック知識の不足に直面した時に、戦略的に"I don't know"を出力して、控えめに学習する。
  論文  参考訳（メタデータ） (2025-10-20T16:45:43Z)
• Warp Consistency for Unsupervised Learning of Dense Correspondences [116.56251250853488]
  密接な対応を学習する上で重要な課題は、実画像対に対する地道整合の欠如である。 密な対応回帰のための教師なし学習目標であるWarp Consistencyを提案する。 私たちのアプローチは、MegaDepth、RobotCar、TSSなど、いくつかの挑戦的なベンチマークに新しい最先端を設定します。
  論文  参考訳（メタデータ） (2021-04-07T17:58:22Z)
• Automatic Recall Machines: Internal Replay, Continual Learning and the Brain [104.38824285741248]
  ニューラルネットワークのリプレイには、記憶されたサンプルを使ってシーケンシャルなデータのトレーニングが含まれる。 本研究では,これらの補助サンプルをフライ時に生成する手法を提案する。 代わりに、評価されたモデル自体内の学習したサンプルの暗黙の記憶が利用されます。
  論文  参考訳（メタデータ） (2020-06-22T15:07:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。