論文の概要: Changepoint-Aware World Models: Detecting Dynamics Shifts and Recovering by Forgetting Stale Replay in Model-Based RL

• arxiv url: http://arxiv.org/abs/2609.18950v1
• Date: Wed, 15 Jul 2026 06:25:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-28 05:09:55.577104
• Title: Changepoint-Aware World Models: Detecting Dynamics Shifts and Recovering by Forgetting Stale Replay in Model-Based RL
• Title（参考訳）: 変化点を考慮した世界モデル:モデルベースRLにおける静的リプレイの予測によるダイナミクスシフトの検出と回復
• Abstract要約: Changepoint-Aware World Models (CAWM) はDreamerV3エージェントで、内部の予測エラーから急激なダイナミクスシフトを検出する。 その後、古いリプレイを忘れ、古いデータを流しながら学習した表現を維持します。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: A robot's learned model of its own dynamics is only valid until those dynamics change: actuators wear, payloads shift, and joints stiffen. A model-based agent that keeps training as if nothing happened adapts slowly, dragged back by a replay buffer full of stale experience. We present Changepoint-Aware World Models (CAWM), a DreamerV3 agent that detects an abrupt dynamics shift from its own internal prediction error, using an online CUSUM test against a rolling baseline that fires only on abrupt change rather than on slow learning drift. It then forgets stale replay, keeping the learned representation while flushing obsolete data. On simulated locomotion under two robot-relevant shifts, doubled gravity and halved actuator gain, CAWM recovers substantially faster than passive retraining. It also beats a strong baseline that respawns a fresh dynamics model on detection, the deep-world-model analogue of model-bank methods. With the response triggered at the shift, CAWM gains +95 to +153 return in the first 30k post-shift frames over three seeds, while matching that respawn at asymptote. Running the detector in closed loop reproduces this gain on the gravity shift. The benefit holds across both shift types, and is largest when the shift is severe enough that old data is genuinely obsolete.
• Abstract（参考訳）: ロボットが学習した自身のダイナミクスのモデルは、アクチュエーターの着用、ペイロードのシフト、関節の硬直など、これらのダイナミクスが変化するまで有効である。 何も起こらなかったかのようにトレーニングを継続するモデルベースのエージェントは、古い経験に満ちたリプレイバッファによって引きずられ、ゆっくりと適応する。 本研究では,学習の遅いドリフトではなく,急激な変化にのみ反応するローリングベースラインに対して,オンラインCUSUMテストを用いて,内部予測誤差から急激なダイナミクスシフトを検出するDreamerV3エージェントであるChangepoint-Aware World Models(CAWM)を提案する。 その後、古いリプレイを忘れ、古いデータを流しながら学習した表現を維持します。 2つのロボット関連シフト、二重重力と半ベッドアクチュエータゲインの下での模擬移動について、CAWMは受動的リトレーニングよりもかなり早く回復する。 また、強力なベースラインを破り、モデルバンクメソッドのディープワールドモデルアナログである検出における新しいダイナミックスモデルを再起動する。 反応はシフトによって引き起こされ、CAWMは最初の30kのポストシフトフレームで+95から+153のリターンを得た。 クローズドループでの検出器の実行は、重力シフトにおけるこの利得を再現する。 この利点は、両方のシフトタイプにまたがるものであり、シフトが深刻で古いデータが真に時代遅れである場合に最大である。

関連論文リスト

• Characterizing Replay Retention Under Dynamics Shift in Model-Based Reinforcement Learning [1.376408511310322]
  ロボット力学の変化に適応するには、まだ有用かもしれない経験を捨てることなく、新しいデータから学ぶ必要がある。 近年のリプレイは,リプレイ履歴の完全化よりも好まれる時期について検討する。 古いデータを忘れることは、大きな永久的なシフトの後に役立つが、動的に再帰し、古いデータが再び役に立つようになると問題になる。
  論文  参考訳（メタデータ） (2026-09-16T05:47:10Z)
• Identifying Habit, Physics, and Nuisance in Robot World Models [0.0]
  テレオペレーテッドなデモは、実行されたアクションを考えると、基礎となるダイナミクスがほぼ決定論的である場合でも、しばしばマルチモーダルである。 この多モード性は、通常、行動選択の操作的習慣、共有物理学、観察ニュアンスという3つの要因と、絡み合った次の観測予測因子が3つ全てを吸収する、というものである。
  論文  参考訳（メタデータ） (2026-09-06T00:20:22Z)
• CausalDrive: Real-time Causal World Models for Autonomous Driving [60.66609721457312]
  制御可能でリアルタイムなファンデーション駆動の世界であるCausalDriveを紹介します。 CaulDriveは、最初のフロントビューフレーム、エゴ車両の軌道、マクロテキストプロンプトのみで動作する。 本稿では,(1)衝突アーティファクトを著しく緩和した生成的クローズループ評価,(2)ビデオ2Rewardモジュールによる大規模強化学習(RL)後トレーニング,(3)リアルタイムの人間-イン-ザ・ループシミュレーション,の3つのダウンストリームアプリケーションにおける汎用性を実証する。
  論文  参考訳（メタデータ） (2026-06-13T15:04:44Z)
• Inference-Time Machine Unlearning via Gated Activation Redirection [1.1699531043716684]
  ゲーテッド・アクティベーション・リダイレクト(GUARD-IT)による推論時間学習の導入 GUARD-ITは入力依存のアクティベーションステアリングを推論時に解き放ち、モデルの重みはそのまま残す。 TOFUとMUSEの実験では、GUARD-ITは3つのモデルスケールで12の勾配ベースラインと一致するか、あるいは超えている。
  論文  参考訳（メタデータ） (2026-05-12T21:26:25Z)
• RDumb++: Drift-Aware Continual Test-Time Adaptation [0.0]
  継続的テスト時間適応(Continuous Test-Time Adaptation)は、入ってくる未ラベルのデータストリームのみを使用して、デプロイ中に事前トレーニングされたモデルを更新する。 本稿では,RDumbの原理的拡張であるRDumb++を提案する。 RDumb++はRDumbを一貫して上回り、絶対精度は3%向上した。
  論文  参考訳（メタデータ） (2026-01-22T00:20:23Z)
• RoHM: Robust Human Motion Reconstruction via Diffusion [58.63706638272891]
  RoHMは、モノクロRGB(-D)ビデオから頑健な3次元人間の動きを復元するためのアプローチである。 ノイズと閉鎖された入力データに条件付けし、一貫した大域座標で完全な可塑性運動を再構成した。 本手法は,テスト時に高速でありながら,定性的かつ定量的に最先端の手法より優れる。
  論文  参考訳（メタデータ） (2024-01-16T18:57:50Z)
• LARA: A Light and Anti-overfitting Retraining Approach for Unsupervised Time Series Anomaly Detection [49.52429991848581]
  深部変分自動エンコーダに基づく時系列異常検出手法(VAE)のための光・反オーバーフィット学習手法(LARA)を提案する。 本研究の目的は,1) 再学習過程を凸問題として定式化し, 過度に収束できること,2) 履歴データを保存せずに活用するルミネートブロックを設計すること,3) 潜在ベクトルと再構成データの微調整を行うと, 線形形成が基底真実と微調整されたブロックとの誤りを最小に調整できることを数学的に証明することである。
  論文  参考訳（メタデータ） (2023-10-09T12:36:16Z)
• Emergent Agentic Transformer from Chain of Hindsight Experience [96.56164427726203]
  簡単なトランスフォーマーベースモデルが時間差と模倣学習に基づくアプローチの両方と競合することを示す。 単純なトランスフォーマーベースのモデルが時間差と模倣学習ベースのアプローチの両方で競合するのはこれが初めてである。
  論文  参考訳（メタデータ） (2023-05-26T00:43:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。