論文の概要: Characterizing Replay Retention Under Dynamics Shift in Model-Based Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2609.18167v1
• Date: Wed, 16 Sep 2026 05:47:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-20 08:55:53.662087
• Title: Characterizing Replay Retention Under Dynamics Shift in Model-Based Reinforcement Learning
• Title（参考訳）: モデルベース強化学習におけるダイナミクスシフト下でのリプレイ保持特性
• Abstract要約: ロボット力学の変化に適応するには、まだ有用かもしれない経験を捨てることなく、新しいデータから学ぶ必要がある。 近年のリプレイは,リプレイ履歴の完全化よりも好まれる時期について検討する。 古いデータを忘れることは、大きな永久的なシフトの後に役立つが、動的に再帰し、古いデータが再び役に立つようになると問題になる。
• 参考スコア（独自算出の注目度）: 1.376408511310322
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Adapting to changes in robot dynamics requires learning from new data without discarding experience that may still be useful. In continual model-based reinforcement learning (RL), replay collected before a dynamics change can slow adaptation, while removing it unnecessarily reduces available training data and can be especially costly if earlier dynamics return. We study when recent transitions are preferable to the full replay history. Two quantities characterize this trade-off: change magnitude and age-staleness area under the curve (AUC), measuring how well transition age separates stale from fresh data. Forgetting stale data helps after large permanent shifts but hurts when dynamics recur and older data becomes useful again. Choosing a replay strategy therefore depends on predicting when older data will help or hurt. We test these effects across two locomotion morphologies, two model-based RL algorithms, and Real-World RL benchmark perturbations. Because ground-truth staleness labels are unavailable on deployed robots, we evaluate whether an estimator built from interaction data can still provide the quantities needed to choose a replay strategy after permanent changes. Our results show that replay retention depends on change magnitude and on how the dynamics evolve.
• Abstract（参考訳）: ロボット力学の変化に適応するには、まだ有用かもしれない経験を捨てることなく、新しいデータから学ぶ必要がある。 連続モデルベース強化学習(RL)では、ダイナミクス変更前に収集したリプレイは適応を遅くし、不要にトレーニングデータを削減し、初期のダイナミクスが戻ると特にコストがかかる。 近年のリプレイは,リプレイ履歴の完全化よりも好まれる時期について検討する。 2つの量がこのトレードオフを特徴づける: 曲線 (AUC) における変化の大きさと年齢安定度領域。 古いデータを忘れることは、大きな永久的なシフトの後に役立つが、動的に再帰し、古いデータが再び役に立つようになると、問題になる。 したがって、リプレイ戦略を選択することは、古いデータがいつ役に立つか、または傷つくかを予測することに依存する。 これらの効果は、2つの移動形態、モデルベースRLアルゴリズム、2つの実世界RLベンチマーク摂動にまたがって検証する。 移動ロボットでは, 地中安定度ラベルが利用できないため, 相互作用データから構築した推定器が, 永久変化後のリプレイ戦略を選択するのに必要な量を提供できるかどうかを評価する。 この結果から,リプレイ保持は変化の大きさやダイナミクスの進化に左右されることがわかった。

関連論文リスト

• Train Smarter, Not Longer: Memorization-Guided Data Reuse for Efficient LLM Training [11.074386515074446]
  記憶誘導データ再利用」は、いつ、どのようにデータを再利用すべきかを適応的に決定する訓練パラダイムである。 予備実験では、一貫した記憶駆動体制が示される。
  論文  参考訳（メタデータ） (2026-07-06T11:57:32Z)
• FOREVER: Forgetting Curve-Inspired Memory Replay for Language Model Continual Learning [63.20028888397869]
  FOREVER(FORgEtting curVe-inspired mEmory)は、リプレイスケジュールをモデル中心の時間の概念と整合させる新しいフレームワークである。 このアプローチに基づいて、ForeVERは、リプレイのタイミングを決定するための曲線ベースのリプレイスケジューラと、リプレイの方法を適応的に制御するインテンシティ対応の正規化機構を組み込んでいる。
  論文  参考訳（メタデータ） (2026-01-07T13:55:14Z)
• Automating Data Annotation under Strategic Human Agents: Risks and Potential Solutions [10.448052192725168]
  本稿では,機械学習モデルがモデル注釈付きサンプルで再訓練される場合の長期的影響について検討する。 モデルが再訓練されるにつれて、エージェントが肯定的な判断を受けやすいことが分かっています。 そこで本研究では,力学を安定化させる改良されたリトレーニングプロセスを提案する。
  論文  参考訳（メタデータ） (2024-05-12T13:36:58Z)
• Enhancing Consistency and Mitigating Bias: A Data Replay Approach for Incremental Learning [93.90047628101155]
  ディープラーニングシステムは、一連のタスクから学ぶとき、破滅的な忘れがちだ。 これを解決するために、新しいタスク学習中に過去のタスクからのデータを再生する手法を提案する。 しかし、メモリの制約やデータプライバシーの問題により、実際には期待できない。
  論文  参考訳（メタデータ） (2024-01-12T12:51:12Z)
• Time-Varying Propensity Score to Bridge the Gap between the Past and Present [104.46387765330142]
  本稿では,データ分布の段階的変化を検出するための時間変化確率スコアを提案する。 実装のさまざまな方法を示し、さまざまな問題について評価する。
  論文  参考訳（メタデータ） (2022-10-04T07:21:49Z)
• Reducing Representation Drift in Online Continual Learning [87.71558506591937]
  私たちは、エージェントが制限されたメモリと計算で変化する分布から学ぶ必要があるオンライン連続学習パラダイムを研究します。 この作業では、入ってくるデータストリームに未観測のクラスサンプルが導入されることにより、事前に観測されたデータの表現の変化に焦点を合わせます。
  論文  参考訳（メタデータ） (2021-04-11T15:19:30Z)
• Generative Feature Replay with Orthogonal Weight Modification for Continual Learning [20.8966035274874]
  生成的再生は、破滅的な忘れを和らげるために、以前のタスクの擬似データを生成し再生する有望な戦略である。 生成モデルを用いて垂直層の特徴を再現することを提案する; 2) 自己監督型補助タスクを活用して特徴の安定性をさらに向上する。 いくつかのデータセットにおける実験結果から,我々の手法は常に強力なOWMよりも大幅に改善されていることが分かる。
  論文  参考訳（メタデータ） (2020-05-07T13:56:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。