論文の概要: Reliable Replay through Spatial Coherence in Online Continual Learning
- arxiv url: http://arxiv.org/abs/2609.33725v1
- Date: Sun, 27 Sep 2026 16:27:53 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-04 17:16:47.430748
- Title: Reliable Replay through Spatial Coherence in Online Continual Learning
- Title（参考訳）: オンライン連続学習における空間コヒーレンスによる信頼性の高いリプレイ
- Abstract要約: 本研究では,幅広い学習環境に適用可能な汎用リプレイアロケーション手法であるSPHERE(SPatial Coherent Risk Control for REplay)を提案する。
移動目標の感度から元の損失変化に対するリプレイ係数を導出し、ベースラインリハーサルを維持するためにそれらを均一なリプレイとブレンドする。
実験により、SPHEREは精度を向上し、ノイズラベルビジョンタスク、連続言語モデル調律、不完全なテスト報酬を伴うコード生成強化学習における忘れを少なくすることが示された。
- 参考スコア（独自算出の注目度）: 36.157385602644474
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Continually adapting models to new tasks requires retaining earlier knowledge under limited memory and computation. Experience replay addresses this challenge, but priorities based on individual loss increases overlook how related memories respond to the same update and can overemphasize isolated responses. We introduce SPatial coHErent risk control for REplay (SPHERE), a general replay-allocation method applicable across a broad range of learning settings. SPHERE uses a representation kernel to aggregate signed prospective loss changes, attenuating unsupported spikes while retaining coherent increases. It then formulates allocation as entropy-regularized transport, redistributing uniform source mass toward supported high-risk regions while penalizing long-distance transfers. We derive replay coefficients from the transport objective's sensitivity to the original loss changes and blend them with uniform replay to maintain baseline rehearsal. Our analysis establishes conditions under which kernel aggregation improves risk estimation and bounds transport-value inflation due to residual noise and smoothing bias. Experiments demonstrate that SPHERE improves accuracy and reduces forgetting across noisy-label vision tasks, continual language-model instruction tuning, and code-generation reinforcement learning with incomplete test rewards.
- Abstract（参考訳）: モデルを新しいタスクに継続的に適用するには、メモリと計算の制限の下で、以前の知識を維持する必要がある。
経験的リプレイはこの課題に対処するが、個々の損失に基づく優先順位は、関連する記憶が同じ更新にどのように反応するかを見落とし、孤立した反応を過度に強調することができる。
本研究では,幅広い学習環境に適用可能な汎用リプレイアロケーション手法であるSPHERE(SPatial Coherent Risk Control for REplay)を提案する。
SPHEREは、署名された期待損失の変化を集約するために表現カーネルを使用し、コヒーレント増加を維持しながら、サポートされたスパイクを減衰させる。
その後、エントロピー規則化された輸送として割り当てを定式化し、長距離移動をペナル化しながら、支持された高リスク領域に向けて均一なソース質量を再分配する。
移動目標の感度から元の損失変化に対するリプレイ係数を導出し、ベースラインリハーサルを維持するためにそれらを均一なリプレイとブレンドする。
本分析は, カーネル集約がリスク推定を改善し, 残音やスムーズなバイアスによる輸送価値のインフレーションを束縛する条件を確立する。
実験により、SPHEREは精度を向上し、ノイズラベルビジョンタスク、連続言語モデル調律、不完全なテスト報酬を伴うコード生成強化学習における忘れを少なくすることが示された。
関連論文リスト
- Self-Confirming Superposition Traps in Reinforcement Learning [62.71685993550818]
強化学習はエージェントのポリシーによって選択されたデータに基づいて表現し、その結果のリターンを使って次の選択を導く。
これらのデータに対して表現フィッティングがグローバルに最適である場合でも,このループは低リターンポリシーを維持可能であることを示す。
論文 参考訳（メタデータ） (2026-09-26T21:56:26Z) - TTSD-FAR: Test-Time Self-Distillation with Fisher-Anchored Restoration for Missing-Modality Emotion Recognition in LVLMs [83.78708832901194]
大規模ビデオ言語モデル(LVLM)は、野生のマルチモーダル感情認識(ER)のようなマルチモーダルタスクにおいて顕著なパフォーマンスを示している。
しかし、現実のデプロイメントは依然として困難であり、テスト時にモダリティが欠落したりうる。
凍結した教師が自己蒸留により適応的な低学級の生徒を指導する手法を提案する。
MELD, DFEW, BAHを0%-50%のモダリティで実験した結果, この統一型適応復元設計はエントロピーベースの適応, RAG, およびパープレキシティベースの生成より一貫して優れていた。
論文 参考訳（メタデータ） (2026-08-18T23:40:28Z) - When to Review: Spaced Repetition for Continual Pre-Training of Language Models [1.0262304700896199]
既存のリプレイ手法は、しばしばグローバルな古い/新しい混合物とサンプルを均一に選択する。
トレーニングループは、リプレイする履歴だけでなく、各ステップでどの例を返すかを決定する必要があります。
認知科学に触発された連続学習フレームワークである空間反復訓練(Spaced Repetition Training, SRT)を導入し, SuperMemo-2 (SM-2) アルゴリズムを用いてサンプルリハーサルをスケジュールする。
論文 参考訳（メタデータ） (2026-08-18T08:51:47Z) - Drift and Dependence: Layer-wise Information-Theoretic Bounds for Replay-Based Continual Learning [41.371439825328544]
継続的な学習は、古いタスクを消去することなく新しいタスクを吸収し、リプレイ — 過去の例の小さなバッファを現在のトレーニングに混ぜる — 破滅的な忘れ方に対する最も効果的な治療法のひとつです。
我々は、各深さでこれらの効果を分離するレイヤワイド情報理論フレームワークを開発する。
制御およびベンチマーク実験により、予測されたメモリスケーリング、内部ファンネル、およびアライメント信号の忘れへのリンクを確認する。
論文 参考訳（メタデータ） (2026-08-12T06:01:49Z) - Reward-free Pretraining for Reinforcement Learning via Occupancy Coverage Maximization [31.035684025590417]
スパース報酬は、エージェントが目標に到達するまで情報信号を受け取らないため、強化学習において中心的な課題となる。
本稿では,下流タスク時間におけるスパース報酬に迅速に適応するトランスファー可能な探索ポリシーを事前訓練する手法を提案する。
論文 参考訳（メタデータ） (2026-06-19T09:47:38Z) - Referring-Aware Visuomotor Policy Learning for Closed-Loop Manipulation [91.20850436220267]
Referring-Aware Visuomotor Policy(ReV)について紹介する。
ReVは、人間または高レベルの推論プランナーによって提供されるスパース参照ポイントを組み込む。
これは、専門家のデモンストレーションにターゲットの摂動を適用することでのみ訓練される。
論文 参考訳（メタデータ） (2026-04-07T07:41:11Z) - MSSR: Memory-Aware Adaptive Replay for Continual LLM Fine-Tuning [36.119948355819]
本稿では,サンプルレベルの記憶強度を推定し,アダプティブ間隔でリハーサルをスケジュールし,破滅的な忘れを緩和するエクスペリエンス・リプレイ・フレームワークを提案する。
3つのバックボーンモデルと11のシーケンシャルタスクにわたる大規模な実験は、MSSRが一貫して最先端のリプレイベースラインを上回っていることを示している。
論文 参考訳（メタデータ） (2026-03-10T16:49:44Z) - Uncertainty Prioritized Experience Replay [13.765526492965853]
優先順位付けされたエクスペリエンスリプレイは、パラメータ推定を更新するための関連するトランジションを選択することで、サンプル効率を改善する。
疫学的不確実性推定は、価値推定におけるノイズの破壊的影響を軽減するのに役立つ。
論文 参考訳（メタデータ） (2025-06-10T22:07:13Z) - Enhancing Consistency and Mitigating Bias: A Data Replay Approach for Incremental Learning [93.90047628101155]
ディープラーニングシステムは、一連のタスクから学ぶとき、破滅的な忘れがちだ。
これを解決するために、新しいタスク学習中に過去のタスクからのデータを再生する手法を提案する。
しかし、メモリの制約やデータプライバシーの問題により、実際には期待できない。
論文 参考訳（メタデータ） (2024-01-12T12:51:12Z) - Experience Replay with Likelihood-free Importance Weights [123.52005591531194]
本研究は,現在の政策の定常分布下での経験を生かし,その可能性に基づいて,その経験を再評価することを提案する。
提案手法は,ソフトアクタ批判 (SAC) とツイン遅延Deep Deterministic Policy gradient (TD3) の2つの競合手法に実証的に適用する。
論文 参考訳（メタデータ） (2020-06-23T17:17:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。