論文の概要: Binding-Specific Relearning Savings for Test-Time Continual Learning
- arxiv url: http://arxiv.org/abs/2610.22381v1
- Date: Fri, 02 Oct 2026 15:47:00 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-26 00:37:12.12004
- Title: Binding-Specific Relearning Savings for Test-Time Continual Learning
- Title(参考訳): テスト時間連続学習のためのバインディング特化再学習の省力化
- Abstract要約: LEARNEDは正しい結合を受け取り、コントロールはマッチした露光を受け取り、WRONGは競合する関係正解を同じスロットで受け取ります。
WRONGは制御に対して肯定的な優位性を示していないが、LEARNEDとの比較では、競合する干渉の可能性があるスロットマッチングのコロンボレーションを提供している。
- 参考スコア(独自算出の注目度): 1.464546899992196
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: When a fact becomes harder to elicit from a language model, has the model lost it, or has it merely become less accessible? Parameter-updating test-time continual learning agents are usually evaluated by current output accuracy; we ask whether that measurement captures how prior experience shapes later updates. We test whether learning a specific factual binding produces a later relearning advantage beyond familiarity with its entity, answer vocabulary, format, or query slot. In Qwen2.5-1.5B, we compare three matched, counterbalanced histories: LEARNED receives the correct binding, CONTROL receives matched exposure without it, and WRONG receives a competing relation-valid answer in the same slot. After an identical rehearsal-free continual fine-tuning stream, LEARNED reacquires the target faster than CONTROL at a prespecified checkpoint of partial forgetting. WRONG shows no positive advantage over CONTROL, while its comparison with LEARNED provides slot-matched corroboration, subject to possible competitor interference. The advantage remains positive after adjustment for measured pre-relearning behavior. In a secondary descriptive conversion using an unpaired never-seen pool, prior learning reduces the optimizer updates required for restoration by about 18%. Current behavioral accuracy can therefore underestimate the lasting effect of previously acquired experience. Code is available at https://github.com/zhezhou1106/relearning-savings
- Abstract(参考訳): 事実が言語モデルから引き出すのが難しくなったら、モデルはそれを失うのか、単にアクセスしにくくなるのか?
パラメータ更新テスト時連続学習エージェントは通常、現在の出力精度で評価される。
特定の事実的バインディングの学習が、エンティティや応答語彙、フォーマット、クエリスロットに親しみ以上の、後の再学習の優位性をもたらすかどうかをテストする。
Qwen2.5-1.5Bでは、LEARNEDは正しい結合を受け取り、制御はマッチした露光を受け取り、WRONGは競合する相関正解を同じスロットで受け取ります。
同一のリハーサルのない連続的な微調整ストリームの後、LEARNEDは、部分的忘れの所定のチェックポイントにおいて、制御よりもターゲットを高速に再取得する。
WRONGは制御に対して肯定的な優位性を示していないが、LEARNEDとの比較では、競合する干渉の可能性があるスロットマッチングのコロンボレーションを提供している。
その利点は、測定された事前学習行動の調整後も肯定的なままである。
未ペアプールを用いた二次記述変換では、事前学習により、復元に必要なオプティマイザ更新が約18%削減される。
したがって、現在の行動精度は、以前取得した経験の持続的効果を過小評価することができる。
コードはhttps://github.com/zhezhou1106/relearning-savingsで入手できる。
関連論文リスト
- Recurrent Harness for Agentic Continual Learning [53.480527067024404]
ReHarnessは、厳格なオンラインストリーミングプロトコルの下でのエージェント的連続学習のための繰り返しフレームワークである。
私たちは、ストリームの現在のインスタンスをよりよく知るために、ハーネス状態において、どのような情報が異なる方法でキャプチャされたのかを尋ねます。
本研究では,ReHarnessがソース・グラウンドで意味のあるリビジョンを生成し,分散シフト下での過度に一般化あるいは時代遅れな経験を補正し,連続学習時の安定性と可塑性を改善したことを示す。
論文 参考訳(メタデータ) (2026-10-08T19:44:43Z) - Learn Now, Use Next, Trust Later: Prequential Test-Time Learning for LLM Agents [55.440058537827134]
StepLearnは、永続的な信頼から即時の使用を分離する非パラメトリックフレームワークである。
情報的な遷移を仮説に変え、次のステップを導く。
GPT-5-miniでの平均成功率は59.9%、84.0%、Qwen3.5-35B-A3Bで57.8%、88.1%である。
論文 参考訳(メタデータ) (2026-09-28T08:06:03Z) - Turning Back Without Forgetting: Selective Backward Refinement for Parameter-Efficient Continual Learning [22.058497718429518]
本稿では,プロンプトベース連続学習における逆転送制御を実現するリプレイフリーフレームワークを提案する。
SABERは、補完的なタスク相関基準を用いて、後方修正が有効であるかどうかを決定する。
複数の連続学習ベンチマークと、T5-Large、LLaMA、Qwenを含む様々な事前訓練されたバックボーンに対する実験は、SABERが常にポジティブな後方転送を実現することを実証している。
論文 参考訳(メタデータ) (2026-05-31T18:08:24Z) - Enhancing Consistency and Mitigating Bias: A Data Replay Approach for Incremental Learning [93.90047628101155]
ディープラーニングシステムは、一連のタスクから学ぶとき、破滅的な忘れがちだ。
これを解決するために、新しいタスク学習中に過去のタスクからのデータを再生する手法を提案する。
しかし、メモリの制約やデータプライバシーの問題により、実際には期待できない。
論文 参考訳(メタデータ) (2024-01-12T12:51:12Z) - REBAR: Retrieval-Based Reconstruction for Time-series Contrastive Learning [64.08293076551601]
正の対を識別する学習尺度を新たに提案する。
検索ベースレコンストラクションは2つのシーケンス間の類似度を測定する。
本稿では,REBAR誤差が相互クラスメンバシップの予測因子であることを示す。
論文 参考訳(メタデータ) (2023-11-01T13:44:45Z) - Reducing Representation Drift in Online Continual Learning [87.71558506591937]
私たちは、エージェントが制限されたメモリと計算で変化する分布から学ぶ必要があるオンライン連続学習パラダイムを研究します。
この作業では、入ってくるデータストリームに未観測のクラスサンプルが導入されることにより、事前に観測されたデータの表現の変化に焦点を合わせます。
論文 参考訳(メタデータ) (2021-04-11T15:19:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。