論文の概要: Continual Learning via Self-Probe Gradients

• arxiv url: http://arxiv.org/abs/2609.32771v1
• Date: Sat, 26 Sep 2026 16:48:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-06 20:29:34.177597
• Title: Continual Learning via Self-Probe Gradients
• Title（参考訳）: セルフプローブグラディエントによる継続的学習
• Abstract要約: 事前学習されたモデルを新しいデータに適用することは、以前に学習された振る舞いを壊滅的に忘れてしまう可能性がある。 言語モデルがこの証拠を自己証明によって拡張できることを示す。
• 参考スコア（独自算出の注目度）: 10.281917231182424
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Adapting pretrained models to new data can cause catastrophic forgetting of previously learned behavior. When only a few past samples remain, they give continual learning methods sparse and narrow evidence about what to preserve. We show that language models can expand this evidence through self-probing, in which the frozen model generates new inputs from the retained samples and records its own predictions on them. Unlike prior work that replays such data as training examples, our method, CPLUS uses self-probe and past-sample gradients to scale down parameter updates that conflict with prior behavior. Experiments with five language models on four benchmarks show three results. First, the same probes preserve more prior behavior as gradient signals than as replay data. Second, CPLUS learns the new data while consistently reducing forgetting more than existing baselines, especially when past data are scarce, and this protection extends to benchmarks not used for training. Third, we observe that CPLUS also becomes more effective as models grow: within the Qwen3 model family, it recovers an increasing share of the forgetting caused by standard fine-tuning.
• Abstract（参考訳）: 事前学習されたモデルを新しいデータに適用することは、以前に学習された振る舞いを壊滅的に忘れてしまう可能性がある。 わずか数回のサンプルしか残っていない場合、保存すべきものについて、連続的な学習方法がまばらで狭い証拠を与える。 本研究では, 凍結したモデルが保持サンプルから新たな入力を生成し, 自身の予測を記録する自己探索により, この証拠を拡張できることを示す。 トレーニング例のようなデータを再生する以前の作業とは異なり、CPLUSは自己プローブと過去のサンプル勾配を使用して、事前の動作と矛盾するパラメータ更新をスケールダウンする。 4つのベンチマークで5つの言語モデルを用いた実験は、3つの結果を示している。 第一に、同じプローブは再生データよりも勾配信号としてより先行的な振舞いを保っている。 第二に、CPLUSは新しいデータを学習し、特に過去のデータが不足している場合に、既存のベースライン以上の忘れを一貫して減らし、この保護はトレーニングに使用されていないベンチマークにまで拡張する。 第3に、モデルの成長とともにCPLUSはより効果的になり、Qwen3モデルファミリでは、標準微調整による忘れのシェアが増大する。

関連論文リスト

• Enhancing Consistency and Mitigating Bias: A Data Replay Approach for Incremental Learning [93.90047628101155]
  ディープラーニングシステムは、一連のタスクから学ぶとき、破滅的な忘れがちだ。 これを解決するために、新しいタスク学習中に過去のタスクからのデータを再生する手法を提案する。 しかし、メモリの制約やデータプライバシーの問題により、実際には期待できない。
  論文  参考訳（メタデータ） (2024-01-12T12:51:12Z)
• LARA: A Light and Anti-overfitting Retraining Approach for Unsupervised Time Series Anomaly Detection [49.52429991848581]
  深部変分自動エンコーダに基づく時系列異常検出手法(VAE)のための光・反オーバーフィット学習手法(LARA)を提案する。 本研究の目的は,1) 再学習過程を凸問題として定式化し, 過度に収束できること,2) 履歴データを保存せずに活用するルミネートブロックを設計すること,3) 潜在ベクトルと再構成データの微調整を行うと, 線形形成が基底真実と微調整されたブロックとの誤りを最小に調整できることを数学的に証明することである。
  論文  参考訳（メタデータ） (2023-10-09T12:36:16Z)
• Continual Pre-Training of Large Language Models: How to (re)warm your model? [21.8468835868142]
  大規模言語モデル(LLM)はトークン上で定期的に事前訓練されるが、新しいデータが利用可能になると再起動する。 我々は,SlimPajama(下流データ,297Bトークン)の事前トレーニングを続けながら,パイル(上流データ,300Bトークン)で事前訓練されたモデルのウォームアップフェーズについて検討した。 以上の結果から,上流データと下流データの損失は再温暖化によって増大するが,より長い実行でダウンストリームのパフォーマンスが向上し,大規模なダウンストリームデータセットに対して10億ドルからトレーニングしたモデルよりも優れた結果が得られた。
  論文  参考訳（メタデータ） (2023-08-08T03:18:18Z)
• Continual Learning for Fake Audio Detection [62.54860236190694]
  本論文では,連続学習に基づく手法である忘れずに偽物を検出することで,モデルに新たなスプーフィング攻撃をインクリメンタルに学習させる手法を提案する。 ASVspoof 2019データセットで実験が行われる。
  論文  参考訳（メタデータ） (2021-04-15T07:57:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。