論文の概要: Combating Catastrophic Forgetting in Continual Domain Adaptation via Knowledge Recasting

• arxiv url: http://arxiv.org/abs/2610.28892v1
• Date: Tue, 20 Oct 2026 20:16:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-23 00:40:06.139011
• Title: Combating Catastrophic Forgetting in Continual Domain Adaptation via Knowledge Recasting
• Title（参考訳）: 知識リキャストによる連続的ドメイン適応における破滅的予測
• Abstract要約: トレーニング後に新たなドメインに言語モデルを適用することで、以前取得した能力が劣化する。 我々は,モデルの既存のスキル空間に新たな知識を伝達するポストトレーニングフレームワークであるスキルトランスポート(SST)を提案する。 SSTは、関連するタスクの一般化を改善しながら、常に忘れを減らします。
• 参考スコア（独自算出の注目度）: 44.42313731809497
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Adapting language models to new domains during post-training risks degrading previously acquired capabilities, a phenomenon commonly known as catastrophic forgetting. Existing mitigation methods largely treat forgetting as a consequence of excessive model drift. They therefore constrain updates by preserving old outputs, replaying old data, or regularizing changes to parameters and representations so that the updated model remains close to its previous state. We take a different view: Rather than pulling the updated model back toward its old state, we translate the new domain into the model's pre-existing knowledge space, making unfamiliar knowledge learnable through familiar procedures. Therefore, we propose Skill Schema Transport (SST), a post-training framework that transports new knowledge into the model's existing skill space. SST abstracts each example type into a skill schema, preserving its essential operations, dependencies, and verification steps while removing domain-specific surface forms. By recasting new examples as instances of reusable procedures, SST turns knowledge update from trajectory memorization into procedural reuse. In continual domain adaptation settings, SST consistently reduces forgetting while improving generalization to related tasks. Across two 3B instruction-tuned backbones, SST improves average final performance on streamed domains by 2.53 to 5.75 points over sequential post-training. It also lowers max-drop forgetting in all evaluated settings, with the largest reduction from 42.41 to 7.10 points on the Qwen-3B MATH stream, while substantially recovering the OOD degradation induced by sequential updates.
• Abstract（参考訳）: 学習後リスクの低下に伴う新たなドメインへの言語モデルの適用 以前獲得した能力の低下は、破滅的な忘れ方として知られる現象である。 既存の緩和法は、過度のモデルドリフトの結果、主に忘れを扱います。 そのため、古い出力を保存したり、古いデータを再生したり、パラメータや表現の変更を規則化することで更新を制限し、更新されたモデルは以前の状態に近い状態に保たれる。 私たちは、更新されたモデルを古い状態に戻すのではなく、新しいドメインをモデルの既存の知識空間に翻訳し、慣れ親しんだ手順で未知の知識を学習できるようにします。 そこで本研究では,モデルの既存のスキル空間に新たな知識を伝達するポストトレーニングフレームワークであるスキルスキーマトランスポート(SST)を提案する。 SSTは、各例の型をスキルスキーマに抽象化し、ドメイン固有のサーフェスフォームを削除しながら、その必須操作、依存関係、検証ステップを保存する。 新しい例を再利用手順の例として再キャストすることで、SSTは知識更新を軌跡記憶から手続き的再利用に変換する。 連続的なドメイン適応設定では、SSTは、関連するタスクへの一般化を改善しながら、常に忘れを減らします。 2つの3B命令で調整されたバックボーンの中で、SSTはシーケンシャルな後トレーニングでストリームされたドメインの平均ファイナルパフォーマンスを2.53から5.75ポイント改善する。 また、Qwen-3B MATHストリームで42.41点から7.10点に減少し、逐次更新によって誘導されるOOD劣化を著しく回復する。

関連論文リスト

• Improving Sparse Memory Finetuning [6.491055956716639]
  大規模言語モデル(LLM)は通常、トレーニング後に静的になるが、現実のアプリケーションは既存の能力を劣化させることなく、新しい知識への継続的な適応を必要とする。 完全な微調整やパラメータ効率の手法のようなモデル更新の標準的なアプローチは、基本的なトレードオフに直面します。 Sparse Memory Finetuning (SMF)は、明示的なメモリ層内のパラメータの小さなサブセットにアップデートをローカライズすることで、有望な代替手段を提供する。
  論文  参考訳（メタデータ） (2026-04-06T23:16:10Z)
• Spectral Imbalance Causes Forgetting in Low-Rank Continual Adaptation [58.3773038915023]
  継続的な学習は、事前訓練されたモデルを、以前取得した知識を忘れずにシーケンシャルなタスクに適応することを目的としている。 既存のほとんどのアプローチは、現在のタスク固有の更新が以前取得した知識を自然に保存するプロパティを考慮せずに、継続的な学習を過去の更新への干渉を避けるものとして扱う。 本稿では,視覚言語モデルで使用される標準深度ドットと互換性のある一階述語法を用いてこの問題に対処する。
  論文  参考訳（メタデータ） (2026-01-31T13:27:02Z)
• TTSA3R: Training-Free Temporal-Spatial Adaptive Persistent State for Streaming 3D Reconstruction [11.124244013253806]
  ストリーミングリカレントモデルは、永続的な状態表現を維持することで効率的な3D再構成を可能にする。 近年の手法では、アダプティブシグナルを注意視点から導き出すことによってこれを緩和している。 本稿では,時間的状態の進化と空間的観察品質の両面を活用する,TTSA3Rというトレーニングフリーフレームワークを提案する。
  論文  参考訳（メタデータ） (2026-01-30T06:14:42Z)
• Retrofit: Continual Learning with Bounded Forgetting for Security Applications [25.185616916987158]
  本稿では,データ振り返りのない連続学習手法であるRETROFITを提案する。 干渉を軽減するために、独立部分空間にパラメータ変化を限定する低ランクかつスパースな更新を適用する。 時間的ドリフト下でのマルウェア検出では、CLベースラインよりも20.2%から38.6%の保持スコアが大幅に向上し、新しいデータに対するオラクルの上限を超える。
  論文  参考訳（メタデータ） (2025-11-14T16:07:03Z)
• Orthogonal Projection Subspace to Aggregate Online Prior-knowledge for Continual Test-time Adaptation [67.80294336559574]
  連続テスト時間適応(CTTA)は、新しいシナリオに継続的に適応するために、ソース事前訓練されたモデルを必要とするタスクである。 我々は、OoPkと呼ばれるオンライン事前知識を集約する新しいパイプラインOrthogonal Projection Subspaceを提案する。
  論文  参考訳（メタデータ） (2025-06-23T18:17:39Z)
• Continuous Subspace Optimization for Continual Learning [24.597922531045846]
  継続的な学習は、先行知識を維持しながら、連続的に複数のタスクを学習することを目的としている。 連続学習のための連続部分空間最適化(CoSO)を提案する。 CoSOは、特に長いタスクシーケンスを持つ挑戦的なシナリオにおいて、最先端のメソッドを著しく上回る。
  論文  参考訳（メタデータ） (2025-05-17T03:53:21Z)
• Forget Less, Count Better: A Domain-Incremental Self-Distillation Learning Benchmark for Lifelong Crowd Counting [51.44987756859706]
  オフザシェルフ法は複数のドメインを扱うのにいくつかの欠点がある。 生涯クラウドカウンティングは、壊滅的な忘れを緩和し、一般化能力を改善することを目的としている。
  論文  参考訳（メタデータ） (2022-05-06T15:37:56Z)
• New Insights on Reducing Abrupt Representation Change in Online Continual Learning [69.05515249097208]
  我々は、以前に観測されていないクラスが入ってくるデータストリームに現れるときに発生する観測データの表現の変化に焦点を当てる。 Experience Replayを適用すると、新たに追加されたクラスの表現が以前のクラスと大幅に重複することを示します。 本稿では,新しいクラスに対応するために,学習した表現を劇的な適応から保護することで,この問題を緩和する手法を提案する。
  論文  参考訳（メタデータ） (2022-03-08T01:37:00Z)
• Hyperparameter-free Continuous Learning for Domain Classification in Natural Language Understanding [60.226644697970116]
  ドメイン分類は自然言語理解(NLU)の基本課題である 既存の継続的な学習アプローチの多くは、低い精度とパフォーマンスの変動に悩まされている。 本研究では,テキストデータに対するパラメータフリー連続学習モデルを提案する。
  論文  参考訳（メタデータ） (2022-01-05T02:46:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。