論文の概要: CRAFT: Forgetting-Aware Intervention-Based Adaptation for Continual Learning

• arxiv url: http://arxiv.org/abs/2605.05732v1
• Date: Thu, 07 May 2026 06:24:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-08 22:27:11.561081
• Title: CRAFT: Forgetting-Aware Intervention-Based Adaptation for Continual Learning
• Title（参考訳）: CRAFT:継続的学習のための予測型介入に基づく適応
• Authors: Md Anwar Hossen, Fatema Siddika, Juan Pablo Munoz, Tanya Roosta, Ali Jannesari,
• Abstract要約: CRAFTは、モデルの重み付けの更新を避ける継続的学習フレームワークである。 まず、各タスクを出力分布のばらつきに基づいて、類似したタスクのグループにルーティングする。 すると、KL(Kullback-Leibler)の偏差をグループの先行状態に対して微調整する。 最後に、更新されたタスクの介入を同じKL信号を使用して共有表現にマージする。
• 参考スコア（独自算出の注目度）: 7.180013165859104
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models (LLMs) can acquire new capabilities through fine-tuning, but continual adaptation often leads to catastrophic forgetting. We propose CRAFT, a continual learning framework that avoids updating model weights by instead learning low-rank interventions on hidden representations. CRAFT proceeds in three stages: it first routes each task to a group of similar tasks based on output-distribution divergence; it then fine-tunes the model using a Kullback-Leibler (KL) divergence against the group's prior state, which directly controls forgetting and determines convergence; finally, it merges interventions for the updated task into the shared representation using the same KL signal. This design unifies routing, regularization, and merging through a single KL-based objective. CRAFT improves overall performance and reduces forgetting compared to strong LoRA-based approaches across multiple benchmarks and model scales, while remaining robust to task ordering. These results suggest that controlling adaptation in representation space, guided by output-space divergence, provides a scalable and principled approach to continual learning in LLMs.
• Abstract（参考訳）: 大規模言語モデル(LLM)は微調整によって新たな能力を得ることができるが、連続的な適応はしばしば破滅的な忘れを招く。 CRAFTは,隠れ表現に対する低ランクな介入を学習することで,モデルの重みを更新しない継続的学習フレームワークである。 CRAFTは、まず、出力分布の分散に基づいて、各タスクを類似したタスクのグループにルーティングし、次に、KL(Kullback-Leibler)の分岐をグループの前の状態に対して微調整し、直接、忘れを制御して収束を判定し、最後に、更新されたタスクの介入を同じKL信号を使用して共有表現にマージする。 この設計は、単一のKLベースの目的を通じてルーティング、正規化、およびマージを統一する。 CRAFTは、複数のベンチマークやモデルスケールにわたる強力なLoRAベースのアプローチと比較して、全体的なパフォーマンスを改善し、忘れを低減します。 これらの結果は、出力空間の発散によって導かれる表現空間の適応制御が、LLMにおける連続学習にスケーラブルで原則化されたアプローチをもたらすことを示唆している。

関連論文リスト

• SLE-FNO: Single-Layer Extensions for Task-Agnostic Continual Learning in Fourier Neural Operators [0.4369550829556577]
  新たな実験条件やシミュレーション体制は、以前のデータに再アクセスすることなく、外挿やモデル更新を必要とするため、大きく異なる場合がある。 これにより、破滅的な忘れを防ぎながら、分散シフトに適応できる継続的学習(CL)フレームワークの必要性が生まれます。 本稿では,SLE(Single-Layer Extension)とFNO(Fourier Neural Operator)を組み合わせたアーキテクチャベースアプローチ(SLE-FNO)を提案する。
  論文  参考訳（メタデータ） (2026-03-20T18:30:38Z)
• Model Merging via Multi-Teacher Knowledge Distillation [11.543771846135021]
  モデルマージ設定に特化して、新しい平坦性を考慮したPAC-Bayes一般化を導入する。 我々は,少ないラベルのないデータに基づいて,マルチ教師の知識蒸留としてマージするモデルを構築した。 我々は,学生教師のKulback-Leibler分散の最小化が,合併モデルの過大なリスクの上限を直接締め付けることを正式に証明した。
  論文  参考訳（メタデータ） (2025-12-24T17:10:44Z)
• Steering Vision-Language-Action Models as Anti-Exploration: A Test-Time Scaling Approach [78.4812458793128]
  動作チャンクの高忠実度検証に軽量な擬数推定器を適用したテスト時間スケーリングフレームワークである textbfTACO を提案する。 我々の手法は、オフライン強化学習(RL)における古典的な反探索原理に似ており、勾配のないため、計算上の大きな恩恵をもたらす。
  論文  参考訳（メタデータ） (2025-12-02T14:42:54Z)
• Dual-Stream Diffusion for World-Model Augmented Vision-Language-Action Model [62.889356203346985]
  本稿では,モダリティ競合を処理する世界モデル拡張VLAフレームワークである Dual-STream diffusion (DUST) を提案する。 DUSTは標準のVLAベースラインと暗黙のワールドモデリングメソッドよりも最大6%向上する。 Franka Research 3による実世界のタスクでは、DUSTは成功率のベースラインを13%上回っている。
  論文  参考訳（メタデータ） (2025-10-31T16:32:12Z)
• STABLE: Gated Continual Learning for Large Language Models [0.0]
  STABLEは、シーケンシャルな更新時に忘れることを制限する、ゲート付き連続的なセルフ編集フレームワークである。 各候補編集は3つの指標のうちの1つを用いて安定性の予算に対して評価される。 Qwen-2.5-7Bモデルの実験では、ゲーティングは適応性を保ちながら忘れを効果的に軽減することを示した。
  論文  参考訳（メタデータ） (2025-10-17T16:14:05Z)
• Train with Perturbation, Infer after Merging: A Two-Stage Framework for Continual Learning [57.514786046966265]
  textbfPerturb-and-Merge(P&M)は,モデルマージをCLパラダイムに統合し,忘れを緩和する新しい連続学習フレームワークである。 提案手法は,複数の連続学習ベンチマークデータセット上での最先端性能を実現する。
  論文  参考訳（メタデータ） (2025-05-28T14:14:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。