Fugu-MT 論文翻訳(概要): TRACE: Discovering Task-Specific Parameter via Adaptation-Aware Probing for Continual Fine-Tuning

論文の概要: TRACE: Discovering Task-Specific Parameter via Adaptation-Aware Probing for Continual Fine-Tuning

arxiv url: http://arxiv.org/abs/2605.31025v1
Date: Fri, 29 May 2026 08:57:06 GMT
ステータス: 翻訳完了
システム内更新日: 2026-06-01 20:56:50.488979
Title: TRACE: Discovering Task-Specific Parameter via Adaptation-Aware Probing for Continual Fine-Tuning
Title（参考訳）: TRACE:連続的な微調整のための適応認識によるタスク特化パラメータの探索
Abstract要約: 本稿では,タスク固有のpaRameterを探索するための新しいアプローチであるTRACEを紹介する。提案手法の優れた性能を示すため,複数の標準ベンチマークを用いて実験を行った。
参考スコア（独自算出の注目度）: 33.07713704586859
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: In real-world deployment, LLMs are often adapted continually across tasks to keep LLMs up-to-date in production, where new fine-tuning should preserve previously learned skills. However, indiscriminately mixing tasks can dilute task specialization, while sequential fine-tuning (full-parameter or low rank adaptation) often causes catastrophic forgetting due to destructive overwriting. Replay-based continual tuning and maintaining separate task-specific adapters can mitigate forgetting, but introduce additional compute, storage, and management overhead. Recognizing the redundancy of LLM parameters for any single task, we reframe continual task adaptation as task-specific parameter discovery via adaptation-aware probing: a short warm-start probe exposes a task's adaptation trace, enabling us to identify and isolate the small subset of parameters essential for each task to mitigate catastrophic forgetting. Building on this view, we introduce TRACE, a novel approach for discovering Task-specific paRameters via Adaptation-aware probing for Continual finE-tuning. We perform a short warm-start fine-tune to derive task-specific core parameters by comparing the warm-started and pre-trained models. Core parameters are identified via two strategies: importance scoring (L$_2$ norm and Fisher Information) and specificity analysis (cosine similarity of parameter updates). In continual fine-tuning settings, only the active task's core parameters are updated while others remain frozen, preserving prior knowledge. We conduct extensive experiments across multiple standard benchmarks to demonstrate the superior performance of our proposed method. Additionally, we validate the generalization of our method through a cross-model and scale transferability study, demonstrating a "small-to-large" paradigm that guides the fine-tuning of large-scale models under resource constraints.
Abstract（参考訳）: 実世界のデプロイメントでは、LLMはタスク間で継続的に適用され、LLMを運用環境に最新に保つ。しかし、非差別混合タスクはタスクの特殊化を減らし、逐次微調整(フルパラメータまたは低ランク適応)は破壊的なオーバーライトによる破滅的な忘れ込みを引き起こすことが多い。リプレイベースの連続的なチューニングと個別のタスク固有のアダプタのメンテナンスは、忘れを緩和するだけでなく、計算、ストレージ、管理のオーバーヘッドも追加する。短時間のウォームスタートプローブは、タスクの適応トレースを公開し、各タスクに必要なパラメータの小さなサブセットを識別し、分離し、破滅的な忘れを軽減します。この観点からTRACEを導入し,連続的なfinEチューニングのための適応認識によるタスク固有のpaRameterの探索手法を提案する。ウォームスタートモデルと事前学習モデルを比較し,タスク固有のコアパラメータを導出するために,短時間のウォームスタートファインチューンを実行する。重要度スコアリング(L$_2$ norm and Fisher Information)と特異性分析(パラメータ更新のコサイン類似性)の2つの戦略によって、コアパラメータが識別される。連続的な微調整設定では、アクティブタスクのコアパラメータだけが更新され、他のパラメータは凍結され、事前の知識が保存される。提案手法の優れた性能を示すため,複数の標準ベンチマークにまたがる広範囲な実験を行った。さらに,資源制約下での大規模モデルの微調整を導く「小型から大規模」パラダイムを実証し,クロスモデルおよびスケールトランスファービリティスタディを通じて本手法の一般化を検証した。

関連論文リスト

One Adapter, Many Tasks: Task-Conditioned Feature Transformations for Continual Learning [45.405420567098155]
textbfFACET: task-conditioned textbfFetextbfAture transformation with textbfConditiontextbfEd feature consistextbfTency。本手法は,トレーニング可能なパラメータとGFLOPを著しく少なくし,優れた性能を実現する。
論文参考訳（メタデータ） (2026-08-31T17:03:45Z)
Attribution-Guided Continual Learning for Large Language Models [32.34727629126595]
大規模言語モデル(LLM)は、連続学習における破滅的な忘れ込みに悩まされることが多い。既存の方法は、データ再生、パラメータ凍結、正規化によって破滅的な忘れを緩和する。 LLMのための帰属誘導型連続微調整フレームワークを提案する。
論文参考訳（メタデータ） (2026-05-06T17:38:13Z)
DPI: Exploiting Parameter Heterogeneity for Interference-Free Fine-Tuning [11.751530422766836]
Supervised Fine-tuning (SFT) は、大規模言語モデル(LLM)を下流タスクに適用するための重要なステップである。本稿では,タスク固有のパラメータ領域をアンタングル化し分離する手法を提案する。
論文参考訳（メタデータ） (2026-01-25T10:30:45Z)
Stay Unique, Stay Efficient: Preserving Model Personality in Multi-Task Merging [62.61159948488935]
Decomposition, Thresholding, and Scaling (DTS)は近似ベースのパーソナライズされたマージフレームワークである。 DTSは、最小のストレージオーバーヘッドでタスク固有の情報を保存する。タスク特性のセマンティックな類似性に基づいて、DTSをデータフリーでタスク固有の情報を融合する変種で拡張する。
論文参考訳（メタデータ） (2025-12-01T09:47:17Z)
Not All Parameters Are Created Equal: Smart Isolation Boosts Fine-Tuning Performance [13.636389424786854]
各タスクのコアパラメータは、統一されたバックボーンに移植される。異なるタスクの非コアパラメータは、Spherical Linear Interpolationを通じてスムーズに統合される。複数の公開ベンチマークの実験は、我々のアプローチがタスクの干渉や忘れを著しく軽減していることを示している。
論文参考訳（メタデータ） (2025-08-29T16:07:33Z)
LiNeS: Post-training Layer Scaling Prevents Forgetting and Enhances Model Merging [80.17238673443127]
LiNeSは、微調整タスク性能を向上しつつ、事前訓練された一般化を維持するために設計されたポストトレーニング編集技術である。 LiNeSは、視覚と自然言語処理のさまざまなベンチマークにおいて、シングルタスクとマルチタスクの両方で大幅に改善されている。
論文参考訳（メタデータ） (2024-10-22T16:26:05Z)
Task Difficulty Aware Parameter Allocation & Regularization for Lifelong Learning [20.177260510548535]
本稿では,その学習困難度に基づいてパラメータ割り当てと正規化から各タスクに適した戦略を適応的に選択するAllocation & Regularization (PAR)を提案する。提案手法はスケーラビリティが高く,モデルの冗長性を著しく低減し,モデルの性能を向上する。
論文参考訳（メタデータ） (2023-04-11T15:38:21Z)
Task Adaptive Parameter Sharing for Multi-Task Learning [114.80350786535952]
Adaptive Task Adapting Sharing(TAPS)は、階層の小さなタスク固有のサブセットを適応的に修正することで、ベースモデルを新しいタスクにチューニングする手法である。他の手法と比較して、TAPSはダウンストリームタスクに対して高い精度を維持し、タスク固有のパラメータは少ない。我々は,タスクやアーキテクチャ(ResNet,DenseNet,ViT)を微調整して評価し,実装が簡単でありながら最先端の性能を実現することを示す。
論文参考訳（メタデータ） (2022-03-30T23:16:07Z)
Efficient Continual Adaptation for Generative Adversarial Networks [97.20244383723853]
GAN(Generative Adversarial Network)に対する連続学習手法を提案する。我々のアプローチは、グローバルパラメータとタスク固有のパラメータのセットを学習することに基づいている。機能マップ変換に基づくアプローチは,最先端のgans手法よりも優れていることを示す。
論文参考訳（メタデータ） (2021-03-06T05:09:37Z)
Parameter-Efficient Transfer Learning with Diff Pruning [108.03864629388404]
diff pruningは、プリトレイン・ファインチューンフレームワーク内でパラメータ効率の高い転送学習を可能にするシンプルなアプローチです。 diff pruningで微調整されたモデルは、GLUEベンチマークで完全に微調整されたベースラインのパフォーマンスと一致します。
論文参考訳（メタデータ） (2020-12-14T12:34:01Z)
Meta Reinforcement Learning with Autonomous Inference of Subtask Dependencies [57.27944046925876]
本稿では,タスクがサブタスクグラフによって特徴づけられるような,新しい数発のRL問題を提案し,対処する。メタ政治を直接学習する代わりに、Subtask Graph Inferenceを使ったメタラーナーを開発した。実験の結果,2つのグリッドワールド領域とStarCraft II環境において,提案手法が潜在タスクパラメータを正確に推定できることが確認された。
論文参考訳（メタデータ） (2020-01-01T17:34:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。