Fugu-MT 論文翻訳(概要): Continual Fine-Tuning with Provably Accurate and Parameter-Free Task Retrieval

論文の概要: Continual Fine-Tuning with Provably Accurate and Parameter-Free Task Retrieval

arxiv url: http://arxiv.org/abs/2603.13235v1
Date: Wed, 28 Jan 2026 02:07:33 GMT
ステータス: 翻訳完了
システム内更新日: 2026-03-23 08:17:42.214515
Title: Continual Fine-Tuning with Provably Accurate and Parameter-Free Task Retrieval
Title（参考訳）: 確率的精度とパラメータフリータスク検索による連続微調整
Authors: Hang Thi-Thuy Le, Long Minh Bui, Minh Hoang, Trong Nghia Hoang,
Abstract要約: 本研究では,パラメータフリー検索を用いて,テスト時間中に入力埋め込みを適応的に利用するための新しいパラメータ適応手法を提案する。この知見により,本手法は,先行知識の保存と補完を行うための情報的タスク固有の更新を学習する適応的モジュール構成戦略と,各タスクの異なる表現シグネチャを捕捉し,テスト時に適応的表現使用を可能にするクラスタリングに基づく検索機構の2つの重要なコンポーネントで設計されている。
参考スコア（独自算出の注目度）: 15.368097558104315
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Continual fine-tuning aims to adapt a pre-trained backbone to new tasks sequentially while preserving performance on earlier tasks whose data are no longer available. Existing approaches fall into two categories which include input- and parameter-adaptation. Input-adaptation methods rely on retrieving the most relevant prompts at test time, but require continuously learning a retrieval function that is prone to forgetting. Parameter-adaptation methods instead use a fixed input embedding function to enable retrieval-free prediction and avoid forgetting, but sacrifice representation adaptability. To combine their best strengths, we propose a new parameter-adaptation method that enables adaptive use of input embeddings during test time with parameter-free retrieval. We derive task-retrieval error bounds for a clustering-based, parameter-free paradigm, providing theoretical guarantees that link low retrieval error to structural properties of task-specific representation clusters, revealing a fresh insight into how well-organized clustering structure will enable reliable retrieval. Motivated by this insight, our method is designed with two key components: (i) an adaptive module composition strategy that learns informative task-specific updates to preserve and complement prior knowledge, and (ii) a clustering-based retrieval mechanism that captures distinct representation signatures for each task, enabling adaptive representation use at test time. Extensive experiments show that these components work synergistically to improve retrieval and predictive performance under large shifts in task semantics.
Abstract（参考訳）: 継続的な微調整は、トレーニング済みのバックボーンを新しいタスクに順次適応することを目的としている。既存のアプローチは入力適応とパラメータ適応の2つのカテゴリに分類される。入力適応法は、テスト時に最も関連性の高いプロンプトを検索することに依存するが、忘れがちな検索関数を継続的に学習する必要がある。パラメータ適応法は、代わりに固定された入力埋め込み関数を使用して、検索不要な予測を可能にし、忘れることを避けるが、表現適応性を犠牲にする。そこで本研究では,パラメータフリー検索を用いて,テスト時間内に入力埋め込みを適応的に利用するためのパラメータ適応手法を提案する。我々は,クラスタリングに基づくパラメータフリーなパラダイムに対するタスク検索エラー境界を導出し,低検索エラーとタスク固有の表現クラスタの構造的特性をリンクする理論的保証を提供し,クラスタリング構造が信頼性の高い検索を可能にする方法の新たな知見を明らかにした。この洞察に触発され、我々の手法は2つの重要な構成要素で設計されている。一先行知識の保存及び補完のために情報的タスク固有の更新を学習する適応的なモジュール構成戦略 (2)クラスタリングに基づく検索機構は,各タスクごとに異なる表現シグネチャをキャプチャし,テスト時に適応表現の使用を可能にする。大規模な実験により、これらのコンポーネントはタスクセマンティクスの大きなシフトの下で、検索と予測性能を改善するために相乗的に機能することが示された。

論文の概要: Continual Fine-Tuning with Provably Accurate and Parameter-Free Task Retrieval

関連論文リスト