Fugu-MT 論文翻訳(概要): Continual Fine-Tuning with Provably Accurate and Parameter-Free Task Retrieval

論文の概要: Continual Fine-Tuning with Provably Accurate and Parameter-Free Task Retrieval

arxiv url: http://arxiv.org/abs/2603.13235v1
Date: Wed, 28 Jan 2026 02:07:33 GMT
ステータス: 翻訳完了
システム内更新日: 2026-03-23 08:17:42.214515
Title: Continual Fine-Tuning with Provably Accurate and Parameter-Free Task Retrieval
Title（参考訳）: 確率的精度とパラメータフリータスク検索による連続微調整
Abstract要約: 本研究では,パラメータフリー検索を用いて,テスト時間中に入力埋め込みを適応的に利用するための新しいパラメータ適応手法を提案する。この知見により,本手法は,先行知識の保存と補完を行うための情報的タスク固有の更新を学習する適応的モジュール構成戦略と,各タスクの異なる表現シグネチャを捕捉し,テスト時に適応的表現使用を可能にするクラスタリングに基づく検索機構の2つの重要なコンポーネントで設計されている。
参考スコア（独自算出の注目度）: 15.368097558104315
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Continual fine-tuning aims to adapt a pre-trained backbone to new tasks sequentially while preserving performance on earlier tasks whose data are no longer available. Existing approaches fall into two categories which include input- and parameter-adaptation. Input-adaptation methods rely on retrieving the most relevant prompts at test time, but require continuously learning a retrieval function that is prone to forgetting. Parameter-adaptation methods instead use a fixed input embedding function to enable retrieval-free prediction and avoid forgetting, but sacrifice representation adaptability. To combine their best strengths, we propose a new parameter-adaptation method that enables adaptive use of input embeddings during test time with parameter-free retrieval. We derive task-retrieval error bounds for a clustering-based, parameter-free paradigm, providing theoretical guarantees that link low retrieval error to structural properties of task-specific representation clusters, revealing a fresh insight into how well-organized clustering structure will enable reliable retrieval. Motivated by this insight, our method is designed with two key components: (i) an adaptive module composition strategy that learns informative task-specific updates to preserve and complement prior knowledge, and (ii) a clustering-based retrieval mechanism that captures distinct representation signatures for each task, enabling adaptive representation use at test time. Extensive experiments show that these components work synergistically to improve retrieval and predictive performance under large shifts in task semantics.
Abstract（参考訳）: 継続的な微調整は、トレーニング済みのバックボーンを新しいタスクに順次適応することを目的としている。既存のアプローチは入力適応とパラメータ適応の2つのカテゴリに分類される。入力適応法は、テスト時に最も関連性の高いプロンプトを検索することに依存するが、忘れがちな検索関数を継続的に学習する必要がある。パラメータ適応法は、代わりに固定された入力埋め込み関数を使用して、検索不要な予測を可能にし、忘れることを避けるが、表現適応性を犠牲にする。そこで本研究では,パラメータフリー検索を用いて,テスト時間内に入力埋め込みを適応的に利用するためのパラメータ適応手法を提案する。我々は,クラスタリングに基づくパラメータフリーなパラダイムに対するタスク検索エラー境界を導出し,低検索エラーとタスク固有の表現クラスタの構造的特性をリンクする理論的保証を提供し,クラスタリング構造が信頼性の高い検索を可能にする方法の新たな知見を明らかにした。この洞察に触発され、我々の手法は2つの重要な構成要素で設計されている。一先行知識の保存及び補完のために情報的タスク固有の更新を学習する適応的なモジュール構成戦略 (2)クラスタリングに基づく検索機構は,各タスクごとに異なる表現シグネチャをキャプチャし,テスト時に適応表現の使用を可能にする。大規模な実験により、これらのコンポーネントはタスクセマンティクスの大きなシフトの下で、検索と予測性能を改善するために相乗的に機能することが示された。

関連論文リスト

One Adapter, Many Tasks: Task-Conditioned Feature Transformations for Continual Learning [45.405420567098155]
textbfFACET: task-conditioned textbfFetextbfAture transformation with textbfConditiontextbfEd feature consistextbfTency。本手法は,トレーニング可能なパラメータとGFLOPを著しく少なくし,優れた性能を実現する。
論文参考訳（メタデータ） (2026-08-31T17:03:45Z)
Knowledge Reutilization in Meta-Reinforcement Learning [51.07319647819108]
本稿では,動的に単純化されたエージェント上でタスクレベルの知識を学習し,それを異種エージェントに転送するメタ知識再利用フレームワークを提案する。我々のフレームワークは、最新の最先端ベースラインと比較して、最終段階のトラッキングエラーを94.75% -- 99.79%削減している。
論文参考訳（メタデータ） (2026-06-16T16:32:28Z)
Adaptive Prompting for Continual Relation Extraction: A Within-Task Variance Perspective [23.79259400522239]
本稿では,連続関係抽出における破滅的忘れに対処する新しい手法を提案する。提案手法では各タスクにプロンプトプールを導入し,タスク内の変動を捉えるとともに,タスク間の差異を増大させる。
論文参考訳（メタデータ） (2024-12-11T11:00:33Z)
Parameter-Efficient and Memory-Efficient Tuning for Vision Transformer: A Disentangled Approach [87.8330887605381]
本稿では,学習可能なパラメータをわずかに限定して,事前学習した視覚変換器を下流認識タスクに適用する方法を示す。学習可能で軽量なモジュールを用いてタスク固有のクエリを合成する。本手法はメモリ制約下での最先端性能を実現し,実環境における適用性を示す。
論文参考訳（メタデータ） (2024-07-09T15:45:04Z)
Adaptive Retention & Correction: Test-Time Training for Continual Learning [114.5656325514408]
連続学習における一般的な問題は、最新のタスクに対する分類層のバイアスである。アダプティブ・リテンション・アンド・コレクション (ARC) のアプローチを例に挙げる。 ARCはCIFAR-100とImagenet-Rのデータセットで平均2.7%と2.6%のパフォーマンス向上を達成した。
論文参考訳（メタデータ） (2024-05-23T08:43:09Z)
A Fixed-Point Approach to Unified Prompt-Based Counting [51.20608895374113]
本研究の目的は,ボックス,ポイント,テキストなど,さまざまなプロンプト型で示されるオブジェクトの密度マップを生成することができる包括的プロンプトベースのカウントフレームワークを確立することである。本モデルは,クラスに依存しない顕著なデータセットに優れ,データセット間の適応タスクにおいて優れた性能を示す。
論文参考訳（メタデータ） (2024-03-15T12:05:44Z)
Complementary Learning Subnetworks for Parameter-Efficient Class-Incremental Learning [40.13416912075668]
本稿では,2つの補完学習サブネットワークス間のシナジーを通じて連続的に学習するリハーサルフリーなCILアプローチを提案する。提案手法は, 精度向上, メモリコスト, トレーニング効率, タスク順序など, 最先端手法と競合する結果が得られる。
論文参考訳（メタデータ） (2023-06-21T01:43:25Z)
Task Difficulty Aware Parameter Allocation & Regularization for Lifelong Learning [20.177260510548535]
本稿では,その学習困難度に基づいてパラメータ割り当てと正規化から各タスクに適した戦略を適応的に選択するAllocation & Regularization (PAR)を提案する。提案手法はスケーラビリティが高く,モデルの冗長性を著しく低減し,モデルの性能を向上する。
論文参考訳（メタデータ） (2023-04-11T15:38:21Z)
Fine-grained Retrieval Prompt Tuning [149.9071858259279]
微粒な検索プロンプトチューニングは, サンプルプロンプトと特徴適応の観点から, きめの細かい検索タスクを実行するために, 凍結した事前学習モデルを操る。学習可能なパラメータが少ないFRPTは、広く使われている3つの細粒度データセットの最先端性能を実現する。
論文参考訳（メタデータ） (2022-07-29T04:10:04Z)
Automated Concatenation of Embeddings for Structured Prediction [75.44925576268052]
本稿では, 埋め込みの自動結合(ACE)を提案し, 構造予測タスクにおける埋め込みのより優れた結合を見つけるプロセスを自動化する。我々は、強化学習の戦略に従い、制御器のパラメータを最適化し、タスクモデルの精度に基づいて報酬を計算する。
論文参考訳（メタデータ） (2020-10-10T14:03:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。