Fugu-MT 論文翻訳(概要): Unifying Detection and Adaptation in Task-Free Continual Learning

論文の概要: Unifying Detection and Adaptation in Task-Free Continual Learning

arxiv url: http://arxiv.org/abs/2608.27070v1
Date: Thu, 27 Aug 2026 12:56:27 GMT
ステータス: 翻訳完了
システム内更新日: 2026-08-28 16:30:58.405749
Title: Unifying Detection and Adaptation in Task-Free Continual Learning
Title（参考訳）: タスクフリー連続学習における検出と適応の統一
Abstract要約: バッチレベルタスク検出のためのtextbfFisher-guided textbfFiUni フレームワークを提案する。実験によると、FiUniは遅延バッチレベルのタスクアフィリエイトを効果的に推論できる。
参考スコア（独自算出の注目度）: 8.950162084237288
License: http://creativecommons.org/licenses/by/4.0/
Abstract: To mitigate catastrophic forgetting in downstream continual learning (CL) for large language models (LLMs), existing methods typically constrain parameter updates or introduce task-specific adaptation modules. However, these methods often rely on explicit task boundaries during training, limiting their applicability to realistic task-free scenarios. In this paper, we propose a \textbf{Fi}sher-guided \textbf{uni}fied (\textbf{FiUni}) framework for batch-level task detection and parameter-efficient continual adaptation. FiUni is motivated by a key observation about the Fisher information matrix (FIM) of pre-trained models: the orthogonality among the principal subspaces of its Kronecker-Factored Approximate Curvature (K-FAC) approximation, estimated from a small number of downstream task samples, can reflect the similarity between different tasks. Based on this observation, FiUni constructs FIM-derived frozen subspaces to guide low-rank adaptation (LoRA), while matching the Fisher principal subspace of each incoming batch window with historical subspaces. This enables FiUni to adaptively determine whether to reuse existing knowledge, expand a related subspace, or create a new subspace, dynamically balancing knowledge sharing and task isolation. Experiments show that FiUni can effectively infer latent batch-level task affiliations and achieve competitive performance against advanced task-aware CL methods with fewer trainable parameters.
Abstract（参考訳）: 大規模言語モデル(LLM)の下流連続学習(CL)における破滅的な忘れを緩和するため、既存の手法ではパラメータの更新を制限したり、タスク固有の適応モジュールを導入するのが一般的である。しかしながら、これらのメソッドはトレーニング中に明示的なタスク境界に依存し、現実的なタスクフリーシナリオに適用性を制限する。本稿では,バッチレベルのタスク検出とパラメータ効率の連続的適応のためのフレームワークである \textbf{Fi}sher-guided \textbf{uni}fied (\textbf{FiUni}) を提案する。 FiUniは、事前訓練されたモデルのフィッシャー情報行列(FIM)に関する重要な観測によって動機付けられ、Kronecker-Factored Approximate Curvature (K-FAC)近似の主部分空間の直交性は、少数の下流タスクサンプルから推定される、異なるタスク間の類似性を反映することができる。この観測に基づいて、FiUniはFIM由来の凍結部分空間を構築し、ローランク適応(LoRA)を誘導し、各バッチウィンドウのフィッシャー主部分空間と歴史的な部分空間をマッチングする。これにより、FiUniは既存の知識を再利用するか、関連するサブスペースを拡張するか、あるいは新しいサブスペースを作成し、知識共有とタスク分離の動的バランスをとることができる。実験により、FiUniは遅延バッチレベルのタスクアフィリエイトを効果的に推論し、トレーニング可能なパラメータが少ない高度なタスク対応CLメソッドと競合する性能を実現できることが示された。

関連論文リスト

Miles: Metric Learning with Expandable Subspace for Pre-Trained Model-Based Class-Incremental Learning [57.237835833636154]
本稿では,事前学習された知識の事前情報を活用するために,拡張可能なサブスペース(マイル)を用いたMetrIc Learningを提案する。 Milesは様々なCIL設定で最先端のパフォーマンスを達成する。
論文参考訳（メタデータ） (2026-07-20T06:22:02Z)
OrthoTryOn: Geometric Orthogonalization for Conflict-Free Unified Fashion Generation [43.40052085990979]
統一ファッション生成は、仮想試着や衣服の再構築のようなタスクを単一のモデルに統合し、タスク固有の適応コストを削減する。我々は、共有Low-AdaptationRank(LoRA)モジュール内でこの干渉を緩和する統合フレームワークOrthoTryOnを提案する。
論文参考訳（メタデータ） (2026-06-26T09:23:25Z)
TRACE: Discovering Task-Specific Parameter via Adaptation-Aware Probing for Continual Fine-Tuning [33.07713704586859]
本稿では,タスク固有のpaRameterを探索するための新しいアプローチであるTRACEを紹介する。提案手法の優れた性能を示すため,複数の標準ベンチマークを用いて実験を行った。
論文参考訳（メタデータ） (2026-05-29T08:57:06Z)
StrLoRA: Towards Streaming Continual Visual Instruction Tuning for MLLMs [9.912407135967836]
本稿では,タスクの動的混合を含むデータチャンクのストリームからモデルを学習するStreaming CVIT(StrCVIT)を紹介する。 StrCVITでは、モデルは同時に新しい能力を取得し、繰り返し能力を強化し、忘れなければならない。正規化された2段階のエキスパートルーティングフレームワークであるStrLoRAを提案する。
論文参考訳（メタデータ） (2026-05-08T06:16:37Z)
Decomposing the Basic Abilities of Large Language Models: Mitigating Cross-Task Interference in Multi-Task Instruct-Tuning [58.90602461025722]
大規模言語モデル(LLM)におけるマルチタスクインストラクトチューニングは、主にマルチタスクインストラクトチューニングによって駆動されている。トレーニングパラダイムは、異なるタスク間で共有されたパラメータよりも勾配が矛盾するため、クロスタスク干渉と呼ばれる重要な問題に悩まされる。本稿では,LLMパラメータを基本能力を表す高特異値LoRAエキスパートに分解するBADITを提案する。 6LLMのSuperNIベンチマークで広範な実験を行い、実験結果から、BADITはSOTA法より優れ、クロスタスク干渉の程度を緩和できることが示された。
論文参考訳（メタデータ） (2026-05-07T05:08:58Z)
Mixtures of SubExperts for Large Language Continual Learning [6.425296129700846]
タスクの連続ストリームに大規模言語モデルを適用することは、決定的だが挑戦的な取り組みである。 1組のPEFTパラメータを新しいタスクに再利用すると、しばしば以前の知識を壊滅的に忘れてしまう。本稿では,最小限の忘れ込みと効率のよい拡張性を実現するための,新しい連続学習フレームワークであるTextitMixtures of SubExperts (MoSEs)を提案する。
論文参考訳（メタデータ） (2025-11-09T05:44:45Z)
BOTS: A Unified Framework for Bayesian Online Task Selection in LLM Reinforcement Finetuning [82.925106913459]
強化微調整(Reinforcement Finetuning, RFT)は、大規模言語モデル(LLM)を人間の嗜好と整合させ、推論を強化するための重要な手法である。 RFT強化微調整におけるベイズオンラインタスク選択のための統合フレームワークBOTSを紹介する。
論文参考訳（メタデータ） (2025-10-30T11:15:23Z)
Task-Agnostic Federated Continual Learning via Replay-Free Gradient Projection [23.99793728516052]
フェデレートされた連続学習(FCL)により、分散クライアントデバイスは、多様で進化するタスクにわたるストリーミングデータから学習することができる。タスク識別予測(FedProTIP)を用いた連立勾配予測型連続学習を提案する。このフレームワークは、クライアントのアップデートをグローバルモデルの以前に学習された表現によって分散されたサブスペースの補空間に投影することで、忘れを軽減します。
論文参考訳（メタデータ） (2025-09-25T21:20:00Z)
CKAA: Cross-subspace Knowledge Alignment and Aggregation for Robust Continual Learning [80.18781219542016]
継続的学習(CL)は、シーケンシャルなタスクストリームから継続的に学習するAIモデルに権限を与える。近年,パラメータ効率のよい微調整(PEFT)によるCL法が注目されている。ミスリード型タスクIDに対するロバスト性を高めるために,クロスサブスペース・ナレッジアライメント・アグリゲーション(CKAA)を提案する。
論文参考訳（メタデータ） (2025-07-13T03:11:35Z)
Reference Trustable Decoding: A Training-Free Augmentation Paradigm for Large Language Models [79.41139393080736]
大規模言語モデル(LLM)は急速に進歩し、印象的な機能を示している。 In-Context Learning (ICL) など。効率的なファインチューニング(PEFT)は、現在2つの主要な拡張方法である。下流タスクへのLLM。我々は、モデルが微調整なしで新しいタスクに迅速に適応できるパラダイムである参照信頼復号(RTD)を提案する。
論文参考訳（メタデータ） (2024-09-30T10:48:20Z)
Task-Distributionally Robust Data-Free Meta-Learning [99.56612787882334]
Data-Free Meta-Learning (DFML)は、複数の事前学習モデルを活用することで、独自のトレーニングデータを必要とせずに、新しいタスクを効率的に学習することを目的としている。 TDS(Task-Distribution Shift)とTDC(Task-Distribution Corruption)の2つの大きな課題を初めて明らかにした。
論文参考訳（メタデータ） (2023-11-23T15:46:54Z)
Self-regulating Prompts: Foundational Model Adaptation without Forgetting [112.66832145320434]
本稿では,PromptSRCと呼ばれる自己正規化フレームワークを提案する。 PromptSRCはタスク固有の汎用表現とタスクに依存しない汎用表現の両方に最適化するプロンプトを導く。
論文参考訳（メタデータ） (2023-07-13T17:59:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。