論文の概要: Distribution-Conditioned Task Routing for Class-Incremental Learning
- arxiv url: http://arxiv.org/abs/2609.34503v1
- Date: Mon, 28 Sep 2026 07:48:15 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-03 12:56:49.326752
- Title: Distribution-Conditioned Task Routing for Class-Incremental Learning
- Title（参考訳）: クラス増分学習のための分散制約タスクルーティング
- Abstract要約: クラスインクリメンタル推論では、各入力をすべてのクラスに分類する必要がある。
これは、破滅的な忘れ物を超えた、重要なタスクルーティングの課題をもたらす。
学習者を再訓練したり、個別に訓練されたルータを導入することなく、ホック後のタスクルーティングについて検討する。
- 参考スコア（独自算出の注目度）: 78.62212417481155
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Parameter-efficient adaptation enables continual learners to acquire task-specific knowledge through compact model updates while maintaining strong within-task performance. However, class-incremental inference requires each input to be classified among all classes seen so far without access to its task identity. For learners equipped with task-specific parameter-efficient modules, this introduces a critical task-routing challenge beyond catastrophic forgetting. We study post-hoc task routing without retraining the learner or introducing a separately trained router. Such training-free inference-time calibration remains comparatively underexplored in parameter-efficient class-incremental learning. We identify three sources of routing error (feature-level, task-level, and class-level misalignment) and propose Feature Distribution Calibration (FDC). Its three components address these misalignments: Task Subspace Filtering (TSF) suppresses feature components outside each task's principal subspace, Residual Likelihood Calibration (RLC) evaluates the typicality of its subspace residual, and Prototype Affinity Calibration (PAC) measures compatibility with the task's class prototypes. Experiments demonstrate plug-and-play applicability to eight parameter-efficient class-incremental methods using a shared encoder. With one component configuration selected per method across all five benchmarks, FDC improves final accuracy in all 40 method-dataset pairs by 4.39 percentage points on average. Enabling all components improves 35 of the 40 pairs, with an average gain of 4.45 points. When applied to a simple baseline, FDC achieves strong overall performance.
- Abstract（参考訳）: パラメータ効率の適応により、連続学習者は、強力なタスク内性能を維持しながら、コンパクトなモデル更新を通じてタスク固有の知識を取得できる。
しかし、クラスインクリメンタル推論では、各入力はタスクIDにアクセスせずに、これまで見てきたすべてのクラスに分類する必要がある。
タスク固有のパラメータ効率のモジュールを備えた学習者にとって、これは破滅的な忘れを超越したクリティカルなタスクルーティングの課題をもたらす。
学習者を再訓練したり、個別に訓練されたルータを導入することなく、ホック後のタスクルーティングについて検討する。
このようなトレーニング不要な推論時間キャリブレーションは、パラメータ効率の高いクラスインクリメンタルラーニングにおいて、比較的過小評価されている。
ルーティングエラーの3つの原因(機能レベル,タスクレベル,クラスレベルのミスアライメント)を特定し,FDC(Feature Distribution Calibration)を提案する。
Task Subspace Filtering (TSF) は各タスクの主部分空間の外の機能コンポーネントを抑圧し、Residual Likelihood Calibration (RLC) はそのサブスペースの典型性を評価し、Prototype Affinity Calibration (PAC) はタスクのクラスプロトタイプとの互換性を測定する。
共用エンコーダを用いた8つのパラメータ効率の高いクラスインクリメンタルメソッドに対するプラグアンドプレイの適用性を示す実験を行った。
5つのベンチマークで1つのメソッドごとに1つのコンポーネント構成が選択され、FDCは40のメソッド・データセット・ペアの最終的な精度を平均4.39ポイント向上させる。
全ての部品は40組中35組改善され、平均利得は4.45点である。
単純なベースラインに適用すると、FDCは全体的なパフォーマンスが向上する。
関連論文リスト
- One Adapter, Many Tasks: Task-Conditioned Feature Transformations for Continual Learning [45.405420567098155]
textbfFACET: task-conditioned textbfFetextbfAture transformation with textbfConditiontextbfEd feature consistextbfTency。
本手法は,トレーニング可能なパラメータとGFLOPを著しく少なくし,優れた性能を実現する。
論文 参考訳（メタデータ） (2026-08-31T17:03:45Z) - Latent-LoRA: Compact Latent-Space Adapters with Gradient-Free Routing for Continual Learning [2.749219725903528]
大規模言語モデルは個々のタスクによく当てはまるが、それらをシーケンシャルに学習する固有のメカニズムは欠如している。
LoRAベースの連続学習手法はタスクごとに個別の低ランクアダプタを割り当てるが、既存のアプローチでは推論時にタスクの同一性を必要とするか、全てのアダプタを無差別にまとめる必要がある。
最近のゲーティングベースのソリューションは、正しいアダプタへの入力をルートするが、それ自体が忘れることを防ぐために保護を必要とするトレーニング可能なパラメータを導入する。
Latent-LoRAはリプレイフリーで、トレーニング可能なルーティングコンポーネントを必要としない。
論文 参考訳（メタデータ） (2026-07-26T20:42:56Z) - EEVEE: Towards Test-time Prompt Learning in the Real World for Self-Improving Agents [64.96332056338923]
EEVEEは、LLMエージェントのための最初のマルチデータセットテスト時プロンプト学習フレームワークである。
実世界のタスクストリーム下でテスト時のプロンプト学習を可能にする。
EEVEEはQwen3-4B-InstructとDeepSeek-V3.2で平均マルチベンチマークスコアを10.38点、24.32点改善している。
論文 参考訳（メタデータ） (2026-06-09T17:57:16Z) - CKAA: Cross-subspace Knowledge Alignment and Aggregation for Robust Continual Learning [80.18781219542016]
継続的学習(CL)は、シーケンシャルなタスクストリームから継続的に学習するAIモデルに権限を与える。
近年,パラメータ効率のよい微調整(PEFT)によるCL法が注目されている。
ミスリード型タスクIDに対するロバスト性を高めるために,クロスサブスペース・ナレッジアライメント・アグリゲーション(CKAA)を提案する。
論文 参考訳（メタデータ） (2025-07-13T03:11:35Z) - Multi-Head Adapter Routing for Cross-Task Generalization [56.75667096355806]
ポリトロポンは、事前訓練と少数ショット適応の両方の間、各タスクのアダプタのサブセットを選択するルーティング関数とアダプタのインベントリを学習する。
複数タスクの事前学習において、数ショットの適応よりもルーティングの方が有益であることがわかった。
論文 参考訳（メタデータ） (2022-11-07T19:35:55Z) - Parameter-Efficient Transfer Learning with Diff Pruning [108.03864629388404]
diff pruningは、プリトレイン・ファインチューンフレームワーク内でパラメータ効率の高い転送学習を可能にするシンプルなアプローチです。
diff pruningで微調整されたモデルは、GLUEベンチマークで完全に微調整されたベースラインのパフォーマンスと一致します。
論文 参考訳（メタデータ） (2020-12-14T12:34:01Z) - Meta-Generating Deep Attentive Metric for Few-shot Classification [53.07108067253006]
本稿では,新しい数ショット学習タスクのための特定のメトリックを生成するための,新しい深度メタジェネレーション手法を提案する。
本研究では,各タスクの識別基準を生成するのに十分なフレキシブルな3層深い注意ネットワークを用いて,メトリクスを構造化する。
特に挑戦的なケースでは、最先端の競合他社よりも驚くほどパフォーマンスが向上しています。
論文 参考訳（メタデータ） (2020-12-03T02:07:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。