論文の概要: Decoupled and Distilled: Task-Adaptive LoRA-Teachers with Ensemble Knowledge Transfer for Few-Shot Class-Incremental Learning

• arxiv url: http://arxiv.org/abs/2609.39390v1
• Date: Wed, 30 Sep 2026 09:38:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-01 18:57:27.524244
• Title: Decoupled and Distilled: Task-Adaptive LoRA-Teachers with Ensemble Knowledge Transfer for Few-Shot Class-Incremental Learning
• Title（参考訳）: 授業適応型LORA-Teachers with Ensemble Knowledge Transfer for Few-Shot Class-Incremental Learning
• Abstract要約: FSCIL(Few-Shot Class-Incremental Learning)は、それまでの知識を維持しつつ、非常に限られたサンプルから新しいクラスを学ぶという課題に対処する。 本稿では,推論効率の高いFSCILフレームワークであるTALON(Task-Adaptive LoRA-Teachers with Ensemble Knowledge Transfer)を提案する。
• 参考スコア（独自算出の注目度）: 13.18757644782609
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Few-Shot Class-Incremental Learning (FSCIL) addresses the challenge of learning new classes from very limited samples while retaining knowledge of previously learned ones. Although parameter-efficient fine-tuning methods with pre-trained models show promise for class-incremental learning, strict gradient-based constraints can be unreliable under severe data scarcity, while multi-expert approaches can impose substantial inference-time costs. We propose TALON (Task-Adaptive LoRA-Teachers with Ensemble Knowledge Transfer), an inference-efficient FSCIL framework. TALON dynamically allocates an independent LoRA-Teacher to each incremental task for task-specific representation learning, then distills multiple frozen teachers into a unified LoRA-Student through Ensemble Knowledge Transfer, eliminating runtime module selection or generation. A semantic-guided distillation strategy weights teacher contributions by feature-space similarity to mitigate catastrophic forgetting and overfitting. Across three class-order runs, TALON achieves comparable or better mean average accuracy across four FSCIL benchmarks, obtaining 86.68 +/- 1.22% on CUB200, 90.39 +/- 0.27% on CIFAR100, 78.38 +/- 0.94% on ImageNet-R, and 96.34 +/- 0.33% on miniImageNet. TALON uses up to 33x fewer deployment parameters and reduces average inference time per task to 26.7 s, a 41.70% reduction relative to ASP.
• Abstract（参考訳）: FSCIL(Few-Shot Class-Incremental Learning)は、それまでの知識を維持しつつ、非常に限られたサンプルから新しいクラスを学ぶという課題に対処する。 事前学習されたモデルを用いたパラメータ効率の高い微調整手法は、クラス増分学習を約束するが、厳密な勾配に基づく制約は、厳しいデータ不足下では信頼できない。 本稿では,推論効率の高いFSCILフレームワークであるTALON(Task-Adaptive LoRA-Teachers with Ensemble Knowledge Transfer)を提案する。 TALONは、タスク固有の表現学習のために各インクリメンタルタスクに独立したLoRA-Teacherを動的に割り当て、その後、複数の凍結した教師をEnsemble Knowledge Transferを通じて統合されたLoRA-Studentに蒸留し、実行モジュールの選択や生成を除去する。 意味誘導型蒸留戦略は, 特徴空間類似性によって教師の貢献を重み付けし, 破滅的な忘れと過度な適合を緩和する。 CUB200では86.68 +/- 1.22%、CIFAR100では90.39 +/- 0.27%、ImageNet-Rでは78.38 +/- 0.94%、mini ImageNetでは96.34 +/- 3%となる。 TALONは配置パラメータを最大33倍に削減し、タスク毎の平均推論時間を26.7秒に短縮する。

関連論文リスト

• Cross-Architecture Knowledge Distillation from a Vision Foundation Model to a Lightweight Visual State Space Model for Tea Leaf Disease Classification [10.122947222129108]
  DINOv2のような自己監督型ビジョンファウンデーションモデルは強力な機能を提供するが、フィールド展開には大きすぎる。 微調整DINOv2教師からコンパクトな双方向視覚空間モデルへのクロスアーキテクチャ知識の蒸留について検討した。 我々は,SSM学生が限られたデータで学習することを防ぐ2つのトレーニング安定問題を同定し,修正する。
  論文  参考訳（メタデータ） (2026-08-27T08:02:05Z)
• Mach-Mind-4-Flash Technical Report [0.0]
  Mach-Mind-4-Flashは3Bアクティベートパラメータを持つMixture-of-Experts (MoE)エージェントモデルである。 トレーニング後の最適化は、事前学習計算をスケーリングすることなく、100B-パラメータクラスのモデルと同等かそれ以上のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2026-07-10T12:57:08Z)
• Orthogonal Subspace Projection for Continual Machine Unlearning via SVD-Based LoRA [8.191149161025198]
  継続的機械学習は、もはや保持すべきでないデータの影響を排除し、モデルの有用性を他のすべてに保持することを目的としています。 Low-Rank Adaptation (LoRA)は、このような更新を実装する効率的な方法を提供するが、多くのシーケンシャルなLoRAモジュールを組み合わせることで、パラメータの衝突につながる。 Singular Value Decomposition (SVD)-guided orthogonal subspace projection に基づく静的な代替法を提案する。
  論文  参考訳（メタデータ） (2026-04-14T09:59:32Z)
• Shared LoRA Subspaces for almost Strict Continual Learning [32.4267950435704]
  大規模な事前訓練されたモデルを新しいタスクに効果的かつ継続的に適応させることは、現実世界のデプロイメントに不可欠である。 パラメータ効率の良い連続ファインタニングのための新しい手法であるShareを提案し、単一の共有低ランク部分空間を学習し動的に更新する。 単一のShareモデルは、数百のタスク固有のLoRAアダプタを置き換えることができ、スケーラブルで非同期な継続的学習をサポートする。
  論文  参考訳（メタデータ） (2026-02-05T18:59:58Z)
• Decomposing and Composing: Towards Efficient Vision-Language Continual Learning via Rank-1 Expert Pool in a Single LoRA [50.97792275353563]
  単一低ランク適応 (LoRA) モジュールを分解可能な Rank-1 エキスパートプールとして再構成する,新しいフレームワークを提案する。 本手法では,このエキスパートプールから[Guided]トークンのセマンティクスに導かれて,疎結合でタスク固有の更新を動的に作成することを学ぶ。
  論文  参考訳（メタデータ） (2026-01-30T10:54:51Z)
• PointLoRA: Low-Rank Adaptation with Token Selection for Point Cloud Learning [54.99373314906667]
  ポイントクラウドのための自己教師付き表現学習は、様々なタスクで事前訓練されたモデルパフォーマンスを改善する効果を実証した。 事前訓練されたモデルは複雑さが増すにつれて、下流のアプリケーションに完全に微調整を施すには、かなりの計算資源とストレージ資源が必要である。 そこで我々は,低ランク適応(LoRA)とマルチスケールトークン選択を併用した簡易かつ効果的なPointLoRAを提案する。
  論文  参考訳（メタデータ） (2025-04-22T16:41:21Z)
• Learning from Stochastic Teacher Representations Using Student-Guided Knowledge Distillation [64.15918654558816]
  教師表現のフィルタリングと重み付けのための自己蒸留(SSD)訓練戦略を導入し,タスク関連表現のみから抽出する。 UCR Archiveのウェアラブル/バイオサインデータセット、HARデータセット、画像分類データセットなどの実世界の感情コンピューティングに関する実験結果は、提案したSSD手法が最先端の手法より優れていることを示している。
  論文  参考訳（メタデータ） (2025-04-19T14:08:56Z)
• LiST: Lite Self-training Makes Efficient Few-shot Learners [91.28065455714018]
  LiSTは古典的な微調整法よりも35%改善し、プロンプトチューニングよりも6%改善した。
  論文  参考訳（メタデータ） (2021-10-12T18:47:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。