論文の概要: Quantum-Gated Task-interaction Knowledge Distillation for Pre-trained Model-based Class-Incremental Learning

• arxiv url: http://arxiv.org/abs/2604.11112v1
• Date: Mon, 13 Apr 2026 07:28:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-14 20:13:16.397683
• Title: Quantum-Gated Task-interaction Knowledge Distillation for Pre-trained Model-based Class-Incremental Learning
• Title（参考訳）: 事前学習モデルに基づくクラスインクリメンタル学習のための量子ゲート型タスクインタラクション知識蒸留
• Authors: Linjie Li, Huiyu Xiao, Jiarui Cao, Zhenyu Wu, Yang Ji,
• Abstract要約: クラスインクリメンタルラーニング(CIL)は,タスクの流れから継続的に知識を蓄積することを目的としている。 CILはマルチタスクサブスペースの絡み合いに苦慮している。 本稿では,新しい量子ゲート型タスク-インタラクション知識蒸留フレームワークを提案する。
• 参考スコア（独自算出の注目度）: 31.28583279686815
• License: http://creativecommons.org/publicdomain/zero/1.0/
• Abstract: Class-incremental learning (CIL) aims to continuously accumulate knowledge from a stream of tasks and construct a unified classifier over all seen classes. Although pretrained models (PTMs) have shown promising performance in CIL, they still struggle with the entanglement of multi-task subspaces, leading to catastrophic forgetting when task routing parameters are poorly calibrated or task-level representations are rigidly fixed. To address this issue, we propose a novel Quantum-Gated Task-interaction Knowledge Distillation (QKD) framework that leverages quantum gating to guide inter-task knowledge transfer. Specifically, we introduce a quantum-gated task modulation gating mechanism to model the relational dependencies among task embedding, dynamically capturing the sample-to-task relevance for both joint training and inference across streaming tasks. Guided by the quantum gating outputs, we perform task-interaction knowledge distillation guided by these task-embedding-level correlation weights from old to new adapters, enabling the model to bridge the representation gaps between independent task subspaces. Extensive experiments demonstrate that QKD effectively mitigates forgetting and achieves state-of-the-art performance.
• Abstract（参考訳）: CIL(Class-incremental Learning)は、タスクストリームからの知識を継続的に蓄積し、すべてのクラスに統一された分類器を構築することを目的としている。 事前訓練されたモデル(PTM)は、CILにおいて有望な性能を示したが、それでもマルチタスク部分空間の絡み合いに苦慮し、タスクルーティングパラメータの調整が不十分であったり、タスクレベルの表現が厳格に固定された場合、悲惨なことを忘れてしまう。 この問題に対処するために,量子ゲーティングを利用してタスク間知識伝達を誘導する新しいQKD(Quantum-Gated Task-Interaction Knowledge Distillation)フレームワークを提案する。 具体的には、タスク埋め込み間の関係関係をモデル化するための量子ゲート型タスク変調ゲーティング機構を導入し、ストリーミングタスク間の共同トレーニングと推論の両方に対するサンプルとタスクの関係を動的に把握する。 量子ゲーティング出力によって導かれるこれらのタスク-エンベディングレベルの相関重みによって導かれるタスク-相互作用知識の蒸留を行い、モデルが独立したタスクサブスペース間の表現ギャップを埋めることを可能にする。 大規模な実験により、QKDは忘れを効果的に軽減し、最先端のパフォーマンスを達成することが示されている。

関連論文リスト

• On the Paradoxical Interference between Instruction-Following and Task Solving [50.75960598434753]
  次の命令は、大規模言語モデル(LLM)を、タスクの実行方法に関する明示的な制約を指定することで、人間の意図と整合させることを目的としている。 我々は,LLMのタスク解決能力にパラドックス的に干渉する命令に従うという,直感に反する現象を明らかにした。 本稿では,タスク解決に追従する命令の干渉を定量化する指標として,SUSTAINSCOREを提案する。
  論文  参考訳（メタデータ） (2026-01-29T17:48:56Z)
• Purifying Task Vectors in Knowledge-Aware Subspace for Model Merging [83.5273168208788]
  モデルマージは、個別に調整されたモデルのタスク固有の能力を、余分なトレーニングなしで単一のモデルに統合することを目的としている。 統合モデルは、タスクベクトルのタスク非関連冗長性に起因する競合により、しばしば顕著なパフォーマンス劣化に悩まされる。 本稿では,これらの課題を克服するために,知識対応サブ空間におけるTAsk Vectors (PAVE) の純粋化を提案する。
  論文  参考訳（メタデータ） (2025-10-16T14:02:57Z)
• Efficient Knowledge Transfer in Multi-Task Learning through Task-Adaptive Low-Rank Representation [11.955971931186006]
  事前訓練された言語モデルは、現実世界のアプリケーションでトレーニング中に見つからない新しいタスクに苦しむ。 本稿では,タスク適応型低ランク表現(TA-LoRA)を提案する。 16のタスクの実験では、TA-LoRAがフルデータおよび少数ショット設定で最先端のパフォーマンスを達成することを示した。
  論文  参考訳（メタデータ） (2025-04-20T06:33:19Z)
• Layer-Aware Task Arithmetic: Disentangling Task-Specific and Instruction-Following Knowledge [12.367471198090655]
  Task Arithmetic (TA)は、微調整から派生したタスクベクトルを組み合わせることで、マルチタスク学習とタスク忘れを可能にするが、一般的な指示追従行動からタスク固有の知識を分離するのに苦労する。 本稿では,命令フォローやタスク固有のコンポーネントとのアライメントに基づいて,階層固有の重みをタスクベクトルに割り当てる新しい手法であるLayer-Aware Task Arithmetic (LATA)を提案する。
  論文  参考訳（メタデータ） (2025-02-27T15:22:14Z)
• Exploiting Task Relationships for Continual Learning Using Transferability-Aware Task Embeddings [8.814732457885022]
  連続学習(CL)は、現代のディープニューラルネットワークアプリケーションにおいて重要なトピックである。 本稿では、H埋め込みと呼ばれるトランスファービリティを考慮したタスク埋め込みを提案し、そのガイダンスに基づいてハイパーネットフレームワークを構築する。
  論文  参考訳（メタデータ） (2025-02-17T09:52:19Z)
• PEMT: Multi-Task Correlation Guided Mixture-of-Experts Enables Parameter-Efficient Transfer Learning [28.353530290015794]
  マルチタスク変換学習に基づくパラメータ効率の高いファインチューニングフレームワークPEMTを提案する。 我々は17のデータセットにまたがる幅広いタスクについて実験を行う。
  論文  参考訳（メタデータ） (2024-02-23T03:59:18Z)
• Composite Learning for Robust and Effective Dense Predictions [81.2055761433725]
  マルチタスク学習は、目標タスクを補助タスクと協調的に最適化することで、より優れたモデル一般化を約束する。 自己監督型(補助的)タスクと密接な予測(目標)タスクを共同でトレーニングすることで、目標タスクの性能を継続的に向上し、補助タスクのラベル付けの必要性を排除できることが判明した。
  論文  参考訳（メタデータ） (2022-10-13T17:59:16Z)
• Continual Object Detection via Prototypical Task Correlation Guided Gating Mechanism [120.1998866178014]
  pRotOtypeal taSk corrElaTion guided gaTingAnism (ROSETTA)による連続物体検出のためのフレキシブルなフレームワークを提案する。 具体的には、統一されたフレームワークはすべてのタスクで共有され、タスク対応ゲートは特定のタスクのサブモデルを自動的に選択するために導入されます。 COCO-VOC、KITTI-Kitchen、VOCのクラスインクリメンタル検出、および4つのタスクの逐次学習の実験により、ROSETTAが最先端のパフォーマンスを得ることが示された。
  論文  参考訳（メタデータ） (2022-05-06T07:31:28Z)
• Combining Modular Skills in Multitask Learning [149.8001096811708]
  モジュラー設計は、ニューラルネットワークが様々な知識の面をアンタングルして再結合し、新しいタスクにより系統的に一般化することを奨励する。 この研究では、各タスクは(潜在的に小さな)インベントリから潜在的な離散スキルのサブセットと関連付けられていると仮定する。 ネットワークのモジュラー設計により、強化学習におけるサンプル効率が著しく向上し、教師あり学習における数ショットの一般化が図られる。
  論文  参考訳（メタデータ） (2022-02-28T16:07:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。