論文の概要: HAD: Heterogeneity-Aware Distillation for Lifelong Heterogeneous Learning

• arxiv url: http://arxiv.org/abs/2603.26192v1
• Date: Fri, 27 Mar 2026 09:10:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-30 21:49:48.416264
• Title: HAD: Heterogeneity-Aware Distillation for Lifelong Heterogeneous Learning
• Title（参考訳）: Heterogeneity-Aware Distillation for Lifelong Heterogeneous Learning
• Authors: Xuerui Zhang, Xuehao Wang, Zhan Zhuang, Linglan Zhao, Ziyue Li, Xinmin Zhang, Zhihuan Song, Yu Zhang,
• Abstract要約: 生涯学習は、一連の新しいタスクから知識を取り入れつつ、以前のタスクから得た知識を保存することを目的としている。 我々は、生涯不均質学習(LHL)として、このより広範な設定を定式化する。 従来の生涯学習とは別に、LHLのタスクシーケンスは異なるタスクタイプにまたがる。 LHLをインスタンス化するために、高密度予測の文脈でLHLに焦点を当てる。 ヘテロジニティ・アウェア蒸留法 (HAD) は, これまでに得られた異種知識を保存できる, 例のない手法である。
• 参考スコア（独自算出の注目度）: 23.549281224754562
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Lifelong learning aims to preserve knowledge acquired from previous tasks while incorporating knowledge from a sequence of new tasks. However, most prior work explores only streams of homogeneous tasks (\textit{e.g.}, only classification tasks) and neglects the scenario of learning across heterogeneous tasks that possess different structures of outputs. In this work, we formalize this broader setting as lifelong heterogeneous learning (LHL). Departing from conventional lifelong learning, the task sequence of LHL spans different task types, and the learner needs to retain heterogeneous knowledge for different output space structures. To instantiate the LHL, we focus on LHL in the context of dense prediction (LHL4DP), a realistic and challenging scenario. To this end, we propose the Heterogeneity-Aware Distillation (HAD) method, an exemplar-free approach that preserves previously gained heterogeneous knowledge by self-distillation in each training phase. The proposed HAD comprises two complementary components, including a distribution-balanced heterogeneity-aware distillation loss to alleviate the global imbalance of prediction distribution and a salience-guided heterogeneity-aware distillation loss that concentrates learning on informative edge pixels extracted with the Sobel operator. Extensive experiments demonstrate that the proposed HAD method significantly outperforms existing methods in this new scenario.
• Abstract（参考訳）: 生涯学習は、一連の新しいタスクから知識を取り入れつつ、以前のタスクから得た知識を保存することを目的としている。 しかしながら、ほとんどの先行研究は均質なタスクのストリームのみを探索し(分類されたタスクのみ)、出力の異なる構造を持つ異質なタスクをまたいで学習するシナリオを無視する。 本研究は,生涯不均質学習(LHL)として,このより広い環境を定式化するものである。 従来の生涯学習とは別に、LHLのタスクシーケンスは異なるタスクタイプにまたがっており、学習者は異なる出力空間構造に対して異質な知識を保持する必要がある。 LHLをインスタンス化するために、我々は、現実的で挑戦的なシナリオである高密度予測(LHL4DP)の文脈でLHLに焦点を当てる。 そこで本研究では, 学習段階ごとの自己蒸留により, 不均一な知識を保った経験のない手法であるヘテロジニティ・アウェア蒸留法(HAD)を提案する。 提案するHADは, 予測分布のグローバル不均衡を軽減するための分布バランスの不均一な不均一な蒸留損失と, ソベル演算子により抽出された情報エッジ画素の学習に集中するサリエンス誘導不均一な蒸留損失とを含む2つの相補的成分からなる。 大規模な実験により,提案手法は既存手法よりも優れた性能を示した。

関連論文リスト

• SPREAD: Subspace Representation Distillation for Lifelong Imitation Learning [11.023696977257883]
  生涯の模倣学習における重要な課題は、エージェントが事前知識を維持しながら専門家のデモンストレーションから新しいスキルを習得できるようにすることである。 生の特徴空間におけるL2-ノルム特徴マッチングに依存する既存の蒸留法は,ノイズや高次元変動に敏感である。 低ランク部分空間内のタスク間でポリシー表現を整合させるために特異値分解を利用する幾何保存フレームワークSPREADを導入する。
  論文  参考訳（メタデータ） (2026-03-09T03:38:42Z)
• Multi-Stage Knowledge Integration of Vision-Language Models for Continual Learning [79.46570165281084]
  蒸留法における人間の学習過程をエミュレートするマルチステージ知識統合ネットワーク(MulKI)を提案する。 Mulkiは、イデオロギーの排除、新しいイデオロギーの追加、イデオロギーの排除、コネクティクスの作りという4つの段階を通じてこれを達成している。 提案手法は,下流タスク間の連続学習をサポートしながら,ゼロショット能力の維持における大幅な改善を示す。
  論文  参考訳（メタデータ） (2024-11-11T07:36:19Z)
• M2Distill: Multi-Modal Distillation for Lifelong Imitation Learning [9.15567555909617]
  M2Distillは、生涯の模倣学習のためのマルチモーダル蒸留に基づく方法である。 我々は、前段階から現在の段階まで、様々なモダリティにわたる潜在表現のシフトを規制する。 学習したポリシーが、新しいスキルをシームレスに統合しながら、以前に学習したタスクを実行する能力を維持していることを保証します。
  論文  参考訳（メタデータ） (2024-09-30T01:43:06Z)
• Multi-Granularity Semantic Revision for Large Language Model Distillation [66.03746866578274]
  LLM蒸留における多粒性セマンティックリビジョン法を提案する。 シーケンスレベルでは、シーケンス修正と再生戦略を提案する。 トークンレベルでは、蒸留目的関数として、Kulback-Leibler損失を補正する分布適応クリッピングを設計する。 スパンレベルでは、シーケンスのスパン前処理を利用して、スパン内の確率相関を計算し、教師と学生の確率相関を一貫性に制約する。
  論文  参考訳（メタデータ） (2024-07-14T03:51:49Z)
• Mind the Interference: Retaining Pre-trained Knowledge in Parameter Efficient Continual Learning of Vision-Language Models [79.28821338925947]
  ドメインクラスのインクリメンタル学習は現実的だが、継続的な学習シナリオである。 これらの多様なタスクに対処するために、事前訓練されたビジョンランゲージモデル(VLM)を導入し、その強力な一般化性を実現する。 事前訓練されたVLMにエンコードされた知識は、新しいタスクに適応する際に妨げられ、固有のゼロショット能力を損なう。 既存の手法では、膨大なオーバーヘッドを必要とする余分なデータセットに知識蒸留でVLMをチューニングすることで、この問題に対処している。 我々は、事前学習した知識を保持できるDIKI(Distributed-Aware Interference-free Knowledge Integration)フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-07-07T12:19:37Z)
• Cross-modal Contrastive Distillation for Instructional Activity Anticipation [144.47787959640482]
  本研究では,過去を観察し,今後の課題を予測し,教育活動予測の課題を研究することを目的とする。 教示ビデオから抽出された意味情報がないため、これは難しい課題である。 本稿では,視覚的予測タスクを支援するために,関連する外部テキスト知識を活用する新しい知識蒸留フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-01-18T04:20:33Z)
• Evidentiality-guided Generation for Knowledge-Intensive NLP Tasks [59.761411682238645]
  Retrieval-augmented Generation Modelは、多くの知識集約型NLPタスクにまたがって最先端のパフォーマンスを示している。 生成器の訓練に、パスが出力をサポートするための正しい証拠を含むか否かに関わらず、パスの明快さを組み込む方法を導入する。
  論文  参考訳（メタデータ） (2021-12-16T08:18:47Z)
• Complementary Calibration: Boosting General Continual Learning with Collaborative Distillation and Self-Supervision [47.374412281270594]
  General Continual Learning (GCL)は、非独立および同一の分散ストリームデータから学習することを目的としている。 破滅的な忘れ方にとって,関係性や特徴の偏りが重要な問題であることが明らかとなった。 補足モデルの出力と特徴をマイニングして補足的(CoCa)フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-09-03T06:35:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。