論文の概要: Quantifying Knowledge Distillation Using Partial Information Decomposition

• arxiv url: http://arxiv.org/abs/2411.07483v2
• Date: Fri, 04 Apr 2025 16:08:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-07 14:46:40.179824
• Title: Quantifying Knowledge Distillation Using Partial Information Decomposition
• Title（参考訳）: 部分的情報分解を用いた知識蒸留の定量化
• Authors: Pasan Dissanayake, Faisal Hamman, Barproda Halder, Ilia Sucholutsky, Qiuyi Zhang, Sanghamitra Dutta,
• Abstract要約: 部分情報分解を用いて、蒸留に必要な変換された知識と知識を定量化し、説明します。 我々は冗長情報をレギュレータとして組み込むための新しいマルチレベル最適化を提案し、冗長情報蒸留(RID)の枠組みを導いた。
• 参考スコア（独自算出の注目度）: 14.82261635235695
• License:
• Abstract: Knowledge distillation deploys complex machine learning models in resource-constrained environments by training a smaller student model to emulate internal representations of a complex teacher model. However, the teacher's representations can also encode nuisance or additional information not relevant to the downstream task. Distilling such irrelevant information can actually impede the performance of a capacity-limited student model. This observation motivates our primary question: What are the information-theoretic limits of knowledge distillation? To this end, we leverage Partial Information Decomposition to quantify and explain the transferred knowledge and knowledge left to distill for a downstream task. We theoretically demonstrate that the task-relevant transferred knowledge is succinctly captured by the measure of redundant information about the task between the teacher and student. We propose a novel multi-level optimization to incorporate redundant information as a regularizer, leading to our framework of Redundant Information Distillation (RID). RID leads to more resilient and effective distillation under nuisance teachers as it succinctly quantifies task-relevant knowledge rather than simply aligning student and teacher representations.
• Abstract（参考訳）: 知識蒸留は、複雑な教師モデルの内部表現をエミュレートするために、より小さな学生モデルを訓練することにより、リソース制約のある環境で複雑な機械学習モデルをデプロイする。 しかし、教師の表現は、下流のタスクに関係のないニュアンスや追加情報をエンコードすることもできる。 このような無関係な情報を蒸留することは、能力限定の学生モデルの性能を実際に阻害する可能性がある。 知識蒸留の知識理論的限界とは何か? この目的のために、我々は部分情報分解を利用して、下流のタスクのために蒸留するために必要な伝達知識と知識を定量化し、説明する。 本稿では,教師と学生のタスクに関する冗長な情報の尺度によって,タスク関連伝達知識が簡潔に捕捉されることを理論的に示す。 本稿では,冗長情報をレギュレータとして組み込むための新しいマルチレベル最適化を提案し,冗長情報蒸留(RID)の枠組みを導いた。 RIDは、単に生徒と教師の表現を整合させるのではなく、タスク関連知識を簡潔に定量化するため、教師の下でよりレジリエントで効果的な蒸留を行う。

関連論文リスト

• Multi-Task Multi-Scale Contrastive Knowledge Distillation for Efficient Medical Image Segmentation [0.0]
  本論文は,医用画像分割作業におけるニューラルネットワーク間の知識伝達の実現可能性を検討することを目的とする。 データボリュームが制限される医療画像の文脈では、より大きなトレーニング済みネットワークからの知識を活用することが有用である。
  論文  参考訳（メタデータ） (2024-06-05T12:06:04Z)
• Exploring Graph-based Knowledge: Multi-Level Feature Distillation via Channels Relational Graph [8.646512035461994]
  視覚的なタスクでは、大きな教師モデルは重要な特徴と深い情報を取得し、パフォーマンスを向上する。 マルチレベル特徴アライメント戦略を含むグラフ知識に基づく蒸留フレームワークを提案する。 蒸留工程におけるスペクトル埋め込み (SE) は, 学生の特徴空間と教師ネットワークに類似した関係知識と構造的複雑さを融合させる重要な手法である。
  論文  参考訳（メタデータ） (2024-05-14T12:37:05Z)
• Can a student Large Language Model perform as well as it's teacher? [0.0]
  知識蒸留は、高容量の「教師」モデルから流線形の「学生」モデルに知識を伝達することを目的としている。 本稿では,知識蒸留のパラダイムについて概観する。
  論文  参考訳（メタデータ） (2023-10-03T20:34:59Z)
• Knowledge Distillation via Token-level Relationship Graph [12.356770685214498]
  token-level Relation Graph (TRG) を用いた知識蒸留法を提案する。 TRGを利用することで、教師モデルから高レベルの意味情報を効果的にエミュレートすることができる。 我々は,提案手法の有効性を,いくつかの最先端手法に対して評価する実験を行った。
  論文  参考訳（メタデータ） (2023-06-20T08:16:37Z)
• Knowledge Diffusion for Distillation [53.908314960324915]
  知識蒸留(KD)における教師と学生の表現ギャップ これらの手法の本質は、ノイズ情報を捨て、その特徴の貴重な情報を蒸留することである。 DiffKDと呼ばれる新しいKD手法を提案し、拡散モデルを用いて特徴を明示的に識別し一致させる。
  論文  参考訳（メタデータ） (2023-05-25T04:49:34Z)
• Distillation from Heterogeneous Models for Top-K Recommendation [43.83625440616829]
  HetCompは、教師の軌跡から一連の知識を伝達することで、学生モデルをガイドするフレームワークである。 HetCompは学生モデルの蒸留品質と一般化を著しく改善する。
  論文  参考訳（メタデータ） (2023-03-02T10:23:50Z)
• Prototype-guided Cross-task Knowledge Distillation for Large-scale Models [103.04711721343278]
  クロスタスクの知識蒸留は、競争力のあるパフォーマンスを得るために小さな学生モデルを訓練するのに役立ちます。 本稿では,大規模教師ネットワークの内在的ローカルレベルのオブジェクト知識を様々なタスクシナリオに転送するための,プロトタイプ誘導型クロスタスク知識蒸留(ProC-KD)アプローチを提案する。
  論文  参考訳（メタデータ） (2022-12-26T15:00:42Z)
• Learning Knowledge Representation with Meta Knowledge Distillation for Single Image Super-Resolution [82.89021683451432]
  単一画像超解像課題に対する教師/学生アーキテクチャに基づくモデルに依存しないメタ知識蒸留法を提案する。 種々の単一画像超解像データセットを用いた実験により,提案手法は既存の知識表現関連蒸留法よりも優れた性能を示した。
  論文  参考訳（メタデータ） (2022-07-18T02:41:04Z)
• On the benefits of knowledge distillation for adversarial robustness [53.41196727255314]
  知識蒸留は, 対向ロバスト性において, 最先端モデルの性能を高めるために直接的に利用できることを示す。 本稿では,モデルの性能向上のための新しいフレームワークであるAdversarial Knowledge Distillation (AKD)を提案する。
  論文  参考訳（メタデータ） (2022-03-14T15:02:13Z)
• Wasserstein Contrastive Representation Distillation [114.24609306495456]
  We propose Wasserstein Contrastive Representation Distillation (WCoRD) which leverages both primal and dual form of Wasserstein distance for knowledge distillation。 二重形式はグローバルな知識伝達に使用され、教師と学生のネットワーク間の相互情報の低い境界を最大化する対照的な学習目標をもたらします。 実験では、提案されたWCoRD法が特権情報蒸留、モデル圧縮およびクロスモーダル転送における最先端のアプローチを上回ることを実証した。
  論文  参考訳（メタデータ） (2020-12-15T23:43:28Z)
• Knowledge Distillation Meets Self-Supervision [109.6400639148393]
  知識蒸留では、教師ネットワークから「暗黒の知識」を抽出し、学生ネットワークの学習を指導する。 一見異なる自己超越的なタスクが、単純だが強力なソリューションとして機能することを示します。 これらの自己超越信号の類似性を補助的タスクとして活用することにより、隠された情報を教師から生徒に効果的に転送することができる。
  論文  参考訳（メタデータ） (2020-06-12T12:18:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。