論文の概要: Representational Difference Distillation

• arxiv url: http://arxiv.org/abs/2610.15997v1
• Date: Sun, 11 Oct 2026 23:57:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-19 08:10:50.178558
• Title: Representational Difference Distillation
• Title（参考訳）: 表現差蒸留
• Abstract要約: 教師と生徒の表現が構造的に一致しない場所を診断するRepresentational Difference Distillation (RDD)を提案する。 RDDは2つの非対称親和性行列を使用し、不一致の反対方向を捉える。 CIFAR-100では、resnet32x4をresnet8x4にすると、RDDは75.58%のテスト精度に達する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Knowledge distillation transfers representational knowledge from a large teacher network to a compact student. Existing relational and contrastive distillation methods treat all samples uniformly, spending equal gradient on well-matched and poorly-matched regions of the representation space alike. We propose Representational Difference Distillation (RDD), which diagnoses where teacher and student representations structurally disagree and concentrates the distillation signal on those regions. RDD uses two asymmetric affinity matrices that capture opposing directions of misalignment: one identifies samples the student incorrectly considers similar, the other identifies teacher relationships the student has yet to learn. These affinities determine which sample pairs the distillation loss aligns and how strongly it corrects each misaligned sample. On CIFAR-100 with resnet32x4 to resnet8x4, RDD reaches 75.58% test accuracy in our runs, on par with CRD (75.45%) and above KD and RKD. We additionally explore curriculum-based and sampling-based variants, finding that weighting the loss is more effective than filtering the data.
• Abstract（参考訳）: 知識蒸留は、大きな教師ネットワークからコンパクトな学生に表現的知識を伝達する。 既存のリレーショナル蒸留法とコントラスト蒸留法は全ての試料を均一に処理し、表現空間の整合性や整合性に乏しい領域に等しくなる。 本稿では,教師と生徒の表現が構造的に一致しない場所を診断し,これらの地域での蒸留信号に集中するRepresentational Difference Distillation (RDD)を提案する。 RDDは2つの非対称親和性行列を使用し、不一致の方向を捉えている。 これらの親和性は、蒸留損失のどのペアが整列するかを判断し、それぞれの不整合サンプルをどれだけ強く補正するかを決定する。 resnet32x4 から resnet8x4 への CIFAR-100 では、RDD は KD と RKD 以上の CRD (75.45%) に匹敵する75.58% のテスト精度に達した。 さらに、カリキュラムベースおよびサンプリングベースの変種についても検討し、損失の重み付けがデータをフィルタリングするよりも効果的であることを見出した。

関連論文リスト

• DMAD: Distribution Matching as Adversarial Distillation for Fast Visual Generation [50.43969311607643]
  DMAD, Distribution Matching as Adversarial Distillationを導入し, 分布マッチングを分類として再放送する。 判別器では,これらの損失が分布マッチングの基礎となるDMDを回復することを示す。 DMADはFréchet Inception Distance (FID) 1.04、ImageNet-64x64 14.47、COCO-10Kの4ステップSDXL、VBenchの合計スコアは85.15、Wan2.1-T2V-14Bである。
  論文  参考訳（メタデータ） (2026-10-01T17:59:01Z)
• DDIL: Diversity Enhancing Diffusion Distillation With Imitation Learning [57.3467234269487]
  拡散モデルは生成モデリング(例:text-to-image)に優れるが、サンプリングには複数の遅延ネットワークパスが必要である。 プログレッシブ蒸留や一貫性蒸留は、パスの数を減らして将来性を示す。 DDILの一貫性は, プログレッシブ蒸留 (PD), 潜在整合モデル (LCM) および分散整合蒸留 (DMD2) のベースラインアルゴリズムにより向上することを示した。
  論文  参考訳（メタデータ） (2024-10-15T18:21:47Z)
• CKD: Contrastive Knowledge Distillation from A Sample-wise Perspective [48.99488315273868]
  セマンティックな一貫性を維持しつつ,サンプル単位のロジットアライメントを実現するコントラッシブな知識蒸留フレームワークを提案する。 提案手法は,教師と教師の対照的アライメントを通じて「暗黒知識」をサンプルレベルで伝達する。 CIFAR-100、ImageNet-1K、MS COCOデータセットを含む3つのベンチマークデータセットの総合的な実験を行う。
  論文  参考訳（メタデータ） (2024-04-22T11:52:40Z)
• StereoDistill: Pick the Cream from LiDAR for Distilling Stereo-based 3D Object Detection [93.10989714186788]
  ステレオ法とLiDAR法とのギャップを狭めるため,StereoDistillというクロスモーダル蒸留法を提案する。 StereoDistillの主な設計は、回帰のためのX-component Guided Distillation(XGD)と分類のためのCLD(Cross-anchor Logit Distillation)である。
  論文  参考訳（メタデータ） (2023-01-04T13:38:48Z)
• PKD: General Distillation Framework for Object Detectors via Pearson Correlation Coefficient [18.782520279344553]
  この論文は、異種教師検出器によるFPNの優れた特徴が学生の助けとなることを実証的に見出した。 そこで本研究では,教師の関連情報に焦点を合わせるために,ピアソン相関係数を用いた特徴の模倣を提案する。 提案手法は,既存の検出KD法より常に優れており,同質・異質な学生・教師のペアに対しても有効である。
  論文  参考訳（メタデータ） (2022-07-05T13:37:34Z)
• Knowledge Distillation for Object Detection via Rank Mimicking and Prediction-guided Feature Imitation [34.441349114336994]
  本研究では,一段検出器を蒸留するためのランクミミキング (RM) と予測誘導特徴模擬 (PFI) を提案する。 RMは、教師からの候補ボックスのランクを、蒸留のための新しい種類の知識として捉えている。 PFIは、特徴差と予測差との相関を図り、特徴の模倣を直接して生徒の精度を向上させる。
  論文  参考訳（メタデータ） (2021-12-09T11:19:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。