論文の概要: Transferring Visual Explanations: How Cross-Architecture Knowledge Distillation Affects Model Interpretability
- arxiv url: http://arxiv.org/abs/2609.23561v1
- Date: Sun, 20 Sep 2026 11:27:23 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-22 20:29:00.852026
- Title: Transferring Visual Explanations: How Cross-Architecture Knowledge Distillation Affects Model Interpretability
- Title（参考訳）: 視覚的説明の伝達: クロスアーキテクチャ知識の蒸留がモデル解釈可能性に与える影響
- Abstract要約: 本研究は,教員ネットワークの空間的特徴の寄与を小学生に伝達する知識蒸留について検討する。
KDスキームが解釈可能性に与える影響を評価するため、5つの構成からなるImageNet-1K上でResNet-152教師をResNet-34学生に蒸留する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Deploying efficient neural networks is essential in resource-constrained environments, yet compact models often sacrifice interpretability - a critical in safety-critical domains such as autonomous driving and medicine. This study investigates whether Knowledge Distillation transfers the spatial feature attribution of a large teacher network to a compact student. To assess the influence of the KD scheme on interpretability, we distill a ResNet-152 teacher into a ResNet-34 student on ImageNet-1K across five configurations by systematically varying the distillation temperature and soft-label loss weight. Models are evaluated on top-1 accuracy, along with two interpretability metrics: Relevance Mass Accuracy and Relevance Rank Accuracy. These metrics are computed via Grad-CAM heatmaps benchmarked against ground-truth object masks. Our results show that top-1 accuracy ranges from 71.6% to 74.0%. For Grad-CAM, RMA ranges from 7.7% to 9.7% and RRA from 7.3% to 10.1%; for Guided Grad-CAM, RMA ranges from 16.1% to 18.6% and RRA from 15.9% to 21.5%. Interpretability proves far more sensitive to the soft-label weight than to the temperature: keeping the student anchored to hard labels preserves both accuracy and coarse localization, whereas weighting the teacher heavily degrades both. Fine-grained attribution, however, fell below the undistilled baseline in every configuration tested, indicating that logit distillation transmits where a model attends more readily than the pixel-level structure of that attention. We evaluate 12 cross-architecture combinations of convolutional and transformer-based models, revealing that the inheritance of fine-grained spatial reasoning is fundamentally bottlenecked by the student's intrinsic structural biases. To our knowledge, this is the first application of this interpretability-aware evaluation framework - previously used for neural network pruning - to KD.
- Abstract（参考訳）: 効率的なニューラルネットワークの展開は、リソース制約のある環境では不可欠だが、コンパクトなモデルは、自律運転や医療など、安全上重要な領域である解釈性を犠牲にすることが多い。
本研究は,教員ネットワークの空間的特徴の寄与を小学生に伝達する知識蒸留について検討する。
KD方式が解釈可能性に与える影響を評価するため,5つの構成でResNet-152教師をImageNet-1K上に蒸留し,蒸留温度と軟ラベル損失重量を体系的に変化させることで,ResNet-152教師をImageNet-1K上に蒸留する。
モデルはトップ1の精度で評価され、関連マス精度と関連ランク精度の2つの解釈可能性指標とともに評価される。
これらのメトリクスは、グラウンドトルースオブジェクトマスクに対してベンチマークされたGrad-CAMヒートマップを介して計算される。
以上の結果から,トップ1の精度は71.6%から74.0%であった。
グラッド-CAMは7.7%から9.7%、RRAは7.3%から10.1%、ガイドグレード-CAMは16.1%から18.6%、RAは15.9%から21.5%である。
ハードラベルに固定された学生は、精度と粗いローカライゼーションを保ちながら、教師の重み付けはどちらも大きく低下する。
しかし, 微粒化属性は, 試験された各構成において未蒸留基線以下に低下し, ロジット蒸留は, その注目点の画素レベルの構造よりも容易に, モデルが関与する位置を伝達することを示した。
畳み込みモデルと変圧器モデルとを交互に組み合わせて評価した結果, 微細な空間的推論の継承は, 学生の内在的構造バイアスによって根本的にボトルネック化されていることが明らかとなった。
私たちの知る限り、この解釈可能性を考慮した評価フレームワーク(以前はニューラルネットワークのプルーニングに使用されていた)をKDに初めて適用したのはこれが初めてです。
関連論文リスト
- Architectural and Regularization Components in Deep Learning Medical Image Registration: Systematic Ablation Study [0.0]
正規化だけでゲインの大半を占め、最大変形を53.1から0.51に減らし、99.0%削減した。
組み合わせたモデルでは25.8%(1.78%から2.24%)の精度向上が達成され、解剖学的妥当性は0.596から0.930に上昇した。
論文 参考訳（メタデータ） (2026-08-23T23:34:20Z) - Towards Compact Unified Multimodal Tracking: Synergizing Knowledge Distillation with Structural Pruning [80.73561460934809]
多モード物体追跡は 相補的なセンサーデータを活用することで 目覚ましい堅牢性を達成した
我々は予測ヘッドを重要ではあるが、しばしば見過ごされる効率ボトルネックとみなしている。
デコーダアーキテクチャを戦略的に合理化することで、リアルタイム推論の可能性を解き放ちます。
論文 参考訳（メタデータ） (2026-08-02T20:41:33Z) - SPRKD: Effective Knowledge Distillation for Deep Neural Networks via Saddle Region Approximation [0.0]
SPRKD(Saddle Point Recruitment for Knowledge Distillation)を提案する。
SPRKDは、教師を最適化曲率とドメインプロキシとして採用し、サドルポイントを強力な後発ポテンシャルの領域として特徴づけている。
マラリアの血液スミア分類では、SPRKDは94.8%の精度で反応KDを24.70ポイント上回っている。
論文 参考訳（メタデータ） (2026-07-25T19:53:58Z) - XD-RCDepth: Lightweight Radar-Camera Depth Estimation with Explainability-Aligned and Distribution-Aware Distillation [9.693623829515131]
我々は、最先端の軽量ベースラインと比較してパラメータを29.7%削減する軽量アーキテクチャであるXD-RCDepthを提案する。
本稿では,教師のサリエンシ構造を学生に伝達する説明可能性に整合した蒸留法と,識別されたビンに対する深度回帰をソフトな分類として再放送する深度分布蒸留法について紹介する。
論文 参考訳（メタデータ） (2025-10-15T14:05:33Z) - ATMS-KD: Adaptive Temperature and Mixed Sample Knowledge Distillation for a Lightweight Residual CNN in Agricultural Embedded Systems [0.6299766708197883]
ATMS-KD(Adaptive Temperature and Mixed-Sample Knowledge Distillation)は、軽量CNNモデルを開発するための新しいフレームワークである。
このフレームワークは、適応的な温度スケジューリングと混合サンプル拡張を組み合わせることで、MobileNetV3大教師モデルから軽量残留CNN学生に知識を伝達する。
本研究で使用したデータセットは,モロッコ南東部,ダデスオアシスの農地から採取したテライトロサ・ダマスセナ(Damask rose)の画像からなる。
論文 参考訳（メタデータ） (2025-08-27T19:23:54Z) - A Transformer-in-Transformer Network Utilizing Knowledge Distillation for Image Recognition [0.8196125054032961]
画像のグローバルな側面とローカルな側面に注意を向けるインナー・インナー・トランスフォーマー・ベースのアーキテクチャを提案する。
我々のアプローチは学習効率と効果を高める。
注目すべきは、提案されているTransformer-in-Transformer Network(TITN)モデルが、さまざまなデータセット間で印象的なマイルストーンを達成していることだ。
論文 参考訳（メタデータ） (2025-02-24T00:41:46Z) - One-for-All: Bridge the Gap Between Heterogeneous Architectures in
Knowledge Distillation [69.65734716679925]
知識蒸留は,教師が指導する学習手法を通じて,モデル性能を向上させる上で,極めて効果的な手法であることが証明されている。
既存の蒸留法のほとんどは、教師と生徒のモデルが同じモデルファミリーに属するという前提で設計されている。
我々は, ヘテロジニアスアーキテクチャ間の蒸留性能を大幅に向上させる, OFA-KDという, 単純で効果的な一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元一元
論文 参考訳（メタデータ） (2023-10-30T11:13:02Z) - Towards a Smaller Student: Capacity Dynamic Distillation for Efficient
Image Retrieval [49.01637233471453]
従来の知識蒸留に基づく効率的な画像検索手法は,高速推論のための学生モデルとして軽量なネットワークを用いる。
本稿では,編集可能な表現能力を持つ学生モデルを構築するための容量動的蒸留フレームワークを提案する。
提案手法は,教師としてのResNet101を前提として,VeRi-776データセットなどの推論速度と精度が優れている。
論文 参考訳（メタデータ） (2023-03-16T11:09:22Z) - Towards Reducing Labeling Cost in Deep Object Detection [61.010693873330446]
本稿では,検知器の不確実性と頑健性の両方を考慮した,アクティブラーニングのための統一的なフレームワークを提案する。
提案手法は, 確率分布のドリフトを抑えながら, 極めて確実な予測を擬似ラベル化することができる。
論文 参考訳（メタデータ） (2021-06-22T16:53:09Z) - MEAL V2: Boosting Vanilla ResNet-50 to 80%+ Top-1 Accuracy on ImageNet
without Tricks [57.69809561405253]
我々は、ImageNet上でバニラResNet-50を80%以上のTop-1精度に向上できるフレームワークを、トリックなしで導入する。
本手法は,バニラResNet-50を用いた224x224の1つの作物サイズを用いて,ImageNetの80.67%のトップ1精度を得る。
我々のフレームワークは常に69.76%から73.19%に改善されている。
論文 参考訳（メタデータ） (2020-09-17T17:59:33Z) - Circumventing Outliers of AutoAugment with Knowledge Distillation [102.25991455094832]
AutoAugmentは多くの視覚タスクの精度を向上させる強力なアルゴリズムである。
本論文は作業機構を深く掘り下げ,AutoAugmentがトレーニング画像から識別情報の一部を除去できることを明らかにする。
教師モデルの出力に言及した知識蒸留を用いて,ネットワークトレーニングの指導を行う。
論文 参考訳（メタデータ） (2020-03-25T11:51:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。