論文の概要: On the Impact of Knowledge Distillation for Model Interpretability

• arxiv url: http://arxiv.org/abs/2305.15734v1
• Date: Thu, 25 May 2023 05:35:11 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-26 17:13:20.711100
• Title: On the Impact of Knowledge Distillation for Model Interpretability
• Title（参考訳）: モデル解釈性に対する知識蒸留の影響について
• Authors: Hyeongrok Han, Siwon Kim, Hyun-Soo Choi, Sungroh Yoon
• Abstract要約: 知識蒸留(KD)は、解釈可能性とモデルの精度を高める。 本研究は,教師から生徒モデルへ伝達されるクラス類似性情報に対する解釈可能性の向上に寄与する。 本研究により, 大規模モデルによるKDモデルは, 様々な分野において, より信頼性の高い利用が可能であることが示唆された。
• 参考スコア（独自算出の注目度）: 22.18694053092722
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Several recent studies have elucidated why knowledge distillation (KD) improves model performance. However, few have researched the other advantages of KD in addition to its improving model performance. In this study, we have attempted to show that KD enhances the interpretability as well as the accuracy of models. We measured the number of concept detectors identified in network dissection for a quantitative comparison of model interpretability. We attributed the improvement in interpretability to the class-similarity information transferred from the teacher to student models. First, we confirmed the transfer of class-similarity information from the teacher to student model via logit distillation. Then, we analyzed how class-similarity information affects model interpretability in terms of its presence or absence and degree of similarity information. We conducted various quantitative and qualitative experiments and examined the results on different datasets, different KD methods, and according to different measures of interpretability. Our research showed that KD models by large models could be used more reliably in various fields.
• Abstract（参考訳）: 最近の研究では、知識蒸留(kd)がモデル性能を改善する理由が解明されている。 しかし、モデル性能の改善に加えて、KDの他の利点について研究する者はほとんどいない。 そこで本研究では,KDによる解釈性の向上とモデルの精度向上を試みた。 ネットワーク分割で同定された概念検出器の数を測定し,モデル解釈可能性の定量的比較を行った。 教師から生徒モデルに伝達されるクラス類似性情報に対する解釈性の向上を考察した。 まず,ロジット蒸留による教師から生徒モデルへのクラス類似情報の伝達を確認した。 そこで我々は,クラス類似性情報がモデル解釈可能性に与える影響を,その存在や欠如,類似性情報の程度の観点から分析した。 様々な定量的および定性的な実験を行い、異なるデータセット、異なるKD法、異なる解釈可能性の測定結果について検討した。 我々の研究は、大規模モデルによるkdモデルが様々な分野でより確実に使用できることを示した。

関連論文リスト

• The Importance of Model Inspection for Better Understanding Performance Characteristics of Graph Neural Networks [15.569758991934934]
  脳形状分類タスクに適用したグラフニューラルネットワークの特徴学習特性に対するモデル選択の影響について検討する。 モデルの異なるレイヤに機能の埋め込みを組み込むことで、かなりの違いが見つかります。
  論文  参考訳（メタデータ） (2024-05-02T13:26:18Z)
• Comparative Knowledge Distillation [102.35425896967791]
  伝統的な知識蒸留(KD)は、頻繁な推論のために教師モデルに容易にアクセスできることを前提としている。 本稿では,教師モデルにおけるサンプルの解釈の微妙な違いを学生モデルに理解させるための比較知識蒸留(CKD)を提案する。 CKDは、アートデータ拡張とKDテクニックの状態を一貫して上回る。
  論文  参考訳（メタデータ） (2023-11-03T21:55:33Z)
• Reducing Capacity Gap in Knowledge Distillation with Review Mechanism for Crowd Counting [16.65360204274379]
  本稿では,KDモデルに基づく新たなレビュー機構について紹介する。 ReviewKDの有効性は、6つのベンチマークデータセットに対する一連の実験によって実証されている。 また,提案したレビュー機構をプラグイン・アンド・プレイモジュールとして使用することにより,ある種の大群カウントモデルの性能をさらに向上させることができることを示す。
  論文  参考訳（メタデータ） (2022-06-11T09:11:42Z)
• Deep Learning Models for Knowledge Tracing: Review and Empirical Evaluation [2.423547527175807]
  我々は,オープンで広く利用されているデータセットを用いた深層学習知識追跡(DLKT)モデルをレビューし,評価する。 評価されたDLKTモデルは、以前報告した結果の再現性と評価のために再実装されている。
  論文  参考訳（メタデータ） (2021-12-30T14:19:27Z)
• How and When Adversarial Robustness Transfers in Knowledge Distillation? [137.11016173468457]
  本稿では,教師モデルから学生モデルへの知識蒸留(KD)における対向ロバスト性の移行について検討する。 我々は,標準的なKDトレーニングが対向的堅牢性を維持するのに失敗することを示すとともに,KDIGA(入力勾配アライメント)を併用したKDを提案する。 特定の前提の下では、提案したKDIGAを用いた学生モデルは、少なくとも教師モデルと同じ確証された堅牢性を達成することができることを証明している。
  論文  参考訳（メタデータ） (2021-10-22T21:30:53Z)
• KDExplainer: A Task-oriented Attention Model for Explaining Knowledge Distillation [59.061835562314066]
  KDExplainerと呼ばれる新しいタスク指向の注意モデルを導入し、バニラKDの基礎となる作業メカニズムを明らかにします。 また、仮想注意モジュール(VAM)と呼ばれるポータブルツールを導入し、さまざまなディープニューラルネットワーク(DNN)とシームレスに統合し、KDの下でのパフォーマンスを向上させることができます。
  論文  参考訳（メタデータ） (2021-05-10T08:15:26Z)
• Beyond Trivial Counterfactual Explanations with Diverse Valuable Explanations [64.85696493596821]
  コンピュータビジョンの応用において、生成的対実法はモデルの入力を摂動させて予測を変更する方法を示す。 本稿では,多様性強化損失を用いて制約される不連続潜在空間における摂動を学習する反事実法を提案する。 このモデルは, 従来の最先端手法と比較して, 高品質な説明を生産する成功率を向上させる。
  論文  参考訳（メタデータ） (2021-03-18T12:57:34Z)
• MixKD: Towards Efficient Distillation of Large-scale Language Models [129.73786264834894]
  データに依存しない蒸留フレームワークであるMixKDを提案する。 妥当な条件下では、MixKDは誤差と経験的誤差の間のギャップを小さくする。 限定的なデータ設定とアブレーションによる実験は、提案手法の利点をさらに証明している。
  論文  参考訳（メタデータ） (2020-11-01T18:47:51Z)
• Improving the Reconstruction of Disentangled Representation Learners via Multi-Stage Modeling [54.94763543386523]
  現在の自己エンコーダに基づく非絡み合い表現学習法は、(集合体)後部をペナルティ化し、潜伏因子の統計的独立を促進することで、非絡み合いを実現する。 本稿では,不整合因子をペナルティに基づく不整合表現学習法を用いて学習する,新しい多段階モデリング手法を提案する。 次に、低品質な再構成を、欠落した関連潜伏変数をモデル化するために訓練された別の深層生成モデルで改善する。
  論文  参考訳（メタデータ） (2020-10-25T18:51:15Z)
• Knowledge Distillation Beyond Model Compression [13.041607703862724]
  知識蒸留(KD)は、より大規模な事前訓練されたモデルや(教師)モデルのアンサンブルの監督の下で、コンパクトモデル(学生)を訓練する効果的なモデル圧縮技術として一般的に考えられている。 本研究では,9つの異なるKD手法について広範な研究を行い,知識の獲得と伝達に関する幅広いアプローチについて述べる。
  論文  参考訳（メタデータ） (2020-07-03T19:54:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。