論文の概要: On the Impact of Knowledge Distillation for Model Interpretability

• arxiv url: http://arxiv.org/abs/2305.15734v1
• Date: Thu, 25 May 2023 05:35:11 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-26 17:13:20.711100
• Title: On the Impact of Knowledge Distillation for Model Interpretability
• Title（参考訳）: モデル解釈性に対する知識蒸留の影響について
• Authors: Hyeongrok Han, Siwon Kim, Hyun-Soo Choi, Sungroh Yoon
• Abstract要約: 知識蒸留(KD)は、解釈可能性とモデルの精度を高める。 本研究は,教師から生徒モデルへ伝達されるクラス類似性情報に対する解釈可能性の向上に寄与する。 本研究により, 大規模モデルによるKDモデルは, 様々な分野において, より信頼性の高い利用が可能であることが示唆された。
• 参考スコア（独自算出の注目度）: 22.18694053092722
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Several recent studies have elucidated why knowledge distillation (KD) improves model performance. However, few have researched the other advantages of KD in addition to its improving model performance. In this study, we have attempted to show that KD enhances the interpretability as well as the accuracy of models. We measured the number of concept detectors identified in network dissection for a quantitative comparison of model interpretability. We attributed the improvement in interpretability to the class-similarity information transferred from the teacher to student models. First, we confirmed the transfer of class-similarity information from the teacher to student model via logit distillation. Then, we analyzed how class-similarity information affects model interpretability in terms of its presence or absence and degree of similarity information. We conducted various quantitative and qualitative experiments and examined the results on different datasets, different KD methods, and according to different measures of interpretability. Our research showed that KD models by large models could be used more reliably in various fields.
• Abstract（参考訳）: 最近の研究では、知識蒸留(kd)がモデル性能を改善する理由が解明されている。 しかし、モデル性能の改善に加えて、KDの他の利点について研究する者はほとんどいない。 そこで本研究では,KDによる解釈性の向上とモデルの精度向上を試みた。 ネットワーク分割で同定された概念検出器の数を測定し,モデル解釈可能性の定量的比較を行った。 教師から生徒モデルに伝達されるクラス類似性情報に対する解釈性の向上を考察した。 まず,ロジット蒸留による教師から生徒モデルへのクラス類似情報の伝達を確認した。 そこで我々は,クラス類似性情報がモデル解釈可能性に与える影響を,その存在や欠如,類似性情報の程度の観点から分析した。 様々な定量的および定性的な実験を行い、異なるデータセット、異なるKD法、異なる解釈可能性の測定結果について検討した。 我々の研究は、大規模モデルによるkdモデルが様々な分野でより確実に使用できることを示した。

関連論文リスト

• Reducing Capacity Gap in Knowledge Distillation with Review Mechanism for Crowd Counting [16.65360204274379]
  本稿では,KDモデルに基づく新たなレビュー機構について紹介する。 ReviewKDの有効性は、6つのベンチマークデータセットに対する一連の実験によって実証されている。 また,提案したレビュー機構をプラグイン・アンド・プレイモジュールとして使用することにより,ある種の大群カウントモデルの性能をさらに向上させることができることを示す。
  論文  参考訳（メタデータ） (2022-06-11T09:11:42Z)
• Deep Learning Models for Knowledge Tracing: Review and Empirical Evaluation [2.423547527175807]
  我々は,オープンで広く利用されているデータセットを用いた深層学習知識追跡(DLKT)モデルをレビューし,評価する。 評価されたDLKTモデルは、以前報告した結果の再現性と評価のために再実装されている。
  論文  参考訳（メタデータ） (2021-12-30T14:19:27Z)
• Learning Interpretation with Explainable Knowledge Distillation [28.00216413365036]
  近年、知識蒸留(KD)はモデル圧縮と加速の鍵となる解として検討されている。 そこで本研究では,教師モデルから学生モデルに説明文の情報を伝達する,XDistillationと呼ばれる新しい知識蒸留モデルを提案する。 実験の結果,XDistillation で訓練したモデルは,予測精度および教師モデルへの忠実度の観点から,従来の KD 法で訓練したモデルよりも優れていた。
  論文  参考訳（メタデータ） (2021-11-12T21:18:06Z)
• How and When Adversarial Robustness Transfers in Knowledge Distillation? [137.11016173468457]
  本稿では,教師モデルから学生モデルへの知識蒸留(KD)における対向ロバスト性の移行について検討する。 我々は,標準的なKDトレーニングが対向的堅牢性を維持するのに失敗することを示すとともに,KDIGA(入力勾配アライメント)を併用したKDを提案する。 特定の前提の下では、提案したKDIGAを用いた学生モデルは、少なくとも教師モデルと同じ確証された堅牢性を達成することができることを証明している。
  論文  参考訳（メタデータ） (2021-10-22T21:30:53Z)
• An Empirical Study of Accuracy, Fairness, Explainability, Distributional Robustness, and Adversarial Robustness [16.677541058361218]
  本稿では、これらの次元に沿った様々な指標のモデルタイプを複数のデータセットで評価するための実証的研究について述べる。 以上の結果から,特定のモデルタイプがすべての次元で良好に機能することが示され,複数の次元に沿って評価されたモデルを選択する際のトレードオフの種類が示される。
  論文  参考訳（メタデータ） (2021-09-29T18:21:19Z)
• KDExplainer: A Task-oriented Attention Model for Explaining Knowledge Distillation [59.061835562314066]
  KDExplainerと呼ばれる新しいタスク指向の注意モデルを導入し、バニラKDの基礎となる作業メカニズムを明らかにします。 また、仮想注意モジュール(VAM)と呼ばれるポータブルツールを導入し、さまざまなディープニューラルネットワーク(DNN)とシームレスに統合し、KDの下でのパフォーマンスを向上させることができます。
  論文  参考訳（メタデータ） (2021-05-10T08:15:26Z)
• Beyond Trivial Counterfactual Explanations with Diverse Valuable Explanations [64.85696493596821]
  コンピュータビジョンの応用において、生成的対実法はモデルの入力を摂動させて予測を変更する方法を示す。 本稿では,多様性強化損失を用いて制約される不連続潜在空間における摂動を学習する反事実法を提案する。 このモデルは, 従来の最先端手法と比較して, 高品質な説明を生産する成功率を向上させる。
  論文  参考訳（メタデータ） (2021-03-18T12:57:34Z)
• Reinforced Multi-Teacher Selection for Knowledge Distillation [54.72886763796232]
  知識蒸留はモデル圧縮の一般的な方法です。 現在の方法は、蒸留全体の教師モデルに固定重量を割り当てます。 既存のメソッドのほとんどは、すべての教師モデルに等しい重みを割り当てます。 本論文では,学習例の複雑性や生徒モデル能力の違いから,教師モデルとの違いを学習することで,生徒モデルの蒸留性能の向上が期待できることを考察する。
  論文  参考訳（メタデータ） (2020-12-11T08:56:39Z)
• MixKD: Towards Efficient Distillation of Large-scale Language Models [129.73786264834894]
  データに依存しない蒸留フレームワークであるMixKDを提案する。 妥当な条件下では、MixKDは誤差と経験的誤差の間のギャップを小さくする。 限定的なデータ設定とアブレーションによる実験は、提案手法の利点をさらに証明している。
  論文  参考訳（メタデータ） (2020-11-01T18:47:51Z)
• Explainable Recommender Systems via Resolving Learning Representations [57.24565012731325]
  説明はユーザー体験を改善し、システムの欠陥を発見するのに役立つ。 本稿では,表現学習プロセスの透明性を向上させることによって,説明可能な新しい推薦モデルを提案する。
  論文  参考訳（メタデータ） (2020-08-21T05:30:48Z)
• Knowledge Distillation Beyond Model Compression [13.041607703862724]
  知識蒸留(KD)は、より大規模な事前訓練されたモデルや(教師)モデルのアンサンブルの監督の下で、コンパクトモデル(学生)を訓練する効果的なモデル圧縮技術として一般的に考えられている。 本研究では,9つの異なるKD手法について広範な研究を行い,知識の獲得と伝達に関する幅広いアプローチについて述べる。
  論文  参考訳（メタデータ） (2020-07-03T19:54:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。