論文の概要: Quantifying the Knowledge in a DNN to Explain Knowledge Distillation for Classification

• arxiv url: http://arxiv.org/abs/2208.08741v1
• Date: Thu, 18 Aug 2022 09:47:31 GMT
• ステータス: 処理完了
• システム内更新日: 2022-08-19 12:59:21.671027
• Title: Quantifying the Knowledge in a DNN to Explain Knowledge Distillation for Classification
• Title（参考訳）: DNNにおける知識の定量化と分類のための知識蒸留
• Authors: Quanshi Zhang, Xu Cheng, Yilan Chen, Zhefan Rao
• Abstract要約: 本稿では,情報理論に基づく知識蒸留の成功を説明するための新たな視点を提供する。 知識ポイントは入力ユニットと呼ばれ、その情報は他の入力ユニットよりもはるかに少ない。 本稿では,知識点の定量化に基づく知識蒸留の3つの仮説を提案する。
• 参考スコア（独自算出の注目度）: 27.98287660940717
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Compared to traditional learning from scratch, knowledge distillation sometimes makes the DNN achieve superior performance. This paper provides a new perspective to explain the success of knowledge distillation, i.e., quantifying knowledge points encoded in intermediate layers of a DNN for classification, based on the information theory. To this end, we consider the signal processing in a DNN as the layer-wise information discarding. A knowledge point is referred to as an input unit, whose information is much less discarded than other input units. Thus, we propose three hypotheses for knowledge distillation based on the quantification of knowledge points. 1. The DNN learning from knowledge distillation encodes more knowledge points than the DNN learning from scratch. 2. Knowledge distillation makes the DNN more likely to learn different knowledge points simultaneously. In comparison, the DNN learning from scratch tends to encode various knowledge points sequentially. 3. The DNN learning from knowledge distillation is often optimized more stably than the DNN learning from scratch. In order to verify the above hypotheses, we design three types of metrics with annotations of foreground objects to analyze feature representations of the DNN, \textit{i.e.} the quantity and the quality of knowledge points, the learning speed of different knowledge points, and the stability of optimization directions. In experiments, we diagnosed various DNNs for different classification tasks, i.e., image classification, 3D point cloud classification, binary sentiment classification, and question answering, which verified above hypotheses.
• Abstract（参考訳）: スクラッチからの伝統的な学習と比較すると、知識の蒸留は時にDNNが優れた性能を発揮する。 本稿では,DNNの中間層にコード化されている知識点を情報理論に基づいて定量化する,知識蒸留の成功を説明する新しい視点を提供する。 この目的のために、dnnにおける信号処理を層別情報廃棄として検討する。 知識ポイントは入力ユニットと呼ばれ、その情報は他の入力ユニットよりもはるかに少ない。 そこで,我々は知識点の定量化に基づく知識蒸留の3つの仮説を提案する。 1. 知識蒸留によるDNN学習は,DNN学習をゼロから行うよりも多くの知識ポイントを符号化する。 2. 知識蒸留により、DNNは異なる知識ポイントを同時に学習しやすくなる。 対照的に、DNN学習はスクラッチから様々な知識ポイントを逐次エンコードする傾向にある。 3) 知識蒸留によるDNN学習は, ゼロから学習するDNNよりも安定的に最適化されることが多い。 以上の仮説を検証するため,DNNの特徴表現を解析するために,前景オブジェクトのアノテーションを用いた3種類のメトリクスを設計し,知識点の量と品質,異なる知識点の学習速度,最適化方向の安定性について検討した。 実験では, 画像分類, 3次元点雲分類, バイナリ感情分類, 質問応答など, 異なる分類課題に対して様々なdnnを診断し, 上記の仮説を検証した。

関連論文リスト

• BKDSNN: Enhancing the Performance of Learning-based Spiking Neural Networks Training with Blurred Knowledge Distillation [20.34272550256856]
  スパイキングニューラルネットワーク(SNN)は、生物学的ニューラルネットワークを模倣し、離散スパイクを介して情報を伝達する。 本研究は,静的およびニューロモルフィックなデータセット上でSNNをトレーニングするための最先端性能を実現する。
  論文  参考訳（メタデータ） (2024-07-12T08:17:24Z)
• Beyond Factuality: A Comprehensive Evaluation of Large Language Models as Knowledge Generators [78.63553017938911]
  大規模言語モデル(LLM)は、下流の知識集約タスクのための情報検索技術より優れている。 しかし、コミュニティの懸念は、この無検閲の知識を使用することの事実と潜在的意味について多岐にわたる。 本研究では,6つの重要な視点から生成した知識を評価するために設計されたCONNERを紹介する。
  論文  参考訳（メタデータ） (2023-10-11T08:22:37Z)
• Shared Growth of Graph Neural Networks via Prompted Free-direction Knowledge Distillation [39.35619721100205]
  グラフニューラルネットワーク(GNN)の強化学習による初のフリーダイレクト知識蒸留フレームワークを提案する。 私たちの中核となる考え方は、より浅い2つのGNNを共同で学習し、それら間で知識を交換することです。 5つのベンチマークデータセットの実験では、我々のアプローチはベースGNNよりも大きなマージンで優れています。
  論文  参考訳（メタデータ） (2023-07-02T10:03:01Z)
• Boosting Graph Neural Networks via Adaptive Knowledge Distillation [18.651451228086643]
  グラフニューラルネットワーク(GNN)は、多様なグラフマイニングタスクにおいて顕著なパフォーマンスを示している。 知識蒸留(KD)は、複数のモデルからの多様な知識を組み合わせるために開発された。 我々は,複数のGNNから学生GNNに情報を逐次転送する,BGNNと呼ばれる新しい適応型KDフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-10-12T04:48:50Z)
• Explainability Tools Enabling Deep Learning in Future In-Situ Real-Time Planetary Explorations [58.720142291102135]
  ディープラーニング(DL)は、効果的な機械学習とコンピュータビジョン技術であることが証明されている。 ディープニューラルネットワーク(DNN)アーキテクチャのほとんどは複雑すぎて'ブラックボックス'と見なされている。 本稿では,各ニューロンの出力クラスへの属性を記述するために,積分勾配を用いた。 DNNのブラックボックスを開くための説明可能性ツールセット(ET)を提供するので、分類へのニューロンの個々の貢献をランク付けし視覚化することができる。
  論文  参考訳（メタデータ） (2022-01-15T07:10:00Z)
• What Do Deep Nets Learn? Class-wise Patterns Revealed in the Input Space [88.37185513453758]
  本研究では,深層ニューラルネットワーク(DNN)が学習するクラスワイズな知識を,異なる環境下で可視化し,理解する手法を提案する。 本手法は,各クラスのモデルが学習した知識を表現するために,画素空間内の1つの予測パターンを探索する。 逆境環境では、逆境に訓練されたモデルはより単純化された形状パターンを学ぶ傾向がある。
  論文  参考訳（メタデータ） (2021-01-18T06:38:41Z)
• Towards a Universal Continuous Knowledge Base [49.95342223987143]
  複数のニューラルネットワークからインポートされた知識を格納できる継続的知識基盤を構築する方法を提案する。 テキスト分類実験は有望な結果を示す。 我々は複数のモデルから知識ベースに知識をインポートし、そこから融合した知識を単一のモデルにエクスポートする。
  論文  参考訳（メタデータ） (2020-12-25T12:27:44Z)
• Boosting Deep Neural Networks with Geometrical Prior Knowledge: A Survey [77.99182201815763]
  ディープニューラルネットワーク(DNN)は多くの異なる問題設定において最先端の結果を達成する。 DNNはしばしばブラックボックスシステムとして扱われ、評価と検証が複雑になる。 コンピュータビジョンタスクにおける畳み込みニューラルネットワーク(CNN)の成功に触発された、有望な分野のひとつは、対称幾何学的変換に関する知識を取り入れることである。
  論文  参考訳（メタデータ） (2020-06-30T14:56:05Z)
• Architecture Disentanglement for Deep Neural Networks [174.16176919145377]
  ディープニューラルネットワーク(DNN)の内部動作を説明するために,ニューラルアーキテクチャ・ディコンタングルメント(NAD)を導入する。 NADは、訓練済みのDNNを独立したタスクに従ってサブアーキテクチャに切り離すことを学び、推論プロセスを記述する情報フローを形成する。 その結果、誤分類された画像は、タスクサブアーキテクチャーに正しいサブアーキテクチャーに割り当てられる確率が高いことが示された。
  論文  参考訳（メタデータ） (2020-03-30T08:34:33Z)
• Explaining Knowledge Distillation by Quantifying the Knowledge [27.98287660940717]
  本稿では,課題関連概念と課題関連概念を定量化し,分析することで,知識蒸留の成功を解釈する手法を提案する。 知識蒸留により、DNNは生のデータから学ぶよりも、より視覚的な概念を学ぶことができる。
  論文  参考訳（メタデータ） (2020-03-07T18:09:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。