論文の概要: Natural Statistics of Network Activations and Implications for Knowledge Distillation

• arxiv url: http://arxiv.org/abs/2106.00368v1
• Date: Tue, 1 Jun 2021 10:18:30 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-02 14:18:11.432754
• Title: Natural Statistics of Network Activations and Implications for Knowledge Distillation
• Title（参考訳）: ネットワーク活性化の自然統計と知識蒸留への示唆
• Authors: Michael Rotman and Lior Wolf
• Abstract要約: 様々な層におけるディープニューラルネットワーク活性化の自然統計について検討する。 解析的にも経験的にも、この電力法則の指数が深いほど線形速度で増加することが示される。 我々は知識蒸留(KD)を行う方法を提案する。
• 参考スコア（独自算出の注目度）: 95.15239893744791
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In a matter that is analog to the study of natural image statistics, we study the natural statistics of the deep neural network activations at various layers. As we show, these statistics, similar to image statistics, follow a power law. We also show, both analytically and empirically, that with depth the exponent of this power law increases at a linear rate. As a direct implication of our discoveries, we present a method for performing Knowledge Distillation (KD). While classical KD methods consider the logits of the teacher network, more recent methods obtain a leap in performance by considering the activation maps. This, however, uses metrics that are suitable for comparing images. We propose to employ two additional loss terms that are based on the spectral properties of the intermediate activation maps. The proposed method obtains state of the art results on multiple image recognition KD benchmarks.
• Abstract（参考訳）: 自然画像統計の研究に類似するものとして,様々な層におけるディープニューラルネットワークの活性化の自然統計について検討する。 ご覧の通り、これらの統計は画像統計と同様、権力法に従っている。 また,解析的にも経験的にも,このパワー法則の指数が線形速度で増加することを示した。 発見の直接的意味として,我々は知識蒸留(KD)を行う方法を提案する。 従来のKD手法では教師ネットワークのロジットを考慮しているが,近年ではアクティベーションマップによる性能向上が図られている。 しかし、これは画像の比較に適したメトリクスを使用します。 本稿では,中間活性化写像のスペクトル特性に基づく2つの損失項を提案する。 提案手法は,複数の画像認識KDベンチマークにおける技術結果の状態を求める。

関連論文リスト

• Multi Teacher Privileged Knowledge Distillation for Multimodal Expression Recognition [58.41784639847413]
  人間の感情は、表情、声調、ボディランゲージ、生理的信号を通じて伝達され知覚される複雑な現象である。 本稿では, 学生に蒸留する前に, 教師の多様な表現を並べ合わせるために, 自己蒸留による多教師PKD(MT-PKDOT)法を提案する。 その結果,提案手法はSOTA PKD法より優れていることがわかった。
  論文  参考訳（メタデータ） (2024-08-16T22:11:01Z)
• Impact of a DCT-driven Loss in Attention-based Knowledge-Distillation for Scene Recognition [64.29650787243443]
  本稿では, アクティベーションマップの2次元周波数変換を転送前に提案し, 解析する。 この戦略は、シーン認識などのタスクにおける知識伝達可能性を高める。 我々は、この論文で使われているトレーニングおよび評価フレームワークを、http://www.vpu.eps.uam.es/publications/DCTBasedKDForSceneRecognitionで公開しています。
  論文  参考訳（メタデータ） (2022-05-04T11:05:18Z)
• Efficient training of lightweight neural networks using Online Self-Acquired Knowledge Distillation [51.66271681532262]
  オンライン自己獲得知識蒸留(OSAKD)は、ディープニューラルネットワークの性能をオンライン的に向上することを目的としている。 出力特徴空間におけるデータサンプルの未知確率分布を推定するために、k-nnノンパラメトリック密度推定手法を用いる。
  論文  参考訳（メタデータ） (2021-08-26T14:01:04Z)
• Evaluation of Saliency-based Explainability Method [2.733700237741334]
  説明可能なAI(XAI)メソッドのクラスは、CNNモデルがその動作を説明する方法としてイメージを分類するために、画像の一部を強調するために、唾液マップを提供する。 これらの手法はユーザがCNNの予測を理解するための直感的な方法を提供する。 定量的な計算テスト以外に、これらの手法が有用であることを示す証拠の大部分は逸話である。
  論文  参考訳（メタデータ） (2021-06-24T05:40:50Z)
• Knowledge Distillation By Sparse Representation Matching [107.87219371697063]
  本稿では,一方の畳み込みネットワーク(cnn)から他方へ,スパース表現を用いて中間知識を伝達するスパース表現マッチング(srm)を提案する。 勾配降下を利用して効率的に最適化し、任意のCNNにプラグアンドプレイで統合できるニューラルプロセッシングブロックとして定式化します。 実験の結果,教師と生徒のネットワーク間のアーキテクチャの違いに頑健であり,複数のデータセットにまたがる他のkd技術よりも優れていた。
  論文  参考訳（メタデータ） (2021-03-31T11:47:47Z)
• Similarity Transfer for Knowledge Distillation [25.042405967561212]
  知識蒸留は、大きなモデルから小さなモデルに知識を移すことで、ポータブルニューラルネットワークを学ぶための一般的なパラダイムである。 本稿では,複数試料のカテゴリ間の類似性を十分に活用することを目的とした,知識蒸留のための類似性伝達法(stkd)を提案する。 その結果, stkdはバニラ知識蒸留法を実質的に上回り, 最先端知識蒸留法よりも精度が高かった。
  論文  参考訳（メタデータ） (2021-03-18T06:54:59Z)
• Visualization of Supervised and Self-Supervised Neural Networks via Attribution Guided Factorization [87.96102461221415]
  クラスごとの説明性を提供するアルゴリズムを開発した。 実験の広範なバッテリーでは、クラス固有の可視化のための手法の能力を実証する。
  論文  参考訳（メタデータ） (2020-12-03T18:48:39Z)
• A combined full-reference image quality assessment approach based on convolutional activation maps [0.0]
  フルリファレンス画像品質評価(FR-IQA)の目標は、人間の観察者が認識する画像の品質を、そのプリスタントな基準値を用いて予測することである。 本研究では,畳み込みアクティベーションマップから特徴ベクトルをコンパイルすることにより,歪み画像の知覚的品質を予測する手法を提案する。
  論文  参考訳（メタデータ） (2020-10-19T10:00:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。