論文の概要: Towards Explaining Deep Neural Network Compression Through a
Probabilistic Latent Space
- arxiv url: http://arxiv.org/abs/2403.00155v1
- Date: Thu, 29 Feb 2024 22:13:12 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-05 18:55:12.898006
- Title: Towards Explaining Deep Neural Network Compression Through a
Probabilistic Latent Space
- Title（参考訳）: 確率的潜在空間によるディープニューラルネットワーク圧縮の解明に向けて
- Authors: Mahsa Mozafari-Nia and Salimeh Yasaei Sekeh
- Abstract要約: 本稿では, DNN重みの確率的潜在空間を活用する理論的枠組みを提案し, ネットワーク空間の最適性を説明する。
ネットワーク内のレイヤのAP3/AP2特性と性能との間には関係があることを実証する。
我々は,圧縮ネットワークの学習過程を説明する理論的解析を行う。
- 参考スコア（独自算出の注目度）: 6.5268245109828005
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Despite the impressive performance of deep neural networks (DNNs), their
computational complexity and storage space consumption have led to the concept
of network compression. While DNN compression techniques such as pruning and
low-rank decomposition have been extensively studied, there has been
insufficient attention paid to their theoretical explanation. In this paper, we
propose a novel theoretical framework that leverages a probabilistic latent
space of DNN weights and explains the optimal network sparsity by using the
information-theoretic divergence measures. We introduce new analogous projected
patterns (AP2) and analogous-in-probability projected patterns (AP3) notions
for DNNs and prove that there exists a relationship between AP3/AP2 property of
layers in the network and its performance. Further, we provide a theoretical
analysis that explains the training process of the compressed network. The
theoretical results are empirically validated through experiments conducted on
standard pre-trained benchmarks, including AlexNet, ResNet50, and VGG16, using
CIFAR10 and CIFAR100 datasets. Through our experiments, we highlight the
relationship of AP3 and AP2 properties with fine-tuning pruned DNNs and
sparsity levels.
- Abstract（参考訳）: ディープニューラルネットワーク(DNN)の優れたパフォーマンスにもかかわらず、その計算複雑性とストレージ空間の消費は、ネットワーク圧縮の概念に繋がった。
プルーニングや低ランク分解などのDNN圧縮技術は広く研究されているが、理論的な説明には注意が払われていない。
本稿では,dnn重みの確率的潜在空間を利用した新しい理論的枠組みを提案し,情報理論的分岐測度を用いて最適ネットワークスパーシティを説明する。
本稿では,新しいアナログ投影パターン (AP2) と類似確率投影パターン (AP3) をDNNに導入し,ネットワーク内のレイヤのAP3/AP2特性と性能の関係を証明した。
さらに,圧縮ネットワークの学習過程を説明する理論的解析を行う。
理論結果は、CIFAR10とCIFAR100データセットを使用して、AlexNet、ResNet50、VGG16といった標準トレーニング済みのベンチマークで実施された実験を通じて実証的に検証される。
実験により,AP3特性とAP2特性と細調整されたDNN,空間レベルとの関係を強調した。
関連論文リスト
- Structured Neural Networks for Density Estimation and Causal Inference [15.63518195860946]
ニューラルネットワークに構造を注入することで、入力のサブセットに関する不変性を満たす学習機能を実現することができる。
本稿では,ニューラルネットワークのマスキング経路を通じて構造を注入する構造ニューラルネットワーク(StrNN)を提案する。
論文 参考訳（メタデータ） (2023-11-03T20:15:05Z) - Adversarial Machine Learning in Latent Representations of Neural
Networks [9.372908891132772]
分散ディープニューラルネットワーク(DNN)は、モバイルデバイスの計算負担を低減し、エッジコンピューティングシナリオにおけるエンドツーエンドの推論レイテンシを低減することが示されている。
本稿では,分散DNNの敵行動に対する堅牢性について,厳密に分析する。
論文 参考訳（メタデータ） (2023-09-29T17:01:29Z) - Physics-informed neural networks for gravity currents reconstruction
from limited data [0.0]
本研究では, 物理インフォームドニューラルネットワーク(PINN)を用いた非定常重力電流の3次元再構成について検討した。
PINNコンテキストでは、目的関数がネットワーク予測と観測データとのミスマッチをペナルティ化するニューラルネットワークをトレーニングすることにより、フローフィールドを再構築する。
論文 参考訳（メタデータ） (2022-11-03T11:27:29Z) - Extrapolation and Spectral Bias of Neural Nets with Hadamard Product: a
Polynomial Net Study [55.12108376616355]
NTKの研究は典型的なニューラルネットワークアーキテクチャに特化しているが、アダマール製品(NNs-Hp)を用いたニューラルネットワークには不完全である。
本研究では,ニューラルネットワークの特別なクラスであるNNs-Hpに対する有限幅Kの定式化を導出する。
我々は,カーネル回帰予測器と関連するNTKとの等価性を証明し,NTKの適用範囲を拡大する。
論文 参考訳（メタデータ） (2022-09-16T06:36:06Z) - Linear Leaky-Integrate-and-Fire Neuron Model Based Spiking Neural
Networks and Its Mapping Relationship to Deep Neural Networks [7.840247953745616]
スパイキングニューラルネットワーク(SNN)は、生物学的可視性や教師なし学習能力など、脳にインスパイアされた機械学習アルゴリズムである。
本稿では,リニアリーキー・インテグレート・アンド・ファイア・モデル(LIF/SNN)の生物学的パラメータとReLU-AN/Deep Neural Networks(DNN)のパラメータとの正確な数学的マッピングを確立する。
論文 参考訳（メタデータ） (2022-05-31T17:02:26Z) - Compact representations of convolutional neural networks via weight
pruning and quantization [63.417651529192014]
本稿では、音源符号化に基づく畳み込みニューラルネットワーク(CNN)の新しいストレージフォーマットを提案し、重み付けと量子化の両方を活用する。
我々は、全接続層で0.6%、ネットワーク全体で5.44%のスペース占有率を削減し、最低でもベースラインと同じくらいの競争力を発揮する。
論文 参考訳（メタデータ） (2021-08-28T20:39:54Z) - Understanding the Distributions of Aggregation Layers in Deep Neural
Networks [8.784438985280092]
集約関数は、よりコンパクトな表現に深い特徴を統合するための重要なメカニズムである。
特に、DNNの出力層へのグローバルアグリゲーション層の近接は、集約された特徴がディープネットの性能に直接的な影響を与えることを意味する。
本稿では,深い特徴集約に関わるレイヤの出力値の確率分布を解析的にモデル化する,新しい数学的定式化を提案する。
論文 参考訳（メタデータ） (2021-07-09T14:23:57Z) - Inter-layer Information Similarity Assessment of Deep Neural Networks
Via Topological Similarity and Persistence Analysis of Data Neighbour
Dynamics [93.4221402881609]
ディープニューラルネットワーク(DNN)による情報構造の定量的解析により、DNNアーキテクチャの理論的性能に関する新たな知見が明らかにされる。
量的情報構造解析のためのLSとIDの戦略に着想を得て, 層間情報類似度評価のための2つの新しい補完手法を提案する。
本研究では,画像データを用いた深層畳み込みニューラルネットワークのアーキテクチャ解析を行い,その効果を実証する。
論文 参考訳（メタデータ） (2020-12-07T15:34:58Z) - Network Diffusions via Neural Mean-Field Dynamics [52.091487866968286]
本稿では,ネットワーク上の拡散の推論と推定のための新しい学習フレームワークを提案する。
本研究の枠組みは, ノード感染確率の正確な進化を得るために, モリ・ズワンジッヒ形式から導かれる。
我々のアプローチは、基礎となる拡散ネットワークモデルのバリエーションに対して多用途で堅牢である。
論文 参考訳（メタデータ） (2020-06-16T18:45:20Z) - Architecture Disentanglement for Deep Neural Networks [174.16176919145377]
ディープニューラルネットワーク(DNN)の内部動作を説明するために,ニューラルアーキテクチャ・ディコンタングルメント(NAD)を導入する。
NADは、訓練済みのDNNを独立したタスクに従ってサブアーキテクチャに切り離すことを学び、推論プロセスを記述する情報フローを形成する。
その結果、誤分類された画像は、タスクサブアーキテクチャーに正しいサブアーキテクチャーに割り当てられる確率が高いことが示された。
論文 参考訳（メタデータ） (2020-03-30T08:34:33Z) - Understanding Generalization in Deep Learning via Tensor Methods [53.808840694241]
圧縮の観点から,ネットワークアーキテクチャと一般化可能性の関係について理解を深める。
本稿では、ニューラルネットワークの圧縮性と一般化性を強く特徴付ける、直感的で、データ依存的で、測定が容易な一連の特性を提案する。
論文 参考訳（メタデータ） (2020-01-14T22:26:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。