論文の概要: Understanding the Distributions of Aggregation Layers in Deep Neural
Networks
- arxiv url: http://arxiv.org/abs/2107.04458v1
- Date: Fri, 9 Jul 2021 14:23:57 GMT
- ステータス: 処理完了
- システム内更新日: 2021-07-12 19:28:53.793896
- Title: Understanding the Distributions of Aggregation Layers in Deep Neural
Networks
- Title(参考訳): ディープニューラルネットワークにおける凝集層分布の理解
- Authors: Eng-Jon Ong, Sameed Husain, Miroslaw Bober
- Abstract要約: 集約関数は、よりコンパクトな表現に深い特徴を統合するための重要なメカニズムである。
特に、DNNの出力層へのグローバルアグリゲーション層の近接は、集約された特徴がディープネットの性能に直接的な影響を与えることを意味する。
本稿では,深い特徴集約に関わるレイヤの出力値の確率分布を解析的にモデル化する,新しい数学的定式化を提案する。
- 参考スコア(独自算出の注目度): 8.784438985280092
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The process of aggregation is ubiquitous in almost all deep nets models. It
functions as an important mechanism for consolidating deep features into a more
compact representation, whilst increasing robustness to overfitting and
providing spatial invariance in deep nets. In particular, the proximity of
global aggregation layers to the output layers of DNNs mean that aggregated
features have a direct influence on the performance of a deep net. A better
understanding of this relationship can be obtained using information theoretic
methods. However, this requires the knowledge of the distributions of the
activations of aggregation layers. To achieve this, we propose a novel
mathematical formulation for analytically modelling the probability
distributions of output values of layers involved with deep feature
aggregation. An important outcome is our ability to analytically predict the
KL-divergence of output nodes in a DNN. We also experimentally verify our
theoretical predictions against empirical observations across a range of
different classification tasks and datasets.
- Abstract(参考訳): 集約のプロセスは、ほとんどすべてのディープネットモデルにおいてユビキタスである。
深い特徴をよりコンパクトな表現にまとめる重要なメカニズムとして機能し、深い網に過度に収まることへの堅牢性を高め、空間的不変性を提供する。
特に、DNNの出力層へのグローバルアグリゲーション層の近接は、集約された特徴がディープネットの性能に直接的な影響を与えることを意味する。
この関係をよりよく理解するには、情報理論の手法を用いる。
しかし、これは凝集層の活性化の分布に関する知識を必要とする。
そこで本研究では,深い特徴集約に関わるレイヤの出力値の確率分布を解析的にモデル化する,新しい数学的定式化を提案する。
重要な結果として、DNNにおける出力ノードのKL分割を解析的に予測する能力がある。
また,様々な分類タスクやデータセットにわたる経験的観測に対する理論的予測を実験的に検証した。
関連論文リスト
- Wide Neural Networks as Gaussian Processes: Lessons from Deep
Equilibrium Models [16.07760622196666]
本研究では,層間における共有重み行列を持つ無限深度ニューラルネットワークであるDeep equilibrium Model (DEQ)について検討する。
解析により,DEC層の幅が無限大に近づくにつれ,ガウス過程に収束することが明らかとなった。
注目すべきは、この収束は深さと幅の限界が交換されても成り立つことである。
論文 参考訳(メタデータ) (2023-10-16T19:00:43Z) - Deep Graph Neural Networks via Flexible Subgraph Aggregation [50.034313206471694]
グラフニューラルネットワーク(GNN)は、グラフ構造化データから学習し、近隣情報を集約することでノードの表現を学ぶ。
本稿では,サブグラフアグリゲーションの観点から,GNNの表現力を評価する。
サブグラフアグリゲーションの異なるホップをより柔軟に活用できるサンプリングベースノードレベル残余モジュール(SNR)を提案する。
論文 参考訳(メタデータ) (2023-05-09T12:03:42Z) - Kernel function impact on convolutional neural networks [10.98068123467568]
畳み込みニューラルネットワークの異なる層におけるカーネル関数の利用について検討する。
より歪みに敏感なプール層を導入することで、カーネル関数を効果的に活用する方法を示す。
完全接続層を置き換えるKDL(Kernelized Dense Layers)を提案する。
論文 参考訳(メタデータ) (2023-02-20T19:57:01Z) - Deep Architecture Connectivity Matters for Its Convergence: A
Fine-Grained Analysis [94.64007376939735]
我々は、勾配降下訓練におけるディープニューラルネットワーク(DNN)の収束に対する接続パターンの影響を理論的に特徴づける。
接続パターンの単純なフィルタリングによって、評価対象のモデルの数を削減できることが示される。
論文 参考訳(メタデータ) (2022-05-11T17:43:54Z) - Decomposing neural networks as mappings of correlation functions [57.52754806616669]
本研究では,ディープフィードフォワードネットワークによって実装された確率分布のマッピングについて検討する。
ニューラルネットワークで使用できる異なる情報表現と同様に、データに不可欠な統計を識別する。
論文 参考訳(メタデータ) (2022-02-10T09:30:31Z) - Robust Learning via Ensemble Density Propagation in Deep Neural Networks [6.0122901245834015]
本稿では,ディープニューラルネットワーク(DNN)の層を通した密度伝搬の問題を定式化し,それをエンサンブル密度伝搬法を用いて解く。
MNISTとCIFAR-10データセットを用いた実験は、ランダムノイズや敵攻撃に対するトレーニングモデルの堅牢性を大幅に改善したことを示している。
論文 参考訳(メタデータ) (2021-11-10T21:26:08Z) - Diffusion Mechanism in Residual Neural Network: Theory and Applications [12.573746641284849]
限られたトレーニングサンプルを持つ多くの学習タスクでは、拡散はラベル付きおよびラベルなしのデータポイントを接続する。
本稿では,ニューラルネットワークのアーキテクチャへの拡散を内部的に導入する新しい拡散残差ネットワーク(Diff-ResNet)を提案する。
構造的データ仮定により,提案した拡散ブロックは,クラス間点の分離性を向上させる距離-距離比を増大させることができることが証明された。
論文 参考訳(メタデータ) (2021-05-07T10:42:59Z) - Deep Archimedean Copulas [98.96141706464425]
ACNetは、構造的特性を強制する、新しい差別化可能なニューラルネットワークアーキテクチャである。
我々は、ACNetが共通のアルキメデスコピュラスを近似し、データに適合する可能性のある新しいコプラを生成することができることを示した。
論文 参考訳(メタデータ) (2020-12-05T22:58:37Z) - Generalization Properties of Optimal Transport GANs with Latent
Distribution Learning [52.25145141639159]
本研究では,潜伏分布とプッシュフォワードマップの複雑さの相互作用が性能に与える影響について検討する。
我々の分析に感銘を受けて、我々はGANパラダイム内での潜伏分布とプッシュフォワードマップの学習を提唱した。
論文 参考訳(メタデータ) (2020-07-29T07:31:33Z) - Hierarchical nucleation in deep neural networks [67.85373725288136]
我々は,いくつかの最先端DCNにおいて,隠れた層にまたがるImageNetデータセットの確率密度の進化について検討した。
初期層は, 分類に無関係な構造を排除し, 一様確率密度を生成する。
その後の層では、密度ピークは階層的な方法で発生し、概念のセマンティック階層を反映する。
論文 参考訳(メタデータ) (2020-07-07T14:42:18Z) - Anytime Inference with Distilled Hierarchical Neural Ensembles [32.003196185519]
深層ニューラルネットワークの推論は計算コストがかかり、計算量や入力データの量が時間とともに変化するマスケリオでは、任意の時間推論が可能なネットワークが重要である。
階層型木構造に複数のネットワークのアンサンブルを埋め込む新しいフレームワークである階層型ニューラルネットワークアンサンブル(HNE)を提案する。
実験の結果,従来の推定モデルと比較して,HNEはCIFAR-10/100データセットとImageNetデータセットに対して,最先端の精度計算トレードオフを提供することがわかった。
論文 参考訳(メタデータ) (2020-03-03T12:13:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。