論文の概要: Hierarchical nucleation in deep neural networks
- arxiv url: http://arxiv.org/abs/2007.03506v2
- Date: Thu, 9 Jul 2020 15:14:19 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-12 18:29:49.095673
- Title: Hierarchical nucleation in deep neural networks
- Title（参考訳）: ディープニューラルネットワークにおける階層的核生成
- Authors: Diego Doimo, Aldo Glielmo, Alessio Ansuini, Alessandro Laio
- Abstract要約: 我々は,いくつかの最先端DCNにおいて,隠れた層にまたがるImageNetデータセットの確率密度の進化について検討した。
初期層は, 分類に無関係な構造を排除し, 一様確率密度を生成する。
その後の層では、密度ピークは階層的な方法で発生し、概念のセマンティック階層を反映する。
- 参考スコア（独自算出の注目度）: 67.85373725288136
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Deep convolutional networks (DCNs) learn meaningful representations where
data that share the same abstract characteristics are positioned closer and
closer. Understanding these representations and how they are generated is of
unquestioned practical and theoretical interest. In this work we study the
evolution of the probability density of the ImageNet dataset across the hidden
layers in some state-of-the-art DCNs. We find that the initial layers generate
a unimodal probability density getting rid of any structure irrelevant for
classification. In subsequent layers density peaks arise in a hierarchical
fashion that mirrors the semantic hierarchy of the concepts. Density peaks
corresponding to single categories appear only close to the output and via a
very sharp transition which resembles the nucleation process of a heterogeneous
liquid. This process leaves a footprint in the probability density of the
output layer where the topography of the peaks allows reconstructing the
semantic relationships of the categories.
- Abstract（参考訳）: 深層畳み込みネットワーク(DCN)は、同じ抽象的特徴を共有するデータがより近く、より近い位置にある意味のある表現を学習する。
これらの表現とその生成方法を理解することは、疑わしい実践的で理論的な関心事である。
本研究では,いくつかの最先端DCNの隠蔽層にまたがるImageNetデータセットの確率密度の進化について検討する。
その結果,初期層は分類に無関係な構造を取り除き,一様確率密度を生成することがわかった。
その後の層では、密度ピークは概念の意味的階層を反映する階層的な方法で発生する。
単一のカテゴリに対応する密度ピークは出力と非常に鋭い遷移を通してのみ現れ、これは不均質な液体の核生成過程に似ている。
このプロセスは、ピークのトポグラフィーがカテゴリの意味的関係を再構築できる出力層の確率密度のフットプリントを残している。
関連論文リスト
- Towards the Uncharted: Density-Descending Feature Perturbation for Semi-supervised Semantic Segmentation [51.66997548477913]
本稿では,DDFP(Dedentity-Descending Feature Perturbation)という特徴レベルの一貫性学習フレームワークを提案する。
半教師付き学習における低密度分離仮定にインスパイアされた私たちの重要な洞察は、特徴密度はセグメンテーション分類器が探索する最も有望な方向の光を放つことができるということである。
提案したDFFPは、機能レベルの摂動に関する他の設計よりも優れており、Pascal VOCとCityscapesのデータセット上でのアートパフォーマンスの状態を示している。
論文 参考訳（メタデータ） (2024-03-11T06:59:05Z) - A Phase Transition in Diffusion Models Reveals the Hierarchical Nature
of Data [55.748186000425996]
最近の進歩は、拡散モデルが高品質な画像を生成することを示している。
我々はこの現象を階層的なデータ生成モデルで研究する。
本分析は拡散モデルにおける時間とスケールの関係を特徴付ける。
論文 参考訳（メタデータ） (2024-02-26T19:52:33Z) - Data Representations' Study of Latent Image Manifolds [5.801621787540268]
画像分類のための最先端の訓練された畳み込みニューラルネットワークは、層に沿って特徴的な曲率プロファイルを持つことがわかった。
また,最後の2層間の曲率ギャップは,ネットワークの一般化能力と強く相関していることを示す。
論文 参考訳（メタデータ） (2023-05-31T10:49:16Z) - Rank Diminishing in Deep Neural Networks [71.03777954670323]
ニューラルネットワークのランクは、層をまたがる情報を測定する。
これは機械学習の幅広い領域にまたがる重要な構造条件の例である。
しかし、ニューラルネットワークでは、低ランク構造を生み出す固有のメカニズムはあいまいで不明瞭である。
論文 参考訳（メタデータ） (2022-06-13T12:03:32Z) - A new perspective on probabilistic image modeling [92.89846887298852]
本稿では,密度推定,サンプリング,トラクタブル推論が可能な画像モデリングのための新しい確率論的手法を提案する。
DCGMMは、CNNのように、ランダムな初期条件からSGDによってエンドツーエンドに訓練することができる。
本研究は,近年のPCおよびSPNモデルと,推論,分類,サンプリングの観点から比較した。
論文 参考訳（メタデータ） (2022-03-21T14:53:57Z) - Understanding the Distributions of Aggregation Layers in Deep Neural
Networks [8.784438985280092]
集約関数は、よりコンパクトな表現に深い特徴を統合するための重要なメカニズムである。
特に、DNNの出力層へのグローバルアグリゲーション層の近接は、集約された特徴がディープネットの性能に直接的な影響を与えることを意味する。
本稿では,深い特徴集約に関わるレイヤの出力値の確率分布を解析的にモデル化する,新しい数学的定式化を提案する。
論文 参考訳（メタデータ） (2021-07-09T14:23:57Z) - Diffusion Mechanism in Residual Neural Network: Theory and Applications [12.573746641284849]
限られたトレーニングサンプルを持つ多くの学習タスクでは、拡散はラベル付きおよびラベルなしのデータポイントを接続する。
本稿では,ニューラルネットワークのアーキテクチャへの拡散を内部的に導入する新しい拡散残差ネットワーク(Diff-ResNet)を提案する。
構造的データ仮定により,提案した拡散ブロックは,クラス間点の分離性を向上させる距離-距離比を増大させることができることが証明された。
論文 参考訳（メタデータ） (2021-05-07T10:42:59Z) - Hierarchical Graph Capsule Network [78.4325268572233]
ノード埋め込みを共同で学習し,グラフ階層を抽出できる階層型グラフカプセルネットワーク(HGCN)を提案する。
階層的表現を学ぶために、HGCNは下層カプセル(部分)と高層カプセル(全体)の間の部分的関係を特徴付ける。
論文 参考訳（メタデータ） (2020-12-16T04:13:26Z) - Kernelized dense layers for facial expression recognition [10.98068123467568]
本稿では,従来の線形関係ではなく,高次特徴相互作用をキャプチャするカーネル化Dense Layer (KDL)を提案する。
本モデルでは,最先端のアプローチに関して,競争力のある結果が得られることを示す。
論文 参考訳（メタデータ） (2020-09-22T21:02:00Z) - Layer-stacked Attention for Heterogeneous Network Embedding [0.0]
レイヤスタックATTention Embedding (LATTE)は、各レイヤで上位のメタ関係を自動的に分解するアーキテクチャである。
LATTEは、異なる近傍範囲の異なるタイプのノードに対して、より解釈可能なアグリゲーションスキームを提供する。
帰納的ノード分類タスクと帰納的ノード分類タスクの両方において、LATTEは既存のアプローチと比較して最先端のパフォーマンスを達成することができる。
論文 参考訳（メタデータ） (2020-09-17T05:13:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。