論文の概要: Rank Diminishing in Deep Neural Networks
- arxiv url: http://arxiv.org/abs/2206.06072v1
- Date: Mon, 13 Jun 2022 12:03:32 GMT
- ステータス: 処理完了
- システム内更新日: 2022-06-14 13:56:03.641154
- Title: Rank Diminishing in Deep Neural Networks
- Title(参考訳): ディープニューラルネットワークにおけるランク低下
- Authors: Ruili Feng, Kecheng Zheng, Yukun Huang, Deli Zhao, Michael Jordan,
Zheng-Jun Zha
- Abstract要約: ニューラルネットワークのランクは、層をまたがる情報を測定する。
これは機械学習の幅広い領域にまたがる重要な構造条件の例である。
しかし、ニューラルネットワークでは、低ランク構造を生み出す固有のメカニズムはあいまいで不明瞭である。
- 参考スコア(独自算出の注目度): 71.03777954670323
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: The rank of neural networks measures information flowing across layers. It is
an instance of a key structural condition that applies across broad domains of
machine learning. In particular, the assumption of low-rank feature
representations leads to algorithmic developments in many architectures. For
neural networks, however, the intrinsic mechanism that yields low-rank
structures remains vague and unclear. To fill this gap, we perform a rigorous
study on the behavior of network rank, focusing particularly on the notion of
rank deficiency. We theoretically establish a universal monotonic decreasing
property of network rank from the basic rules of differential and algebraic
composition, and uncover rank deficiency of network blocks and deep function
coupling. By virtue of our numerical tools, we provide the first empirical
analysis of the per-layer behavior of network rank in practical settings, i.e.,
ResNets, deep MLPs, and Transformers on ImageNet. These empirical results are
in direct accord with our theory. Furthermore, we reveal a novel phenomenon of
independence deficit caused by the rank deficiency of deep networks, where
classification confidence of a given category can be linearly decided by the
confidence of a handful of other categories. The theoretical results of this
work, together with the empirical findings, may advance understanding of the
inherent principles of deep neural networks.
- Abstract(参考訳): ニューラルネットワークのランクは、層をまたがる情報を測定する。
これは、機械学習の幅広い領域にまたがる重要な構造的条件の例である。
特に、低ランクな特徴表現の仮定は多くのアーキテクチャにおいてアルゴリズム的な発展をもたらす。
しかし、ニューラルネットワークでは、低ランク構造を生み出す固有のメカニズムはあいまいで不明瞭である。
このギャップを埋めるために,ネットワークランクの挙動に関する厳密な研究を行い,特にランク不足の概念に着目した。
微分および代数的構成の基本規則からネットワークランクの普遍的単調減少特性を理論的に確立し,ネットワークブロックのランク不足と深い関数結合を明らかにする。
この数値計算手法を用いて,imagenet上のネットワークランクの層毎挙動,すなわちresnet,deep mlp,transformerの実用場面における最初の経験的解析を行う。
これらの実験結果は我々の理論と直接一致している。
さらに,特定のカテゴリの分類信頼度を,他のカテゴリの信頼度によって線形に決定できるディープネットワークのランク不足によって生じる,新たな独立性の欠如現象を明らかにした。
この研究の理論的結果は、経験的な発見とともに、ディープニューラルネットワークの本質的原理の理解を深める可能性がある。
関連論文リスト
- Neural Collapse in the Intermediate Hidden Layers of Classification
Neural Networks [0.0]
(NC)は、分類ニューラルネットワークの最終的な隠蔽層におけるクラスの表現を正確に記述する。
本稿では,中間層におけるNCの出現を包括的に解析する。
論文 参考訳(メタデータ) (2023-08-05T01:19:38Z) - Interpretable part-whole hierarchies and conceptual-semantic
relationships in neural networks [4.153804257347222]
本稿では、視覚的手がかりから部分全体階層を表現できるフレームワークであるAgglomeratorについて述べる。
本研究では,SmallNORB,MNIST,FashionMNIST,CIFAR-10,CIFAR-100などの共通データセットを用いて評価を行った。
論文 参考訳(メタデータ) (2022-03-07T10:56:13Z) - Analytic Insights into Structure and Rank of Neural Network Hessian Maps [32.90143789616052]
ニューラルネットワークのヘシアンは、損失の2階微分を通じてパラメータ相互作用をキャプチャする。
我々は、ヘッセン写像の範囲を分析する理論的ツールを開発し、その階数不足の正確な理解を提供する。
これにより、ディープ線形ネットワークのヘッセン階数に対する正確な公式と厳密な上界が得られる。
論文 参考訳(メタデータ) (2021-06-30T17:29:58Z) - What can linearized neural networks actually say about generalization? [67.83999394554621]
ある無限大のニューラルネットワークにおいて、ニューラル・タンジェント・カーネル(NTK)理論は一般化を完全に特徴づける。
線形近似は、ニューラルネットワークの特定のタスクの学習複雑性を確実にランク付けできることを示す。
我々の研究は、将来の理論的研究を刺激する新しい深層学習現象の具体例を提供する。
論文 参考訳(メタデータ) (2021-06-12T13:05:11Z) - Learning Structures for Deep Neural Networks [99.8331363309895]
我々は,情報理論に根ざし,計算神経科学に発達した効率的な符号化原理を採用することを提案する。
スパース符号化は出力信号のエントロピーを効果的に最大化できることを示す。
公開画像分類データセットを用いた実験により,提案アルゴリズムでスクラッチから学習した構造を用いて,最も優れた専門家設計構造に匹敵する分類精度が得られることを示した。
論文 参考訳(メタデータ) (2021-05-27T12:27:24Z) - A neural anisotropic view of underspecification in deep learning [60.119023683371736]
ニューラルネットが問題の未特定化を扱う方法が,データ表現に大きく依存していることを示す。
深層学習におけるアーキテクチャ的インダクティブバイアスの理解は,これらのシステムの公平性,堅牢性,一般化に対処する上で基本的であることを強調した。
論文 参考訳(メタデータ) (2021-04-29T14:31:09Z) - Provably Training Neural Network Classifiers under Fairness Constraints [70.64045590577318]
過パラメータのニューラルネットワークが制約を満たしていることを示す。
公平なニューラルネットワーク分類器を構築する上で重要な要素は、ニューラルネットワークの非応答解析を確立することである。
論文 参考訳(メタデータ) (2020-12-30T18:46:50Z) - Deep Networks from the Principle of Rate Reduction [32.87280757001462]
この研究は、レート還元と(シフト)不変分類の原理から、現代のディープ(畳み込み)ネットワークを解釈しようとする。
学習した特徴量の減少率を最適化するための基本的反復的漸進勾配法が,多層深層ネットワーク,すなわち1層1回を自然に導くことを示す。
この「ホワイトボックス」ネットワークの全てのコンポーネントは正確な最適化、統計学、幾何学的解釈を持っている。
論文 参考訳(メタデータ) (2020-10-27T06:01:43Z) - Learning Connectivity of Neural Networks from a Topological Perspective [80.35103711638548]
本稿では,ネットワークを解析のための完全なグラフに表現するためのトポロジ的視点を提案する。
接続の規模を反映したエッジに学習可能なパラメータを割り当てることにより、学習プロセスを異なる方法で行うことができる。
この学習プロセスは既存のネットワークと互換性があり、より大きな検索空間と異なるタスクへの適応性を持っている。
論文 参考訳(メタデータ) (2020-08-19T04:53:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。