論文の概要: Rank Diminishing in Deep Neural Networks

• arxiv url: http://arxiv.org/abs/2206.06072v1
• Date: Mon, 13 Jun 2022 12:03:32 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-14 13:56:03.641154
• Title: Rank Diminishing in Deep Neural Networks
• Title（参考訳）: ディープニューラルネットワークにおけるランク低下
• Authors: Ruili Feng, Kecheng Zheng, Yukun Huang, Deli Zhao, Michael Jordan, Zheng-Jun Zha
• Abstract要約: ニューラルネットワークのランクは、層をまたがる情報を測定する。 これは機械学習の幅広い領域にまたがる重要な構造条件の例である。 しかし、ニューラルネットワークでは、低ランク構造を生み出す固有のメカニズムはあいまいで不明瞭である。
• 参考スコア（独自算出の注目度）: 71.03777954670323
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: The rank of neural networks measures information flowing across layers. It is an instance of a key structural condition that applies across broad domains of machine learning. In particular, the assumption of low-rank feature representations leads to algorithmic developments in many architectures. For neural networks, however, the intrinsic mechanism that yields low-rank structures remains vague and unclear. To fill this gap, we perform a rigorous study on the behavior of network rank, focusing particularly on the notion of rank deficiency. We theoretically establish a universal monotonic decreasing property of network rank from the basic rules of differential and algebraic composition, and uncover rank deficiency of network blocks and deep function coupling. By virtue of our numerical tools, we provide the first empirical analysis of the per-layer behavior of network rank in practical settings, i.e., ResNets, deep MLPs, and Transformers on ImageNet. These empirical results are in direct accord with our theory. Furthermore, we reveal a novel phenomenon of independence deficit caused by the rank deficiency of deep networks, where classification confidence of a given category can be linearly decided by the confidence of a handful of other categories. The theoretical results of this work, together with the empirical findings, may advance understanding of the inherent principles of deep neural networks.
• Abstract（参考訳）: ニューラルネットワークのランクは、層をまたがる情報を測定する。 これは、機械学習の幅広い領域にまたがる重要な構造的条件の例である。 特に、低ランクな特徴表現の仮定は多くのアーキテクチャにおいてアルゴリズム的な発展をもたらす。 しかし、ニューラルネットワークでは、低ランク構造を生み出す固有のメカニズムはあいまいで不明瞭である。 このギャップを埋めるために,ネットワークランクの挙動に関する厳密な研究を行い,特にランク不足の概念に着目した。 微分および代数的構成の基本規則からネットワークランクの普遍的単調減少特性を理論的に確立し,ネットワークブロックのランク不足と深い関数結合を明らかにする。 この数値計算手法を用いて,imagenet上のネットワークランクの層毎挙動,すなわちresnet,deep mlp,transformerの実用場面における最初の経験的解析を行う。 これらの実験結果は我々の理論と直接一致している。 さらに,特定のカテゴリの分類信頼度を,他のカテゴリの信頼度によって線形に決定できるディープネットワークのランク不足によって生じる,新たな独立性の欠如現象を明らかにした。 この研究の理論的結果は、経験的な発見とともに、ディープニューラルネットワークの本質的原理の理解を深める可能性がある。

関連論文リスト

• Neural Scaling Laws of Deep ReLU and Deep Operator Network: A Theoretical Study [8.183509993010983]
  深部演算子のネットワークにおけるニューラルネットワークのスケーリング法則をChenおよびChenスタイルアーキテクチャを用いて検討する。 我々は、その近似と一般化誤差を分析して、ニューラルネットワークのスケーリング法則を定量化する。 本結果は,演算子学習における神経スケーリング法則を部分的に説明し,その応用の理論的基盤を提供する。
  論文  参考訳（メタデータ） (2024-10-01T03:06:55Z)
• Understanding Deep Learning via Notions of Rank [5.439020425819001]
  この論文は、ディープラーニングの理論を発展させる鍵としてランクの概念を提唱している。 特に、勾配に基づくトレーニングは、いくつかのニューラルネットワークアーキテクチャにおいて、低ランクに対する暗黙の正規化を誘導できると確認する。 明示的な正規化スキームとデータ前処理アルゴリズムを設計するための我々の理論の実践的意味を述べる。
  論文  参考訳（メタデータ） (2024-08-04T18:47:55Z)
• Coding schemes in neural networks learning classification tasks [52.22978725954347]
  完全接続型広義ニューラルネットワーク学習タスクについて検討する。 ネットワークが強力なデータ依存機能を取得することを示す。 驚くべきことに、内部表現の性質は神経の非線形性に大きく依存する。
  論文  参考訳（メタデータ） (2024-06-24T14:50:05Z)
• Feature Contamination: Neural Networks Learn Uncorrelated Features and Fail to Generalize [5.642322814965062]
  分散シフトの下で一般化される学習表現は、堅牢な機械学習モデルを構築する上で重要である。 ニューラルネットワークを教師ネットワークから得られる表現に明示的に適合させることさえ、学生ネットワークの一般化には不十分であることを示す。
  論文  参考訳（メタデータ） (2024-06-05T15:04:27Z)
• Interpretable part-whole hierarchies and conceptual-semantic relationships in neural networks [4.153804257347222]
  本稿では、視覚的手がかりから部分全体階層を表現できるフレームワークであるAgglomeratorについて述べる。 本研究では,SmallNORB,MNIST,FashionMNIST,CIFAR-10,CIFAR-100などの共通データセットを用いて評価を行った。
  論文  参考訳（メタデータ） (2022-03-07T10:56:13Z)
• Analytic Insights into Structure and Rank of Neural Network Hessian Maps [32.90143789616052]
  ニューラルネットワークのヘシアンは、損失の2階微分を通じてパラメータ相互作用をキャプチャする。 我々は、ヘッセン写像の範囲を分析する理論的ツールを開発し、その階数不足の正確な理解を提供する。 これにより、ディープ線形ネットワークのヘッセン階数に対する正確な公式と厳密な上界が得られる。
  論文  参考訳（メタデータ） (2021-06-30T17:29:58Z)
• What can linearized neural networks actually say about generalization? [67.83999394554621]
  ある無限大のニューラルネットワークにおいて、ニューラル・タンジェント・カーネル(NTK)理論は一般化を完全に特徴づける。 線形近似は、ニューラルネットワークの特定のタスクの学習複雑性を確実にランク付けできることを示す。 我々の研究は、将来の理論的研究を刺激する新しい深層学習現象の具体例を提供する。
  論文  参考訳（メタデータ） (2021-06-12T13:05:11Z)
• Learning Structures for Deep Neural Networks [99.8331363309895]
  我々は,情報理論に根ざし,計算神経科学に発達した効率的な符号化原理を採用することを提案する。 スパース符号化は出力信号のエントロピーを効果的に最大化できることを示す。 公開画像分類データセットを用いた実験により,提案アルゴリズムでスクラッチから学習した構造を用いて,最も優れた専門家設計構造に匹敵する分類精度が得られることを示した。
  論文  参考訳（メタデータ） (2021-05-27T12:27:24Z)
• Provably Training Neural Network Classifiers under Fairness Constraints [70.64045590577318]
  過パラメータのニューラルネットワークが制約を満たしていることを示す。 公平なニューラルネットワーク分類器を構築する上で重要な要素は、ニューラルネットワークの非応答解析を確立することである。
  論文  参考訳（メタデータ） (2020-12-30T18:46:50Z)
• Learning Connectivity of Neural Networks from a Topological Perspective [80.35103711638548]
  本稿では,ネットワークを解析のための完全なグラフに表現するためのトポロジ的視点を提案する。 接続の規模を反映したエッジに学習可能なパラメータを割り当てることにより、学習プロセスを異なる方法で行うことができる。 この学習プロセスは既存のネットワークと互換性があり、より大きな検索空間と異なるタスクへの適応性を持っている。
  論文  参考訳（メタデータ） (2020-08-19T04:53:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。