論文の概要: Jaynes Machine: The universal microstructure of deep neural networks

• arxiv url: http://arxiv.org/abs/2310.06960v1
• Date: Tue, 10 Oct 2023 19:22:01 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-14 14:46:25.260535
• Title: Jaynes Machine: The universal microstructure of deep neural networks
• Title（参考訳）: Jaynes Machine: ディープニューラルネットワークの普遍的ミクロ構造
• Authors: Venkat Venkatasubramanian, N. Sanjeevrajan, Manasi Khandekar
• Abstract要約: 我々は、ディープニューラルネットワークの高結合層はすべて、対数正規分布(LN(mu, sigma)$)の接続強度の普遍的なミクロ構造を持つと予測する。 理想的な条件下では、$mu$と$sigma$は全てのネットワークのすべての層で同じである。
• 参考スコア（独自算出の注目度）: 0.9086679566009702
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: We present a novel theory of the microstructure of deep neural networks. Using a theoretical framework called statistical teleodynamics, which is a conceptual synthesis of statistical thermodynamics and potential game theory, we predict that all highly connected layers of deep neural networks have a universal microstructure of connection strengths that is distributed lognormally ($LN({\mu}, {\sigma})$). Furthermore, under ideal conditions, the theory predicts that ${\mu}$ and ${\sigma}$ are the same for all layers in all networks. This is shown to be the result of an arbitrage equilibrium where all connections compete and contribute the same effective utility towards the minimization of the overall loss function. These surprising predictions are shown to be supported by empirical data from six large-scale deep neural networks in real life. We also discuss how these results can be exploited to reduce the amount of data, time, and computational resources needed to train large deep neural networks.
• Abstract（参考訳）: 本稿では,深層ニューラルネットワークの微細構造に関する新しい理論を提案する。 統計的熱力学と潜在的ゲーム理論の概念的合成である統計テレオダイナミックスと呼ばれる理論的枠組みを用いて、ディープニューラルネットワークの高結合層はすべて、対数正規分布(ln({\mu}, {\sigma})$)の接続強度の普遍的微細構造を有すると予測する。 さらに理想的な条件下では、${\mu}$ と ${\sigma}$ は全てのネットワークの全ての層で同じであると予測される。 これは、すべての接続が競合し、全体の損失関数の最小化に向けて同じ有効性に寄与する仲裁均衡の結果である。 これらの驚くべき予測は、実生活における6つの大規模ディープニューラルネットワークの実証データによって裏付けられている。 また,大規模ニューラルネットワークのトレーニングに必要なデータ量,時間,計算リソースを削減するために,これらの結果をどのように活用するかについても論じる。

関連論文リスト

• "Lossless" Compression of Deep Neural Networks: A High-dimensional Neural Tangent Kernel Approach [49.744093838327615]
  広帯域かつ完全接続型エンフディープニューラルネットに対する新しい圧縮手法を提案する。 提案手法の利点を支えるために, 合成データと実世界のデータの両方の実験を行った。
  論文  参考訳（メタデータ） (2024-03-01T03:46:28Z)
• Addressing caveats of neural persistence with deep graph persistence [54.424983583720675]
  神経の持続性に影響を与える主な要因は,ネットワークの重みのばらつきと大きな重みの空間集中である。 単一層ではなく,ニューラルネットワーク全体へのニューラルネットワークの持続性に基づくフィルタリングの拡張を提案する。 これにより、ネットワーク内の永続的なパスを暗黙的に取り込み、分散に関連する問題を緩和するディープグラフの永続性測定が得られます。
  論文  参考訳（メタデータ） (2023-07-20T13:34:11Z)
• Generalization and Estimation Error Bounds for Model-based Neural Networks [78.88759757988761]
  スパースリカバリのためのモデルベースネットワークの一般化能力は、通常のReLUネットワークよりも優れていることを示す。 我々は,高一般化を保証したモデルベースネットワークの構築を可能にする実用的な設計規則を導出する。
  論文  参考訳（メタデータ） (2023-04-19T16:39:44Z)
• What Makes Data Suitable for a Locally Connected Neural Network? A Necessary and Sufficient Condition Based on Quantum Entanglement [12.143300311536201]
  特定の局所的に接続されたニューラルネットワークは、データ分布が低い量子エンタングルメントを許容している場合に限り、データ分布を正確に予測できることを示す。 我々は、局所的に接続されたニューラルネットワークに対するデータ分布の適合性を高めるための前処理手法を導出する。
  論文  参考訳（メタデータ） (2023-03-20T16:34:39Z)
• Rank Diminishing in Deep Neural Networks [71.03777954670323]
  ニューラルネットワークのランクは、層をまたがる情報を測定する。 これは機械学習の幅広い領域にまたがる重要な構造条件の例である。 しかし、ニューラルネットワークでは、低ランク構造を生み出す固有のメカニズムはあいまいで不明瞭である。
  論文  参考訳（メタデータ） (2022-06-13T12:03:32Z)
• Why Quantization Improves Generalization: NTK of Binary Weight Neural Networks [33.08636537654596]
  ニューラルネットワークにおける二分重みを、ラウンドリングの下でのランダム変数とみなし、ニューラルネットワークの異なる層上での分布伝搬について検討する。 本研究では,連続パラメータとスムーズなアクティベーション関数を持つニューラルネットワークである分布伝搬を近似する準ニューラルネットワークを提案する。
  論文  参考訳（メタデータ） (2022-06-13T06:11:21Z)
• Statistical Guarantees for Approximate Stationary Points of Simple Neural Networks [4.254099382808598]
  我々は、対数的要因と大域的最適値に一致する単純なニューラルネットワークの統計的保証を開発する。 我々は,ニューラルネットワークの実用的性質を数学的に記述する上で一歩前進する。
  論文  参考訳（メタデータ） (2022-05-09T18:09:04Z)
• Stochastic Neural Networks with Infinite Width are Deterministic [7.07065078444922]
  使用中のニューラルネットワークの主要なタイプであるニューラルネットワークについて研究する。 最適化されたニューラルネットワークの幅が無限大になる傾向があるため、トレーニングセットの予測分散はゼロになる。
  論文  参考訳（メタデータ） (2022-01-30T04:52:31Z)
• Why Lottery Ticket Wins? A Theoretical Perspective of Sample Complexity on Pruned Neural Networks [79.74580058178594]
  目的関数の幾何学的構造を解析することにより、刈り取られたニューラルネットワークを訓練する性能を解析する。 本稿では,ニューラルネットワークモデルがプルーニングされるにつれて,一般化が保証された望ましいモデル近傍の凸領域が大きくなることを示す。
  論文  参考訳（メタデータ） (2021-10-12T01:11:07Z)
• The Separation Capacity of Random Neural Networks [78.25060223808936]
  標準ガウス重みと一様分布バイアスを持つ十分に大きな2層ReLUネットワークは、この問題を高い確率で解くことができることを示す。 我々は、相互複雑性という新しい概念の観点から、データの関連構造を定量化する。
  論文  参考訳（メタデータ） (2021-07-31T10:25:26Z)
• Perceptron Theory Can Predict the Accuracy of Neural Networks [6.136302173351179]
  多層ニューラルネットワークは、多くの技術的分類問題に対する技術の現状を定めている。 しかし、これらのネットワークは基本的にはブラックボックスであり、分析してパフォーマンスを予測する。 本稿では, 1層パーセプトロンの統計的理論を開発し, 驚くほど多種多様なニューラルネットワークの性能を予測できることを示す。
  論文  参考訳（メタデータ） (2020-12-14T19:02:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。