論文の概要: Asymptotic Freeness of Layerwise Jacobians Caused by Invariance of Multilayer Perceptron: The Haar Orthogonal Case

• arxiv url: http://arxiv.org/abs/2103.13466v1
• Date: Wed, 24 Mar 2021 19:52:11 GMT
• ステータス: 処理完了
• システム内更新日: 2021-03-26 13:44:05.932863
• Title: Asymptotic Freeness of Layerwise Jacobians Caused by Invariance of Multilayer Perceptron: The Haar Orthogonal Case
• Title（参考訳）: 多層パーセプトロンの不変性による層状ヤコビアンの漸近的自由度:ハール直交の場合
• Authors: Benoit Collins, Tomohiro Hayase
• Abstract要約: Free Probability (FPT)は、ディープニューラルネットワーク(DNN)の研究に現れるランダム行列によって引き起こされる数学的困難を扱うための知識を提供する。 FPTは、パラメータジャコビアンと入力ジャコビアンがレイヤーワイズジャコビアンのものであるため、これらの研究に適している。 動的等方性を達成するために不可欠なHaar分散行列を用いた多層パーセプトロンの層状ヤコビアンの自由性を証明する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Free Probability Theory (FPT) provides rich knowledge for handling mathematical difficulties caused by random matrices that appear in researches of deep neural networks (DNNs), such as the dynamical isometry, Fisher information matrix, and training dynamics. FPT suits these researches because the DNN's parameter-Jacobian and input-Jacobian are polynomials of layerwise Jacobians. However, the critical assumption, that is, the layerwise Jacobian's asymptotic freeness, has not been proven completely so far. The asymptotic freeness assumption has foundamental roles in these researches to propagate spectral distributions through the layers. In the present work, we prove the asymptotic freeness of layerwise Jacobian of multilayer perceptrons with Haar distributed orthogonal matrices, which are essential for achieving dynamical isometry.
• Abstract（参考訳）: 自由確率理論(fpt)は、dnn(dynamical isometry, fisher information matrix, training dynamics)のようなディープニューラルネットワークの研究に現れるランダム行列によって引き起こされる数学的困難に対処するための豊富な知識を提供する。 FPTは、DNNのパラメータ-ヤコビアンと入力-ヤコビアンが層状ジャコビアン多項式であるため、これらの研究に適合する。 しかしながら、レイヤーワイズ・ジャコビアンの漸近自由性という批判的な仮定は、今のところ完全には証明されていない。 漸近自由性仮定は、これらの研究において、層を通してスペクトル分布を伝播するための基礎的な役割を持つ。 本研究では,多層パーセプトロンの層状ジャコビアンとハール分布直交行列との漸近自由性を証明する。

関連論文リスト

• Diagonal Symmetrization of Neural Network Solvers for the Many-Electron Schrödinger Equation [11.202098800341096]
  我々は,モンテカルロ変分法を用いて学習したニューラルネットワークアンスに,対角的不変性を導入する様々な方法について検討した。 標準のMLセットアップとは対照的に、トレーニング中の対称性はトレーニングを不安定にし、パフォーマンスを悪化させる可能性があることを示す。 我々の理論的および数値的な結果は、この予期せぬ挙動は、シンメトリゼーションの標準ML解析では見つからないユニークな計算統計的トレードオフから生じる可能性があることを示唆している。
  論文  参考訳（メタデータ） (2025-02-07T20:37:25Z)
• Feature learning in finite-width Bayesian deep linear networks with multiple outputs and convolutional layers [39.71511919246829]
  深い線形ネットワークは広く研究されているが、複数の出力と畳み込み層を持つ有限幅アーキテクチャの場合はほとんど知られていない。 我々の研究は、この物理学の直観と用語を厳密なベイズ統計に翻訳する辞書を提供する。
  論文  参考訳（メタデータ） (2024-06-05T13:37:42Z)
• Tensor cumulants for statistical inference on invariant distributions [49.80012009682584]
  我々は,PCAが信号の大きさの臨界値で計算的に困難になることを示す。 我々は、与えられた次数の不変量に対して明示的でほぼ直交的な基底を与える新しい対象の集合を定義する。 また、異なるアンサンブルを区別する新しい問題も分析できます。
  論文  参考訳（メタデータ） (2024-04-29T14:33:24Z)
• Towards Training Without Depth Limits: Batch Normalization Without Gradient Explosion [83.90492831583997]
  バッチ正規化ネットワークは,信号伝搬特性を最適に保ちつつ,爆発的な勾配を回避することができることを示す。 線形アクティベーションとバッチ正規化を備えた多層パーセプトロン(MLP)を用いて,有界深度を実証する。 また、ある非線形活性化に対して同じ特性を経験的に達成する活性化整形法を設計する。
  論文  参考訳（メタデータ） (2023-10-03T12:35:02Z)
• SOFARI: High-Dimensional Manifold-Based Inference [8.860162863559163]
  我々は2つのSOFARI変種を導入し、強力で弱い潜伏要因を扱えるようにし、後者は広範囲のアプリケーションをカバーする。 そこで我々は,SOFARIが潜在左因子ベクトルと特異値の両方に対して偏差補正推定器を提供し,その平均零正規分布を疎分散で楽しむことを示す。 本稿では,SOFARIの有効性を概説し,シミュレーション例による理論結果の正当化と,経済予測における実データの適用について述べる。
  論文  参考訳（メタデータ） (2023-09-26T16:01:54Z)
• Multinomial Logistic Regression: Asymptotic Normality on Null Covariates in High-Dimensions [11.69389391551085]
  本稿では,次元と試料サイズが同一の高次元状態における多相ロジスティックモデルにおける最大線量推定(MLE)の分布について検討する。
  論文  参考訳（メタデータ） (2023-05-28T23:33:41Z)
• A Unified Algebraic Perspective on Lipschitz Neural Networks [88.14073994459586]
  本稿では,様々なタイプの1-Lipschitzニューラルネットワークを統一する新しい視点を提案する。 そこで本研究では,SDP(Common semidefinite Programming)条件の解析解を求めることによって,既存の多くの手法を導出し,一般化することができることを示す。 SDPベースのLipschitz Layers (SLL) と呼ばれる我々のアプローチは、非自明で効率的な凸ポテンシャル層の一般化を設計できる。
  論文  参考訳（メタデータ） (2023-03-06T14:31:09Z)
• Decimation technique for open quantum systems: a case study with driven-dissipative bosonic chains [62.997667081978825]
  量子系の外部自由度への不可避結合は、散逸(非単体)ダイナミクスをもたらす。 本稿では,グリーン関数の(散逸的な)格子計算に基づいて,これらのシステムに対処する手法を提案する。 本手法のパワーを,複雑性を増大させる駆動散逸型ボゾン鎖のいくつかの例で説明する。
  論文  参考訳（メタデータ） (2022-02-15T19:00:09Z)
• The Interplay Between Implicit Bias and Benign Overfitting in Two-Layer Linear Networks [51.1848572349154]
  ノイズの多いデータに完全に適合するニューラルネットワークモデルは、見当たらないテストデータにうまく一般化できる。 我々は,2層線形ニューラルネットワークを2乗損失の勾配流で補間し,余剰リスクを導出する。
  論文  参考訳（メタデータ） (2021-08-25T22:01:01Z)
• Convolutional Filtering and Neural Networks with Non Commutative Algebras [153.20329791008095]
  本研究では,非可換畳み込みニューラルネットワークの一般化について検討する。 非可換畳み込み構造は作用素空間上の変形に対して安定であることを示す。
  論文  参考訳（メタデータ） (2021-08-23T04:22:58Z)
• Signatures of Chaos in Non-integrable Models of Quantum Field Theory [0.0]
  1+1)D量子場理論(QFT)モデルにおける量子カオスのシグネチャについて検討する。 我々は、二重正弦ガードンに焦点をあて、巨大な正弦ガードンと$phi4$モデルの研究も行っている。
  論文  参考訳（メタデータ） (2020-12-15T18:56:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。