論文の概要: Theoretical characterisation of the Gauss-Newton conditioning in Neural Networks

• arxiv url: http://arxiv.org/abs/2411.02139v1
• Date: Mon, 04 Nov 2024 14:56:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-05 14:43:55.036396
• Title: Theoretical characterisation of the Gauss-Newton conditioning in Neural Networks
• Title（参考訳）: ニューラルネットワークにおけるガウス・ニュートン条件付けの理論的特徴化
• Authors: Jim Zhao, Sidak Pal Singh, Aurelien Lucchi,
• Abstract要約: ニューラルネットワークにおけるガウスニュートン行列(GN)の条件付けを理論的に特徴付けるための第一歩を踏み出す。 我々は、任意の深さと幅の深い線形ネットワークにおいて、GNの条件数に厳密な境界を確立する。 残りの接続や畳み込み層といったアーキテクチャコンポーネントに分析を拡張します。
• 参考スコア（独自算出の注目度）: 5.851101657703105
• License:
• Abstract: The Gauss-Newton (GN) matrix plays an important role in machine learning, most evident in its use as a preconditioning matrix for a wide family of popular adaptive methods to speed up optimization. Besides, it can also provide key insights into the optimization landscape of neural networks. In the context of deep neural networks, understanding the GN matrix involves studying the interaction between different weight matrices as well as the dependencies introduced by the data, thus rendering its analysis challenging. In this work, we take a first step towards theoretically characterizing the conditioning of the GN matrix in neural networks. We establish tight bounds on the condition number of the GN in deep linear networks of arbitrary depth and width, which we also extend to two-layer ReLU networks. We expand the analysis to further architectural components, such as residual connections and convolutional layers. Finally, we empirically validate the bounds and uncover valuable insights into the influence of the analyzed architectural components.
• Abstract（参考訳）: ガウスニュートン行列(Gauss-Newton, GN)は機械学習において重要な役割を担っており、最適化を高速化するために広く普及している適応手法のファミリーのプリコンディショニング行列として最も顕著である。 さらに、ニューラルネットワークの最適化状況に関する重要な洞察を提供することもできる。 ディープニューラルネットワークの文脈では、GN行列を理解するには、異なる重み行列とデータによって導入された依存関係の間の相互作用を研究する必要がある。 本研究では,ニューラルネットワークにおけるGN行列の条件付けを理論的に特徴付けるための第一歩を踏み出す。 我々は、任意の深さと幅の深い線形ネットワークにおいて、GNの条件数に厳密な境界を定め、2層ReLUネットワークにも拡張する。 残りの接続や畳み込み層といったアーキテクチャコンポーネントに分析を拡張します。 最後に、分析したアーキテクチャコンポーネントの影響について、バウンダリを実証的に検証し、貴重な洞察を明らかにします。

関連論文リスト

• Implicit Regularization via Spectral Neural Networks and Non-linear Matrix Sensing [2.171120568435925]
  スペクトルニューラルネットワーク(SNN)は行列学習問題に特に適している。 SNNアーキテクチャは本質的にバニラニューラルネットよりも理論解析に適していることを示す。 我々は、SNNアーキテクチャは、幅広い種類の行列学習シナリオにおいて、幅広い適用性を持つ可能性があると信じている。
  論文  参考訳（メタデータ） (2024-02-27T15:28:01Z)
• An Infinite-Width Analysis on the Jacobian-Regularised Training of a Neural Network [10.384951432591492]
  深部ニューラルネットワークの無限幅限界における最近の理論的分析により、ネットワークの初期化、特徴学習、トレーニングに対する理解が深まりました。 この無限幅解析は、ディープニューラルネットワークのヤコビアンにまで拡張可能であることを示す。 我々は、広い有限ネットワークに対する理論的主張の関連性を実験的に示し、核回帰解の性質を実験的に解析し、ヤコビアン正則化の洞察を得る。
  論文  参考訳（メタデータ） (2023-12-06T09:52:18Z)
• Wide Neural Networks as Gaussian Processes: Lessons from Deep Equilibrium Models [16.07760622196666]
  本研究では,層間における共有重み行列を持つ無限深度ニューラルネットワークであるDeep equilibrium Model (DEQ)について検討する。 解析により,DEC層の幅が無限大に近づくにつれ,ガウス過程に収束することが明らかとなった。 注目すべきは、この収束は深さと幅の限界が交換されても成り立つことである。
  論文  参考訳（メタデータ） (2023-10-16T19:00:43Z)
• Gradient Descent in Neural Networks as Sequential Learning in RKBS [63.011641517977644]
  初期重みの有限近傍にニューラルネットワークの正確な電力系列表現を構築する。 幅にかかわらず、勾配降下によって生成されたトレーニングシーケンスは、正規化された逐次学習によって正確に複製可能であることを証明した。
  論文  参考訳（メタデータ） (2023-02-01T03:18:07Z)
• Extrapolation and Spectral Bias of Neural Nets with Hadamard Product: a Polynomial Net Study [55.12108376616355]
  NTKの研究は典型的なニューラルネットワークアーキテクチャに特化しているが、アダマール製品(NNs-Hp)を用いたニューラルネットワークには不完全である。 本研究では,ニューラルネットワークの特別なクラスであるNNs-Hpに対する有限幅Kの定式化を導出する。 我々は,カーネル回帰予測器と関連するNTKとの等価性を証明し,NTKの適用範囲を拡大する。
  論文  参考訳（メタデータ） (2022-09-16T06:36:06Z)
• Deep Architecture Connectivity Matters for Its Convergence: A Fine-Grained Analysis [94.64007376939735]
  我々は、勾配降下訓練におけるディープニューラルネットワーク(DNN)の収束に対する接続パターンの影響を理論的に特徴づける。 接続パターンの単純なフィルタリングによって、評価対象のモデルの数を削減できることが示される。
  論文  参考訳（メタデータ） (2022-05-11T17:43:54Z)
• Quantum-inspired event reconstruction with Tensor Networks: Matrix Product States [0.0]
  ニューラルネットワークは量子力学の概念を機械学習技術に結びつけるのに理想的な手段であることを示す。 エンタングルメントのエントロピーは,ネットワークの学習内容の解釈に有効であることを示す。
  論文  参考訳（メタデータ） (2021-06-15T18:00:02Z)
• Statistical Mechanics of Deep Linear Neural Networks: The Back-Propagating Renormalization Group [4.56877715768796]
  個々の単位の入力出力関数が線形である深線型ニューラルネットワーク(DLNN)における学習の統計力学について検討する。 重み空間における平衡ギブス分布を用いて教師あり学習後のネットワーク特性を正確に解く。 数値シミュレーションにより, 非線形性にもかかわらず, 理論の予測は大部分, 深さの小さいreluネットワークによって共有されていることが明らかとなった。
  論文  参考訳（メタデータ） (2020-12-07T20:08:31Z)
• Connecting Weighted Automata, Tensor Networks and Recurrent Neural Networks through Spectral Learning [58.14930566993063]
  我々は、形式言語と言語学からの重み付き有限オートマトン(WFA)、機械学習で使用されるリカレントニューラルネットワーク、テンソルネットワークの3つのモデル間の接続を提示する。 本稿では,連続ベクトル入力の列上に定義された線形2-RNNに対する最初の証明可能な学習アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-10-19T15:28:00Z)
• Learning Connectivity of Neural Networks from a Topological Perspective [80.35103711638548]
  本稿では,ネットワークを解析のための完全なグラフに表現するためのトポロジ的視点を提案する。 接続の規模を反映したエッジに学習可能なパラメータを割り当てることにより、学習プロセスを異なる方法で行うことができる。 この学習プロセスは既存のネットワークと互換性があり、より大きな検索空間と異なるタスクへの適応性を持っている。
  論文  参考訳（メタデータ） (2020-08-19T04:53:31Z)
• An Ode to an ODE [78.97367880223254]
  我々は、O(d) 群上の行列フローに応じて主フローの時間依存パラメータが進化する ODEtoODE と呼ばれるニューラルODE アルゴリズムの新しいパラダイムを提案する。 この2つの流れのネストされたシステムは、訓練の安定性と有効性を提供し、勾配の消滅・爆発問題を確実に解決する。
  論文  参考訳（メタデータ） (2020-06-19T22:05:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。