Fugu-MT 論文翻訳(概要): Geometry of Critical Sets and Existence of Saddle Branches for Two-layer Neural Networks

論文の概要: Geometry of Critical Sets and Existence of Saddle Branches for Two-layer Neural Networks

arxiv url: http://arxiv.org/abs/2405.17501v1
Date: Sun, 26 May 2024 02:32:28 GMT
ステータス: 処理完了
システム内更新日: 2024-05-30 00:00:30.031379
Title: Geometry of Critical Sets and Existence of Saddle Branches for Two-layer Neural Networks
Title（参考訳）: 2層ニューラルネットワークにおける臨界集合の幾何学とサドル分岐の存在
Authors: Leyang Zhang, Yaoyu Zhang, Tao Luo,
Abstract要約: 本稿では,2層ニューラルネットワークにおける臨界点集合の包括的解析を行う。臨界点が与えられた場合、これらの演算子を使用して、同じ出力関数を表す下層の臨界集合全体を明らかにする。出力関数がより狭いネットワークで表現できる臨界集合に対して、サドル分岐が存在することを証明する。
参考スコア（独自算出の注目度）: 4.418361486640713
License: http://creativecommons.org/licenses/by-sa/4.0/
Abstract: This paper presents a comprehensive analysis of critical point sets in two-layer neural networks. To study such complex entities, we introduce the critical embedding operator and critical reduction operator as our tools. Given a critical point, we use these operators to uncover the whole underlying critical set representing the same output function, which exhibits a hierarchical structure. Furthermore, we prove existence of saddle branches for any critical set whose output function can be represented by a narrower network. Our results provide a solid foundation to the further study of optimization and training behavior of neural networks.
Abstract（参考訳）: 本稿では,2層ニューラルネットワークにおける臨界点集合の包括的解析を行う。このような複雑な要素を研究するために,ツールとしてクリティカル埋め込み演算子とクリティカルリダクション演算子を導入する。臨界点が与えられたとき、これらの演算子を使用して、同じ出力関数を表す下層の臨界集合全体を明らかにする。さらに,より狭いネットワークで出力関数を表現できる臨界集合に対して,サドル分岐が存在することを証明した。この結果は,ニューラルネットワークの最適化とトレーニング行動のさらなる研究の基盤となる。

関連論文リスト

Coding schemes in neural networks learning classification tasks [52.22978725954347]
完全接続型広義ニューラルネットワーク学習タスクについて検討する。ネットワークが強力なデータ依存機能を取得することを示す。驚くべきことに、内部表現の性質は神経の非線形性に大きく依存する。
論文参考訳（メタデータ） (2024-06-24T14:50:05Z)
Provable Guarantees for Nonlinear Feature Learning in Three-Layer Neural Networks [49.808194368781095]
3層ニューラルネットワークは,2層ネットワークよりも特徴学習能力が豊富であることを示す。この研究は、特徴学習体制における2層ネットワーク上の3層ニューラルネットワークの証明可能なメリットを理解するための前進である。
論文参考訳（メタデータ） (2023-05-11T17:19:30Z)
Understanding Imbalanced Semantic Segmentation Through Neural Collapse [81.89121711426951]
セマンティックセグメンテーションは自然に文脈的相関とクラス間の不均衡分布をもたらすことを示す。機能中心にレギュレータを導入し、ネットワークが魅力ある構造に近い機能を学ぶことを奨励する。我々の手法は、ScanNet200テストリーダーボードで1位にランクインし、新しい記録を樹立する。
論文参考訳（メタデータ） (2023-01-03T13:51:51Z)
Credit Assignment for Trained Neural Networks Based on Koopman Operator Theory [3.130109807128472]
ニューラルネットワークのクレジット割り当て問題は、最終的な出力に対する各ネットワークコンポーネントのクレジットを評価することを指す。本稿では,ニューラルネットワークの信頼割当問題に対する線形力学の代替的視点について述べる。典型的なニューラルネットワークを用いた実験により,提案手法の有効性が示された。
論文参考訳（メタデータ） (2022-12-02T06:34:27Z)
Seeking Interpretability and Explainability in Binary Activated Neural Networks [2.828173677501078]
本稿では、回帰タスクの文脈において、解釈可能かつ説明可能な予測子としてバイナリ活性化ニューラルネットワークを用いることについて検討する。本稿では,特徴量,隠れニューロン,さらには重みの相対的重要性を定量化するために,SHAP値の効率的な計算法を提案する。
論文参考訳（メタデータ） (2022-09-07T20:11:17Z)
Robust Training and Verification of Implicit Neural Networks: A Non-Euclidean Contractive Approach [64.23331120621118]
本稿では,暗黙的ニューラルネットワークのトレーニングとロバスト性検証のための理論的および計算的枠組みを提案する。組込みネットワークを導入し、組込みネットワークを用いて、元のネットワークの到達可能な集合の超近似として$ell_infty$-normボックスを提供することを示す。 MNISTデータセット上で暗黙的なニューラルネットワークをトレーニングするためにアルゴリズムを適用し、我々のモデルの堅牢性と、文献における既存のアプローチを通じてトレーニングされたモデルを比較する。
論文参考訳（メタデータ） (2022-08-08T03:13:24Z)
Rank Diminishing in Deep Neural Networks [71.03777954670323]
ニューラルネットワークのランクは、層をまたがる情報を測定する。これは機械学習の幅広い領域にまたがる重要な構造条件の例である。しかし、ニューラルネットワークでは、低ランク構造を生み出す固有のメカニズムはあいまいで不明瞭である。
論文参考訳（メタデータ） (2022-06-13T12:03:32Z)
Functional Network: A Novel Framework for Interpretability of Deep Neural Networks [2.641939670320645]
本稿では,深層ニューラルネットワーク,すなわち関数型ネットワークの解釈可能性に関する新しい枠組みを提案する。本実験では, バッチ正規化とドロップアウトという正則化手法のメカニズムを明らかにした。
論文参考訳（メタデータ） (2022-05-24T01:17:36Z)
Global Convergence Analysis of Deep Linear Networks with A One-neuron Layer [18.06634056613645]
2次損失下で1つのニューロンを持つ層を有するディープ線形ネットワークを最適化することを検討する。流下における任意の出発点を持つ軌道の収束点を記述する。我々は,大域勾配器に段階的に収束する軌道の収束率を示す。
論文参考訳（メタデータ） (2022-01-08T04:44:59Z)
Analytic Insights into Structure and Rank of Neural Network Hessian Maps [32.90143789616052]
ニューラルネットワークのヘシアンは、損失の2階微分を通じてパラメータ相互作用をキャプチャする。我々は、ヘッセン写像の範囲を分析する理論的ツールを開発し、その階数不足の正確な理解を提供する。これにより、ディープ線形ネットワークのヘッセン階数に対する正確な公式と厳密な上界が得られる。
論文参考訳（メタデータ） (2021-06-30T17:29:58Z)
A neural anisotropic view of underspecification in deep learning [60.119023683371736]
ニューラルネットが問題の未特定化を扱う方法が,データ表現に大きく依存していることを示す。深層学習におけるアーキテクチャ的インダクティブバイアスの理解は,これらのシステムの公平性,堅牢性,一般化に対処する上で基本的であることを強調した。
論文参考訳（メタデータ） (2021-04-29T14:31:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。