論文の概要: Exploring Neural Network Landscapes: Star-Shaped and Geodesic Connectivity

• arxiv url: http://arxiv.org/abs/2404.06391v1
• Date: Tue, 9 Apr 2024 15:35:02 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-10 14:11:18.464132
• Title: Exploring Neural Network Landscapes: Star-Shaped and Geodesic Connectivity
• Title（参考訳）: ニューラルネットワークのランドスケープを探る:星形と測地線接続性
• Authors: Zhanran Lin, Puheng Li, Lei Wu,
• Abstract要約: 2つの典型的な大域的ミニマに対して、バリアなしでそれらを繋ぐ経路が存在することを示す。 有限個の典型的なミニマに対して、すべてのミニマ多様体を同時に接続するミニマ多様体の中心が存在する。 その結果,教師-学生構成下での線形ネットワークと2層ReLUネットワークに有効であることが確認できた。
• 参考スコア（独自算出の注目度）: 4.516746821973374
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: One of the most intriguing findings in the structure of neural network landscape is the phenomenon of mode connectivity: For two typical global minima, there exists a path connecting them without barrier. This concept of mode connectivity has played a crucial role in understanding important phenomena in deep learning. In this paper, we conduct a fine-grained analysis of this connectivity phenomenon. First, we demonstrate that in the overparameterized case, the connecting path can be as simple as a two-piece linear path, and the path length can be nearly equal to the Euclidean distance. This finding suggests that the landscape should be nearly convex in a certain sense. Second, we uncover a surprising star-shaped connectivity: For a finite number of typical minima, there exists a center on minima manifold that connects all of them simultaneously via linear paths. These results are provably valid for linear networks and two-layer ReLU networks under a teacher-student setup, and are empirically supported by models trained on MNIST and CIFAR-10.
• Abstract（参考訳）: ニューラルネットワークランドスケープの構造における最も興味深い発見の1つは、モード接続の現象である。 このモード接続の概念は、ディープラーニングの重要な現象を理解する上で重要な役割を果たしてきた。 本稿では,この接続現象を詳細に解析する。 まず、過パラメータ化の場合、接続経路は2ピースの線形経路と同じくらい単純であり、経路長はユークリッド距離とほぼ等しくなることを示した。 この発見は、ある意味では、風景がほぼ凸であるべきであることを示唆している。 第2に、驚くべき恒星の形をした接続が明らかになる: 有限個の典型的なミニマに対して、すべてのミニマ多様体を線形経路で同時に接続するミニマ多様体の中心が存在する。 これらの結果は,教師学生が構成したリニアネットワークと2層ReLUネットワークに対して有効であり,MNISTとCIFAR-10で訓練されたモデルによって実証的に支持されている。

関連論文リスト

• Input Space Mode Connectivity in Deep Neural Networks [5.8470747480006695]
  我々は、ロスランドスケープモード接続の概念をディープニューラルネットワークの入力空間に拡張する。 深層ネットワークの入力空間におけるその存在の理論的および実証的な証拠を示す。 我々は、モード接続を利用して、敵の例に関する新たな洞察を得るとともに、敵検出の可能性を示す。
  論文  参考訳（メタデータ） (2024-09-09T17:03:43Z)
• Landscaping Linear Mode Connectivity [76.39694196535996]
  線形モード接続(LMC)は理論と実用の両方の観点から関心を集めている。 ロスランドスケープがLCCに対して地形的にどのように振る舞う必要があるかのモデルを提供することで、その理解に向けて一歩前進する。
  論文  参考訳（メタデータ） (2024-06-24T03:53:30Z)
• Half-Space Feature Learning in Neural Networks [2.3249139042158853]
  現在、ニューラルネットワークの特徴学習には2つの極端な視点がある。 どちらの解釈も、新しい観点からは正しいとは考えにくい。 私たちはこの代替解釈を使って、Deep Linearly Gated Network (DLGN)と呼ばれるモデルを動かす。
  論文  参考訳（メタデータ） (2024-04-05T12:03:19Z)
• Proving Linear Mode Connectivity of Neural Networks via Optimal Transport [27.794244660649085]
  この経験的観察を理論的に説明する枠組みを提供する。 ワッサーシュタイン収束率を規定する支持重み分布ニューロンがモード接続性とどのように相関するかを示す。
  論文  参考訳（メタデータ） (2023-10-29T18:35:05Z)
• Going Beyond Linear Mode Connectivity: The Layerwise Linear Feature Connectivity [62.11981948274508]
  LLFCの超越についての研究は,特徴学習の視点を取り入れることでLCCの理解を深める。 LLFCの総合的な実証的証拠として,2つの訓練ネットワークがLCCを満たす場合,ほぼすべての層でLLFCを満足することを示す。
  論文  参考訳（メタデータ） (2023-07-17T07:16:28Z)
• Feature-Learning Networks Are Consistent Across Widths At Realistic Scales [72.27228085606147]
  様々なアーキテクチャやデータセットにわたる特徴学習ニューラルネットワークのダイナミクスに対する幅の影響について検討する。 トレーニングの初期、オンラインデータでトレーニングされた広範なニューラルネットワークは、損失曲線が同じであるだけでなく、トレーニング全体を通じてポイントワイドなテスト予測に一致している。 しかし、より狭いネットワークのアンサンブルは、単一のワイドネットワークよりも性能が劣っている。
  論文  参考訳（メタデータ） (2023-05-28T17:09:32Z)
• From Compass and Ruler to Convolution and Nonlinearity: On the Surprising Difficulty of Understanding a Simple CNN Solving a Simple Geometric Estimation Task [6.230751621285322]
  本稿では, 単純な畳み込みニューラルネットワークを用いて, 簡単な学習問題に対処することを提案する。 驚くべきことに、訓練されたネットワークが学んだことを理解することは難しく、ある程度は直感に反する。
  論文  参考訳（メタデータ） (2023-03-12T11:30:49Z)
• Deep Architecture Connectivity Matters for Its Convergence: A Fine-Grained Analysis [94.64007376939735]
  我々は、勾配降下訓練におけるディープニューラルネットワーク(DNN)の収束に対する接続パターンの影響を理論的に特徴づける。 接続パターンの単純なフィルタリングによって、評価対象のモデルの数を削減できることが示される。
  論文  参考訳（メタデータ） (2022-05-11T17:43:54Z)
• Learning Connectivity of Neural Networks from a Topological Perspective [80.35103711638548]
  本稿では,ネットワークを解析のための完全なグラフに表現するためのトポロジ的視点を提案する。 接続の規模を反映したエッジに学習可能なパラメータを割り当てることにより、学習プロセスを異なる方法で行うことができる。 この学習プロセスは既存のネットワークと互換性があり、より大きな検索空間と異なるタスクへの適応性を持っている。
  論文  参考訳（メタデータ） (2020-08-19T04:53:31Z)
• Kernel and Rich Regimes in Overparametrized Models [69.40899443842443]
  過度にパラメータ化された多層ネットワーク上の勾配勾配は、RKHSノルムではないリッチな暗黙バイアスを誘発できることを示す。 また、より複雑な行列分解モデルと多層非線形ネットワークに対して、この遷移を実証的に示す。
  論文  参考訳（メタデータ） (2020-02-20T15:43:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。