論文の概要: Low-Loss Space in Neural Networks is Continuous and Fully Connected

• arxiv url: http://arxiv.org/abs/2505.02604v2
• Date: Tue, 10 Jun 2025 01:08:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-11 15:11:39.960511
• Title: Low-Loss Space in Neural Networks is Continuous and Fully Connected
• Title（参考訳）: ニューラルネットワークにおける低損失空間は連続的かつ完全連結である
• Authors: Yongding Tian, Zaid Al-Ars, Maksim Kitsak, Peter Hofstee,
• Abstract要約: 2つの異なるミニマを、損失の少ない中間点からなる経路に接続できることを示す。 また、モデル一般化を改善するための新しい可視化手法や機会も提供しています。
• 参考スコア（独自算出の注目度）: 0.8212195887472242
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Visualizations of the loss landscape in neural networks suggest that minima are isolated points. However, both theoretical and empirical studies indicate that it is possible to connect two different minima with a path consisting of intermediate points that also have low loss. In this study, we propose a new algorithm which investigates low-loss paths in the full parameter space, not only between two minima. Our experiments on LeNet5, ResNet18, and Compact Convolutional Transformer architectures consistently demonstrate the existence of such continuous paths in the parameter space. These results suggest that the low-loss region is a fully connected and continuous space in the parameter space. Our findings provide theoretical insight into neural network over-parameterization, highlighting that parameters collectively define a high-dimensional low-loss space, implying parameter redundancy exists only within individual models and not throughout the entire low-loss space. Additionally, our work also provides new visualization methods and opportunities to improve model generalization by exploring the low-loss space that is closer to the origin.
• Abstract（参考訳）: ニューラルネットワークにおける損失景観の可視化は、ミニマが孤立点であることを示唆している。 しかし、理論と実証の両方の研究は、2つの異なるミニマを損失の少ない中間点からなる経路に接続できることを示している。 本研究では,2つのミニマの間だけでなく,全パラメータ空間における低損失経路を探索する新しいアルゴリズムを提案する。 LeNet5、ResNet18、Compact Convolutional Transformerアーキテクチャに関する実験は、パラメータ空間にそのような連続経路が存在することを一貫して示している。 これらの結果は、低損失領域がパラメータ空間の完全連結かつ連続な空間であることを示唆している。 本研究は, ニューラルネットワークの過度パラメータ化に関する理論的知見を提供し, パラメータが高次元低損失空間を集合的に定義し, パラメータ冗長性は個々のモデル内にのみ存在し, 低損失空間全体には存在しないことを示唆している。 さらに,本研究は,原点に近い低損失空間を探索することにより,モデル一般化を改善する新たな可視化手法と機会を提供する。

関連論文リスト

• A simple connection from loss flatness to compressed neural representations [3.5502600490147196]
  損失ランドスケープの平坦さを反映したパラメータ空間の幾何学的測度であるシャープネスは、ニューラルネットワークの挙動と潜在的な関係について長い間研究されてきた。 本稿では,特徴空間におけるニューラル表現の局所的幾何学的特徴がシャープさがどのように影響するかを考察する。
  論文  参考訳（メタデータ） (2023-10-03T03:36:29Z)
• Learning Low Dimensional State Spaces with Overparameterized Recurrent Neural Nets [57.06026574261203]
  我々は、長期記憶をモデル化できる低次元状態空間を学習するための理論的証拠を提供する。 実験は、線形RNNと非線形RNNの両方で低次元状態空間を学習することで、我々の理論を裏付けるものである。
  論文  参考訳（メタデータ） (2022-10-25T14:45:15Z)
• On the Omnipresence of Spurious Local Minima in Certain Neural Network Training Problems [0.0]
  本研究では,1次元実出力を持つ深層ニューラルネットワークにおける学習課題の損失状況について検討する。 このような問題は、アフィンでないすべての対象函数に対して、刺激的(すなわち、大域的最適ではない)局所ミニマの連続体を持つことが示されている。
  論文  参考訳（メタデータ） (2022-02-23T14:41:54Z)
• Deep Networks on Toroids: Removing Symmetries Reveals the Structure of Flat Regions in the Landscape Geometry [3.712728573432119]
  我々は、すべての対称性を除去し、トロイダルトポロジーをもたらす標準化されたパラメータ化を開発する。 最小化器の平坦性とそれらの接続する測地線経路の有意義な概念を導出する。 また、勾配勾配の変種によって発見された最小化器は、ゼロエラー経路と1つの曲がり角で接続可能であることも見いだした。
  論文  参考訳（メタデータ） (2022-02-07T09:57:54Z)
• InfoNeRF: Ray Entropy Minimization for Few-Shot Neural Volume Rendering [55.70938412352287]
  ニューラルな暗黙表現に基づく数ショットの新規ビュー合成のための情報理論正規化手法を提案する。 提案手法は,不十分な視点で発生する潜在的な復元の不整合を最小化する。 複数の標準ベンチマークにおいて,既存のニューラルビュー合成手法と比較して一貫した性能向上を実現している。
  論文  参考訳（メタデータ） (2021-12-31T11:56:01Z)
• On Connectivity of Solutions in Deep Learning: The Role of Over-parameterization and Feature Quality [21.13299067136635]
  パラメータ空間における2つの任意の点の接続を保証するための新しい条件を提案する。 この条件はドロップアウトの安定性よりも明らかに穏やかであり、低損失経路の発見問題とニューラルネットワークの記憶能力との関係を提供する。
  論文  参考訳（メタデータ） (2021-02-18T23:44:08Z)
• Topological obstructions in neural networks learning [67.8848058842671]
  損失勾配関数フローのグローバル特性について検討する。 損失関数とそのモースコンプレックスの位相データ解析を用いて,損失面の大域的特性と勾配軌道に沿った局所的挙動を関連付ける。
  論文  参考訳（メタデータ） (2020-12-31T18:53:25Z)
• Modeling from Features: a Mean-field Framework for Over-parameterized Deep Neural Networks [54.27962244835622]
  本稿では、オーバーパラメータ化ディープニューラルネットワーク(DNN)のための新しい平均場フレームワークを提案する。 このフレームワークでは、DNNは連続的な極限におけるその特徴に対する確率測度と関数によって表現される。 本稿では、標準DNNとResidual Network(Res-Net)アーキテクチャを通してフレームワークを説明する。
  論文  参考訳（メタデータ） (2020-07-03T01:37:16Z)
• Effective Version Space Reduction for Convolutional Neural Networks [61.84773892603885]
  アクティブラーニングでは、サンプリングバイアスは深刻な矛盾問題を引き起こし、アルゴリズムが最適な仮説を見つけるのを妨げる可能性がある。 本稿では,畳み込みニューラルネットワークを用いた能動学習について,バージョン空間削減の原理的レンズを用いて検討する。
  論文  参考訳（メタデータ） (2020-06-22T17:40:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。