論文の概要: Riddled basin geometry sets fundamental limits to predictability and reproducibility in deep learning

• arxiv url: http://arxiv.org/abs/2510.05606v1
• Date: Tue, 07 Oct 2025 06:02:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-08 17:57:08.121866
• Title: Riddled basin geometry sets fundamental limits to predictability and reproducibility in deep learning
• Title（参考訳）: 流域幾何学は深層学習における予測可能性と再現可能性に基本的な限界を定めている
• Authors: Andrew Ly, Pulin Gong,
• Abstract要約: 特徴ある能力にもかかわらず、深層学習はフラクタルに根ざした基本的な限界を示しており、そのアトラクションの流域の幾何学が欠落していることが示される。 したがって、リドリングは予測可能性とニューラルネットワークトレーニングの基本的な制限を課し、多くの経験的観察の統一的な説明を提供する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Fundamental limits to predictability are central to our understanding of many physical and computational systems. Here we show that, despite its remarkable capabilities, deep learning exhibits such fundamental limits rooted in the fractal, riddled geometry of its basins of attraction: any initialization that leads to one solution lies arbitrarily close to another that leads to a different one. We derive sufficient conditions for the emergence of riddled basins by analytically linking features widely observed in deep learning, including chaotic learning dynamics and symmetry-induced invariant subspaces, to reveal a general route to riddling in realistic deep networks. The resulting basins of attraction possess an infinitely fine-scale fractal structure characterized by an uncertainty exponent near zero, so that even large increases in the precision of initial conditions yield only marginal gains in outcome predictability. Riddling thus imposes a fundamental limit on the predictability and hence reproducibility of neural network training, providing a unified account of many empirical observations. These results reveal a general organizing principle of deep learning with important implications for optimization and the safe deployment of artificial intelligence.
• Abstract（参考訳）: 予測可能性の基本的な限界は多くの物理・計算系の理解の中心である。 ここでは、その顕著な能力にもかかわらず、深層学習はフラクタルに根ざした基本的な限界を示しており、そのアトラクションの流域の幾何学が取り除かれている。 カオス学習のダイナミクスや対称性による不変部分空間など,ディープラーニングで広く観測される特徴を解析的にリンクし,現実的な深層ネットワークを網羅する一般的な経路を明らかにすることで,流域の出現に十分な条件を導出する。 結果として生じるアトラクションの盆地は、ゼロに近い不確実指数によって特徴づけられる無限に微細なフラクタル構造を有しており、初期条件の精度が大幅に上昇しても、結果予測可能性の限界ゲインしか得られない。 したがって、リドリングは予測可能性に根本的な制限を課し、その結果、ニューラルネットワークトレーニングの再現性は、多くの経験的観察の統一的な説明を提供する。 これらの結果は、人工知能の最適化と安全な展開に重要な意味を持つディープラーニングの一般的な組織原理を明らかにしている。

関連論文リスト

• Bayesian Neural Scaling Law Extrapolation with Prior-Data Fitted Networks [100.13335639780415]
  スケーリング法則は、しばしばパワーローに従っており、より大きなスケールでのスケーリングの振る舞いを予測するために、パワーロー関数のいくつかの変種を提案した。 既存の手法は主に点推定に依存しており、現実のアプリケーションにとって欠かせない不確実性を定量化しない。 本研究では,ニューラルスケーリング法外挿のためのPFNに基づくベイズフレームワークについて検討する。
  論文  参考訳（メタデータ） (2025-05-29T03:19:17Z)
• Universal Scaling Laws of Absorbing Phase Transitions in Artificial Deep Neural Networks [0.8932296777085644]
  信号伝播ダイナミクスの位相境界付近で動作する従来の人工深層ニューラルネットワークは、カオスのエッジとしても知られ、位相遷移を吸収する普遍的なスケーリング法則を示す。 我々は、伝搬力学の完全な決定論的性質を利用して、ニューラルネットワークの信号崩壊と吸収状態の類似を解明する。
  論文  参考訳（メタデータ） (2023-07-05T13:39:02Z)
• Statistical mechanics of continual learning: variational principle and mean-field potential [1.559929646151698]
  重み付き単層および多層ニューラルネットワークにおける連続学習に着目する。 ニューラルネットワークをフィールド空間でトレーニングする,変分ベイズ学習環境を提案する。 重みの不確実性は自然に組み込まれ、タスク間のシナプス資源を調節する。 提案するフレームワークは、弾力的な重みの強化、重みの不確実性学習、神経科学によるメタ可塑性にも結びついている。
  論文  参考訳（メタデータ） (2022-12-06T09:32:45Z)
• The Unreasonable Effectiveness of Deep Evidential Regression [72.30888739450343]
  不確実性を考慮した回帰ベースニューラルネットワーク(NN)による新しいアプローチは、従来の決定論的手法や典型的なベイズ的NNよりも有望であることを示している。 我々は、理論的欠点を詳述し、合成および実世界のデータセットのパフォーマンスを分析し、Deep Evidential Regressionが正確な不確実性ではなく定量化であることを示す。
  論文  参考訳（メタデータ） (2022-05-20T10:10:32Z)
• Deep learning: a statistical viewpoint [120.94133818355645]
  ディープラーニングは、理論的観点からいくつかの大きな驚きを明らかにしました。 特に、簡単な勾配法は、最適でないトレーニング問題に対するほぼ完全な解決策を簡単に見つけます。 我々はこれらの現象を具体的原理で補うと推測する。
  論文  参考訳（メタデータ） (2021-03-16T16:26:36Z)
• Generalization bound of globally optimal non-convex neural network training: Transportation map estimation by infinite dimensional Langevin dynamics [50.83356836818667]
  本稿では,ディープラーニングの最適化を一般化誤差と関連づけて解析する理論フレームワークを提案する。 ニューラルネットワーク最適化分析のための平均場理論やニューラル・タンジェント・カーネル理論のような既存のフレームワークは、そのグローバル収束を示すために、ネットワークの無限幅の限界を取る必要がある。
  論文  参考訳（メタデータ） (2020-07-11T18:19:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。