論文の概要: Riddled basin geometry sets fundamental limits to predictability and reproducibility in deep learning

• arxiv url: http://arxiv.org/abs/2510.05606v1
• Date: Tue, 07 Oct 2025 06:02:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-08 17:57:08.121866
• Title: Riddled basin geometry sets fundamental limits to predictability and reproducibility in deep learning
• Title（参考訳）: 流域幾何学は深層学習における予測可能性と再現可能性に基本的な限界を定めている
• Authors: Andrew Ly, Pulin Gong,
• Abstract要約: 特徴ある能力にもかかわらず、深層学習はフラクタルに根ざした基本的な限界を示しており、そのアトラクションの流域の幾何学が欠落していることが示される。 したがって、リドリングは予測可能性とニューラルネットワークトレーニングの基本的な制限を課し、多くの経験的観察の統一的な説明を提供する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Fundamental limits to predictability are central to our understanding of many physical and computational systems. Here we show that, despite its remarkable capabilities, deep learning exhibits such fundamental limits rooted in the fractal, riddled geometry of its basins of attraction: any initialization that leads to one solution lies arbitrarily close to another that leads to a different one. We derive sufficient conditions for the emergence of riddled basins by analytically linking features widely observed in deep learning, including chaotic learning dynamics and symmetry-induced invariant subspaces, to reveal a general route to riddling in realistic deep networks. The resulting basins of attraction possess an infinitely fine-scale fractal structure characterized by an uncertainty exponent near zero, so that even large increases in the precision of initial conditions yield only marginal gains in outcome predictability. Riddling thus imposes a fundamental limit on the predictability and hence reproducibility of neural network training, providing a unified account of many empirical observations. These results reveal a general organizing principle of deep learning with important implications for optimization and the safe deployment of artificial intelligence.
• Abstract（参考訳）: 予測可能性の基本的な限界は多くの物理・計算系の理解の中心である。 ここでは、その顕著な能力にもかかわらず、深層学習はフラクタルに根ざした基本的な限界を示しており、そのアトラクションの流域の幾何学が取り除かれている。 カオス学習のダイナミクスや対称性による不変部分空間など,ディープラーニングで広く観測される特徴を解析的にリンクし,現実的な深層ネットワークを網羅する一般的な経路を明らかにすることで,流域の出現に十分な条件を導出する。 結果として生じるアトラクションの盆地は、ゼロに近い不確実指数によって特徴づけられる無限に微細なフラクタル構造を有しており、初期条件の精度が大幅に上昇しても、結果予測可能性の限界ゲインしか得られない。 したがって、リドリングは予測可能性に根本的な制限を課し、その結果、ニューラルネットワークトレーニングの再現性は、多くの経験的観察の統一的な説明を提供する。 これらの結果は、人工知能の最適化と安全な展開に重要な意味を持つディープラーニングの一般的な組織原理を明らかにしている。

関連論文リスト

• Conjugate Learning Theory: Uncovering the Mechanisms of Trainability and Generalization in Deep Neural Networks [0.0]
  凸共役双対性に基づく共役学習理論フレームワークを開発し,この学習性特性を特徴付ける。 我々は,ミニバッチ降下(SGD)による深層ニューラルネットワーク(DNN)のトレーニングが,経験的リスクのグローバルな最適化を実現することを実証した。 条件付き一般化エントロピー測度に基づく一般化誤差に関する決定論的および確率的境界を導出する。
  論文  参考訳（メタデータ） (2026-02-18T04:26:55Z)
• Bayesian Neural Scaling Law Extrapolation with Prior-Data Fitted Networks [100.13335639780415]
  スケーリング法則は、しばしばパワーローに従っており、より大きなスケールでのスケーリングの振る舞いを予測するために、パワーロー関数のいくつかの変種を提案した。 既存の手法は主に点推定に依存しており、現実のアプリケーションにとって欠かせない不確実性を定量化しない。 本研究では,ニューラルスケーリング法外挿のためのPFNに基づくベイズフレームワークについて検討する。
  論文  参考訳（メタデータ） (2025-05-29T03:19:17Z)
• On the Surprising Effectiveness of Large Learning Rates under Standard Width Scaling [15.769249369390884]
  最適な学習速度は理論的な予測よりも遅く、ネットワークは、非常に広い範囲でも安定した訓練と非自明な特徴学習の両方を示します。 特に, クロスエントロピー (CE) の損失下では, 不安定な状態は, 破滅的な不安定な状態と, より良質な制御された分岐状態の2つのサブレジムから構成されることを示す。 我々の経験的証拠は、幅スケーリングの考慮は、経験的最大学習率指数を予測するのに驚くほど有用であることを示している。
  論文  参考訳（メタデータ） (2025-05-28T15:40:48Z)
• On the Dynamics Under the Unhinged Loss and Beyond [104.49565602940699]
  我々は、閉形式力学を解析するための数学的機会を提供する、簡潔な損失関数であるアンヒンジド・ロスを導入する。 アンヒンジされた損失は、時間変化学習率や特徴正規化など、より実践的なテクニックを検討することができる。
  論文  参考訳（メタデータ） (2023-12-13T02:11:07Z)
• The Boundaries of Verifiable Accuracy, Robustness, and Generalisation in Deep Learning [71.14237199051276]
  経験的リスクを最小限に抑えるため,古典的な分布に依存しないフレームワークとアルゴリズムを検討する。 理想的な安定かつ正確なニューラルネットワークの計算と検証が極めて難しいタスク群が存在することを示す。
  論文  参考訳（メタデータ） (2023-09-13T16:33:27Z)
• Universal Scaling Laws of Absorbing Phase Transitions in Artificial Deep Neural Networks [0.8932296777085644]
  信号伝播ダイナミクスの位相境界付近で動作する従来の人工深層ニューラルネットワークは、カオスのエッジとしても知られ、位相遷移を吸収する普遍的なスケーリング法則を示す。 我々は、伝搬力学の完全な決定論的性質を利用して、ニューラルネットワークの信号崩壊と吸収状態の類似を解明する。
  論文  参考訳（メタデータ） (2023-07-05T13:39:02Z)
• Generalized Uncertainty of Deep Neural Networks: Taxonomy and Applications [1.9671123873378717]
  ディープニューラルネットワークの不確実性は、解釈可能性と透明性の感覚において重要であるだけでなく、パフォーマンスをさらに向上するためにも重要であることを示す。 我々は、ディープニューラルネットワークの不確実性の定義を、入力またはインプットラベルペアに関連する任意の数またはベクトルに一般化し、そのような不確かさをディープモデルから「マイニングに関する既存の方法」をカタログ化する。
  論文  参考訳（メタデータ） (2023-02-02T22:02:33Z)
• Statistical mechanics of continual learning: variational principle and mean-field potential [1.559929646151698]
  重み付き単層および多層ニューラルネットワークにおける連続学習に着目する。 ニューラルネットワークをフィールド空間でトレーニングする,変分ベイズ学習環境を提案する。 重みの不確実性は自然に組み込まれ、タスク間のシナプス資源を調節する。 提案するフレームワークは、弾力的な重みの強化、重みの不確実性学習、神経科学によるメタ可塑性にも結びついている。
  論文  参考訳（メタデータ） (2022-12-06T09:32:45Z)
• The Unreasonable Effectiveness of Deep Evidential Regression [72.30888739450343]
  不確実性を考慮した回帰ベースニューラルネットワーク(NN)による新しいアプローチは、従来の決定論的手法や典型的なベイズ的NNよりも有望であることを示している。 我々は、理論的欠点を詳述し、合成および実世界のデータセットのパフォーマンスを分析し、Deep Evidential Regressionが正確な不確実性ではなく定量化であることを示す。
  論文  参考訳（メタデータ） (2022-05-20T10:10:32Z)
• Deep learning: a statistical viewpoint [120.94133818355645]
  ディープラーニングは、理論的観点からいくつかの大きな驚きを明らかにしました。 特に、簡単な勾配法は、最適でないトレーニング問題に対するほぼ完全な解決策を簡単に見つけます。 我々はこれらの現象を具体的原理で補うと推測する。
  論文  参考訳（メタデータ） (2021-03-16T16:26:36Z)
• Generalization bound of globally optimal non-convex neural network training: Transportation map estimation by infinite dimensional Langevin dynamics [50.83356836818667]
  本稿では,ディープラーニングの最適化を一般化誤差と関連づけて解析する理論フレームワークを提案する。 ニューラルネットワーク最適化分析のための平均場理論やニューラル・タンジェント・カーネル理論のような既存のフレームワークは、そのグローバル収束を示すために、ネットワークの無限幅の限界を取る必要がある。
  論文  参考訳（メタデータ） (2020-07-11T18:19:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。