論文の概要: On the robustness of noisy solutions in non-convex neural networks
- arxiv url: http://arxiv.org/abs/2607.27000v1
- Date: Wed, 29 Jul 2026 14:57:26 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-30 21:06:25.709321
- Title: On the robustness of noisy solutions in non-convex neural networks
- Title（参考訳）: 非凸ニューラルネットワークにおける雑音解のロバスト性について
- Authors: Enrico M. Malatesta, Alessandra Passalacqua, Riccardo Zecchina,
- Abstract要約: 凍結した1ステップのレプリカ対称性を破る解密度は, いずれの温度でも残存することを示した。
有限エネルギーの高密度かつアルゴリズム的にアクセス可能な領域は、許容誤差で増大する閾値$_rm OGP()$まで、$_rm OGP$を超えて持続することを示す。
教師-学生設定では、これらの広い有限エネルギー領域が良い一般化を維持していることを示す。
- 参考スコア（独自算出の注目度）: 42.548424354574585
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Optimization in non-convex neural network models is strongly influenced by the geometry of the solution space: sparse, isolated, point-like clusters are typically algorithmically inaccessible, whereas wide and flat regions can be found efficiently despite being relatively rare. At zero temperature this picture has been formalized in binary perceptrons through the overlap gap property (OGP), which limits algorithmic access to configurations with zero training error above a critical constraint density $α_{\rm OGP}$. Here we extend this description to finite temperature, where a positive training error is allowed and statistically penalized. We first show that the frozen one-step replica-symmetry-breaking solution, dominating the zero temperature equilibrium measure, survives at any finite temperature. We furthermore derive a general criterion, based on the smoothness of the single-pattern Gibbs weight near the decision boundary, that determines when a finite-temperature relaxation of the loss removes freezing. We then extend the OGP construction to finite temperature and show that dense, algorithmically accessible regions of finite-energy configurations persist beyond $α_{\rm OGP}$, up to a threshold $α_{\rm OGP}(ε)$ that grows with the allowed training error $ε$. Finally, in the teacher-student setting, we show that these wide, finite-energy regions still retain good generalization. Using a finite energy message-passing algorithm, we demonstrate numerically that thermal noise enables effective generalization in the regime of constraint densities where both recovering the teacher and finding a zero temperature solution are computationally hard.
- Abstract（参考訳）: 非凸ニューラルネットワークモデルの最適化は、解空間の幾何学に強く影響されている: スパース、孤立、ポイントのようなクラスターは通常アルゴリズム的にアクセスできないが、広い領域や平坦な領域は比較的稀であるにもかかわらず効率的に見つけることができる。
ゼロ温度では、この図は重なり合いギャップ特性(OGP)を通してバイナリパーセプトロンで定式化され、これは臨界制約密度$α_{\rm OGP}$を超えるゼロトレーニング誤差を持つ構成へのアルゴリズムによるアクセスを制限する。
ここでは、この記述を有限温度に拡張し、正のトレーニング誤差を許容し、統計的にペナル化する。
凍結した1段階のレプリカ対称性を破る解は、ゼロ温度平衡測度を支配的とし、任意の有限温度で生存することを示した。
さらに、決定境界付近の単一パターンギブズ重みの滑らかさに基づいて、損失の有限温度緩和が凍結を除去する際の一般的な基準を導出する。
すると、OGPの構成を有限温度まで拡張し、有限エネルギー構成の高密度でアルゴリズム的にアクセス可能な領域が$α_{\rm OGP}$を超え、許容されるトレーニング誤差$ε$で成長するしきい値$α_{\rm OGP}(ε)$まで続くことを示す。
最後に、教師-学生設定において、これらの広い有限エネルギー領域が良い一般化を維持していることを示す。
有限エネルギーメッセージパスアルゴリズムを用いて,教師の回復とゼロ温度解の発見が計算的に困難である制約密度の状況において,熱雑音が有効に一般化できることを数値的に示す。
関連論文リスト
- How Deep Are Deep GPs, Really? A Sharp Threshold and a Non-Gaussian Limit for Compositional GPs [48.096969031315744]
以前の研究により、RBFカーネルと特定の帯域幅$r$に対して、前者は限界で縮退することがわかった。
しきい値以下$r$の場合、r_c(d)$ は制限分布 $_barZ$ に収束する。
論文 参考訳（メタデータ） (2026-06-06T15:12:43Z) - A rigorous quasipolynomial-time classical algorithm for SYK thermal expectations [51.660331450043806]
ギブス状態における局所観測可能量の推定は、量子シミュレーションにおける中心的な問題である。
我々は,SYK局所熱予測を十分高い温度で推定する準ポリノミカル時間古典アルゴリズムの証明を与える。
この結果は、量子多体システムに広く役立つと思われる新しいWick-pair展開をもたらす。
論文 参考訳（メタデータ） (2026-04-22T21:14:04Z) - Low-temperature Gibbs states with tensor networks [0.0]
本稿では,量子多体系の温度平衡状態を低温で近似するテンソルネットワーク手法を提案する。
共形場の理論の基底状態の性質によって動機付けられ、我々のアンザッツは特に臨界近くに適している。
アンザッツが共形場理論における絡み合いの有限温度スケーリングをいかに再現するかを示す。
論文 参考訳（メタデータ） (2025-01-14T18:29:20Z) - A Mean-Field Analysis of Neural Stochastic Gradient Descent-Ascent for Functional Minimax Optimization [90.87444114491116]
本稿では,超パラメトリック化された2層ニューラルネットワークの無限次元関数クラス上で定義される最小最適化問題について検討する。
i) 勾配降下指数アルゴリズムの収束と, (ii) ニューラルネットワークの表現学習に対処する。
その結果、ニューラルネットワークによって誘導される特徴表現は、ワッサーシュタイン距離で測定された$O(alpha-1)$で初期表現から逸脱することが許された。
論文 参考訳（メタデータ） (2024-04-18T16:46:08Z) - Confinement in 1+1D $\mathbb{Z}_2$ Lattice Gauge Theories at Finite Temperature [0.0]
有限温度および充填における単純な1次元$mathbbZ$格子ゲージ理論における閉じ込めについて検討する。
実験結果から, 有限温度における閉じ込めに関する新たな光が得られた。
論文 参考訳（メタデータ） (2023-08-16T18:00:01Z) - Efficient Simulation of Quantum Many-body Thermodynamics by Tailoring
Zero-temperature Tensor Network [2.13230439190003]
ゼロ温度分割関数を表すテンソルネットワーク(TN)から有限温度特性にアクセスすることを提案する。
提案されたアイデアは、ボソンとフェルミオンの高次元システムに拡張することができる。
論文 参考訳（メタデータ） (2022-02-01T06:46:52Z) - Erasure tolerant quantum memory and the quantum null energy condition in
holographic systems [0.41998444721319217]
量子情報の有限温度保存の原理を、能動的誤り訂正の必要最小限で検討することは、研究の活発な領域である。
有限温度背景における有限フォン・ノイマンエントロピーの2つの同様の熱的伝播励起への論理量子ビットの明示的符号化について検討する。
量子零エネルギー条件は、削除に必要な最小限の有限温度について解析結果を与えることを示す。
論文 参考訳（メタデータ） (2022-01-31T19:00:04Z) - Uhlmann Fidelity and Fidelity Susceptibility for Integrable Spin Chains
at Finite Temperature: Exact Results [68.8204255655161]
奇数パリティ部分空間の適切な包含は、中間温度範囲における最大忠実度感受性の向上につながることを示す。
正しい低温の挙動は、2つの最も低い多体エネルギー固有状態を含む近似によって捉えられる。
論文 参考訳（メタデータ） (2021-05-11T14:08:02Z) - Free Energy Wells and Overlap Gap Property in Sparse PCA [81.64027805404483]
我々は「ハード」体制におけるスパースPCA問題(主成分分析)の変種について検討する。
問題に自然に関連付けられた様々なギブズ測度に対する自由エネルギー井戸の深さの有界性を示す。
我々は、オーバーラップギャップ特性(OGP)がハードレジームの重要な部分を占めていることを証明した。
論文 参考訳（メタデータ） (2020-06-18T17:18:02Z) - Function approximation by neural nets in the mean-field regime: Entropic regularization and controlled McKean-Vlasov dynamics [7.1822457112352955]
我々は「ほぼガウス的」なランダム重みを持つ2層ニューラルネットワークによる関数近似の問題を考察する。
この問題は、ウェイト上の確率測度を超える経路空間で機能する自由エネルギーの大域的最小化として表現できることを示す。
論文 参考訳（メタデータ） (2020-02-05T20:50:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。