論文の概要: Are Flat Minima an Illusion?

• arxiv url: http://arxiv.org/abs/2605.05209v1
• Date: Tue, 24 Mar 2026 06:14:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-11 06:56:26.592117
• Title: Are Flat Minima an Illusion?
• Title（参考訳）: フラット・ミニマはイラシオンか?
• Authors: Michael Timothy Bennett,
• Abstract要約: 実際のドライバは弱点であり、学習者の具体化言語における学習機能と互換性のある完了量の量であることを示す。 交換可能な要求の下では、弱みは最小最大値であり、PAC-Bayes境界はそれらがそれと相関しているため機能することを証明します。 予測力を持つ量とは、どれだけのデータを持っているかではなく、共同創設者であることです。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Neural networks that land in flat regions of the loss landscape tend to generalise better than those in sharp regions. Sharpness-Aware Minimisation exploits this to improve generalisation. But function-preserving reparameterisation can inflate the Hessian of any minimum by two orders of magnitude without changing a single prediction. If the geometry of weight space can be manufactured from nothing, it cannot be the cause of anything. In other words, flat is simple and simplicity depends on encoding. Here I show that the actual driver is weakness, the volume of completions compatible with the learned function in the learner's embodied language. Weakness is reparameterisation-invariant because it is defined over what the network \emph{does}, not how it is parameterised. I prove weakness is minimax-optimal under exchangeable demands, and that PAC-Bayes bounds work because they correlate with it. On MNIST, the large-batch generalisation advantage \emph{vanishes} as training data grows, from $+1.6\%$ at $n = 2{,}000$ to $+0.02\%$ at $n = 60{,}000$. A quantity whose predictive power depends on how much data you have is not a cause but a confounder. I run head-to-heads on 100 networks with identical architecture and training. For MNIST weakness predicts generalisation ($ρ= +0.374$, $p = 0.00012$), sharpness anticorrelates ($ρ= -0.226$) and simplicity predicts nothing ($p = 0.848$). For Fashion-MNIST ($ρ= +0.384$, $p = 8.15 \times 10^{-5}$), though simplicity is at least somewhat predictive there. Simplicity is dataset dependent, whereas weakness is invariant. Flat minima were never the answer.
• Abstract（参考訳）: ロスランドスケープの平坦な領域に着地するニューラルネットワークは、鋭い領域よりも一般化する傾向にある。 Sharpness-Aware Minimisationはこれを活用して一般化を改善する。 しかし、関数保存のパラメータ化は、一つの予測を変えることなく、最低でも2桁の規模でヘッセンを膨らませることができる。 ウェイト空間の幾何学が無から作られることができれば、それは何の原因にもならない。 言い換えれば、フラットは単純であり、単純さはエンコーディングに依存する。 ここでは、実際のドライバは弱点であり、学習者の具体化言語における学習関数に適合する完了量の量であることを示す。 弱さは再パラメータ化不変(reparameterisation-invariant)である、なぜならそれはパラメータ化の方法ではなく、ネットワーク \emph{does} 上で定義されるからである。 交換可能な要求の下では、弱みは最小最大値であり、PAC-Bayes境界はそれらがそれと相関しているため機能することを証明します。 MNISTでは、トレーニングデータが成長するにつれて、大規模バッチ一般化の利点は、$+1.6\%$ at $n = 2{,}000$から$+0.02\%$ at $n = 60{,}000$へと拡大する。 予測力を持つ量とは、どれだけのデータを持っているかではなく、共同創設者であることです。 私は同じアーキテクチャとトレーニングで100のネットワークでヘッド・ツー・ヘッドを実行しています。 MNISTの弱点は、一般化(ρ=+0.374$, $p = 0.00012$)、シャープネス(ρ=-0.226$)、単純さ(p=0.848$)を予測する。 Fashion-MNIST (ρ= +0.384$, $p = 8.15 \times 10^{-5}$) の場合、単純さは少なくともある程度予測可能である。 単純さはデータセットに依存するが、弱さは不変である。 平らなミニマは決して答えにはならなかった。

関連論文リスト

• Simple Convergence Proof of Adam From a Sign-like Descent Perspective [58.89890024903816]
  我々は、Adamが以前の$cal O(fracln TTs14)$よりも$cal O(frac1Ts14)$の最適なレートを達成することを示す。 我々の理論分析は、収束を保証する重要な要因として運動量の役割に関する新たな洞察を提供する。
  論文  参考訳（メタデータ） (2025-07-08T13:19:26Z)
• Geometric structure of Deep Learning networks and construction of global ${\mathcal L}^2$ minimizers [1.189367612437469]
  我々は低パラメータ深層学習(DL)ネットワークにおける$mathcalL2$コスト関数の局所的および大域的最小化を明示的に決定する。
  論文  参考訳（メタデータ） (2023-09-19T14:20:55Z)
• Noise Stability Optimization for Finding Flat Minima: A Hessian-based Regularization Approach [18.009376840944284]
  本稿では,ヘッセン損失行列を効果的に正規化できるアルゴリズムを提案する。 提案手法は,CLIPとチェーン・オブ・ファインチューニングデータセットの事前学習における一般化の改善に有効である。
  論文  参考訳（メタデータ） (2023-06-14T14:58:36Z)
• Extending the Design Space of Graph Neural Networks by Rethinking Folklore Weisfeiler-Lehman [66.23316415757456]
  近年、グラフニューラルネットワーク(GNN)の最も人気のあるフレームワークとして、メッセージパッシングニューラルネットワーク(MPNN)が登場している。 しかし、その表現力は1次元のWeisfeiler-Lehman (1-WL) テストによって制限される。 我々は、任意の同変集合をすべてのノードの代わりに隣人と考える拡張、$(k,t)$-FWLを提案する。 N$2-GNN は ZINC-Subset (0.059) で記録破りの結果を達成し、以前の SOTA の成績を 10.6% 上回った。
  論文  参考訳（メタデータ） (2023-06-05T21:35:32Z)
• Robust Nonparametric Regression under Poisoning Attack [13.470899588917716]
  敵攻撃者は、$N$のトレーニングデータセットから最大$q$のサンプル値を変更することができる。 初期解法はハマー損失最小化に基づくM推定器である。 最後の見積もりは、任意の$q$に対してほぼ最小値であり、最大$ln N$ factorまでである。
  論文  参考訳（メタデータ） (2023-05-26T09:33:17Z)
• Statistical Learning under Heterogeneous Distribution Shift [71.8393170225794]
  ground-truth predictor is additive $mathbbE[mathbfz mid mathbfx,mathbfy] = f_star(mathbfx) +g_star(mathbfy)$.
  論文  参考訳（メタデータ） (2023-02-27T16:34:21Z)
• When Expressivity Meets Trainability: Fewer than $n$ Neurons Can Work [59.29606307518154]
  幅が$m geq 2n/d$($d$は入力次元)である限り、その表現性は強く、すなわち、訓練損失がゼロの少なくとも1つの大域最小化器が存在することを示す。 また、実現可能な領域がよい局所領域であるような制約付き最適化の定式化も検討し、すべてのKKT点がほぼ大域最小値であることを示す。
  論文  参考訳（メタデータ） (2022-10-21T14:41:26Z)
• Locality defeats the curse of dimensionality in convolutional teacher-student scenarios [69.2027612631023]
  学習曲線指数$beta$を決定する上で,局所性が重要であることを示す。 我々は、自然の仮定を用いて、トレーニングセットのサイズに応じて減少するリッジでカーネルレグレッションを実行すると、リッジレスの場合と同じような学習曲線指数が得られることを証明して結論付けた。
  論文  参考訳（メタデータ） (2021-06-16T08:27:31Z)
• A Geometric Analysis of Neural Collapse with Unconstrained Features [40.66585948844492]
  Neural;Collapse$の最初のグローバル最適化ランドスケープ分析を提供します。 この現象は、トレーニングの終末期におけるニューラルネットワークのラスト層分類器と特徴に現れる。
  論文  参考訳（メタデータ） (2021-05-06T00:00:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。