論文の概要: Does Flatness imply Generalization for Logistic Loss in Univariate Two-Layer ReLU Network?

• arxiv url: http://arxiv.org/abs/2512.01473v1
• Date: Mon, 01 Dec 2025 09:57:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-02 19:46:34.791308
• Title: Does Flatness imply Generalization for Logistic Loss in Univariate Two-Layer ReLU Network?
• Title（参考訳）: 均一2層ReLUネットワークにおける平坦性はロジスティック損失の一般化を意味するか?
• Authors: Dan Qiao, Yu-Xiang Wang,
• Abstract要約: その結果,ロジスティックな損失下では,エンハンフネスによる一般化はよりデリケートであることがわかった。 正の面から、平坦な解は、最左端と最右端の接点集合の間の領域において、ほぼ最適一般化境界を享受することを示す。 負の面から、無限大の任意の場所で(まれに)成立する任意の平坦で過度に適合する解が存在することを示す。
• 参考スコア（独自算出の注目度）: 26.183718160199643
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We consider the problem of generalization of arbitrarily overparameterized two-layer ReLU Neural Networks with univariate input. Recent work showed that under square loss, flat solutions (motivated by flat / stable minima and Edge of Stability phenomenon) provably cannot overfit, but it remains unclear whether the same phenomenon holds for logistic loss. This is a puzzling open problem because existing work on logistic loss shows that gradient descent with increasing step size converges to interpolating solutions (at infinity, for the margin-separable cases). In this paper, we prove that the \emph{flatness implied generalization} is more delicate under logistic loss. On the positive side, we show that flat solutions enjoy near-optimal generalization bounds within a region between the left-most and right-most \emph{uncertain} sets determined by each candidate solution. On the negative side, we show that there exist arbitrarily flat yet overfitting solutions at infinity that are (falsely) certain everywhere, thus certifying that flatness alone is insufficient for generalization in general. We demonstrate the effects predicted by our theory in a well-controlled simulation study.
• Abstract（参考訳）: 単変量入力を持つ任意の過パラメータ化された2層ReLUニューラルネットワークの一般化問題を考察する。 最近の研究は、正方損失の下では、平らな解(平らな/安定なミニマと安定のエッジ)が明らかに過度に適合しないことを示したが、同じ現象がロジスティックな損失をもたらすかどうかは不明である。 なぜなら、ロジスティック損失に関する既存の研究は、ステップサイズの増大に伴う勾配降下が補間解(無限大の場合、マージン分離の場合)に収束することを示しているからである。 本稿では,ロジスティック損失下において, \emph{flatness implied generalization} がより繊細であることを示す。 正の面において、平坦な解は各候補解によって決定される左端と右端の \emph{uncertain} 集合の間の領域内の準最適一般化境界を満足することを示す。 負の面では、無限遠点において(しばしば)至る所で一定である任意の平坦で過度に適合する解が存在することが示され、したがって、一般の一般化には平坦性だけでは不十分であることが証明される。 我々は,この理論によって予測される効果を,よく制御されたシミュレーション研究で実証する。

関連論文リスト

• Stable Minima of ReLU Neural Networks Suffer from the Curse of Dimensionality: The Neural Shattering Phenomenon [25.998397575754865]
  平坦さ/低(ロス)曲率の暗黙バイアスとそのReLUネットワークの一般化への影響について検討する。 平坦性は一般化を示唆するが, 入力次元が大きくなるにつれて収束速度は指数関数的に低下する。
  論文  参考訳（メタデータ） (2025-06-25T19:10:03Z)
• A Near Complete Nonasymptotic Generalization Theory For Multilayer Neural Networks: Beyond the Bias-Variance Tradeoff [57.25901375384457]
  任意のリプシッツ活性化と一般リプシッツ損失関数を持つ多層ニューラルネットワークに対する漸近一般化理論を提案する。 特に、文献でよく見られるように、損失関数の有界性を必要としない。 回帰問題に対する多層ReLUネットワークに対する理論の極小最適性を示す。
  論文  参考訳（メタデータ） (2025-03-03T23:34:12Z)
• Stable Minima Cannot Overfit in Univariate ReLU Networks: Generalization by Large Step Sizes [29.466981306355066]
  固定学習率$eta$の勾配降下はスムーズな関数を表す局所最小値しか見つからないことを示す。 また、$n$のデータポイントのサポートの厳密な内部で、$widetildeO(n-4/5)$のほぼ最適MSE境界を証明します。
  論文  参考訳（メタデータ） (2024-06-10T22:57:27Z)
• The Implicit Bias of Minima Stability in Multivariate Shallow ReLU Networks [53.95175206863992]
  本研究では,2次損失を持つ1層多変量ReLUネットワークをトレーニングする際に,勾配勾配勾配が収束する解のタイプについて検討する。 我々は、浅いReLUネットワークが普遍近似器であるにもかかわらず、安定した浅層ネットワークは存在しないことを証明した。
  論文  参考訳（メタデータ） (2023-06-30T09:17:39Z)
• Convergence of Adam Under Relaxed Assumptions [72.24779199744954]
  我々は、アダムがより現実的な条件下で、$O(epsilon-4)$勾配複雑性で$epsilon$-定常点に収束することを示している。 また、Adamの分散還元版を$O(epsilon-3)$の加速勾配複雑性で提案する。
  論文  参考訳（メタデータ） (2023-04-27T06:27:37Z)
• Implicit Regularization in ReLU Networks with the Square Loss [56.70360094597169]
  モデルパラメータの明示的な関数によって、平方損失による暗黙の正規化を特徴付けることは不可能であることを示す。 非線形予測器の暗黙的正規化を理解するためには,より一般的な枠組みが必要であることが示唆された。
  論文  参考訳（メタデータ） (2020-12-09T16:48:03Z)
• Approximation Schemes for ReLU Regression [80.33702497406632]
  我々はReLU回帰の根本的な問題を考察する。 目的は、未知の分布から引き出された2乗損失に対して、最も適したReLUを出力することである。
  論文  参考訳（メタデータ） (2020-05-26T16:26:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。