論文の概要: A Function Centric Perspective On Flat and Sharp Minima
- arxiv url: http://arxiv.org/abs/2510.12451v1
- Date: Tue, 14 Oct 2025 12:33:14 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-10-15 19:02:32.311675
- Title: A Function Centric Perspective On Flat and Sharp Minima
- Title（参考訳）: フラット・シャープ・ミニマにおける機能中心的視点
- Authors: Israel Mason-Williams, Gabryel Mason-Williams, Helen Yannakoudakis,
- Abstract要約: フラット・ミニマはディープ・ニューラル・ネットワークにおける一般化の改善と相関していると広く信じられている。
本稿では, 急激さを関数依存特性として理解することが, 一般化の信頼性の低い指標よりも重要であることを提案する。
- 参考スコア（独自算出の注目度）: 4.908739793053431
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Flat minima are widely believed to correlate with improved generalisation in deep neural networks. However, this connection has proven more nuanced in recent studies, with both theoretical counterexamples and empirical exceptions emerging in the literature. In this paper, we revisit the role of sharpness in model performance, proposing that sharpness is better understood as a function-dependent property rather than a reliable indicator of poor generalisation. We conduct extensive empirical studies, from single-objective optimisation to modern image classification tasks, showing that sharper minima often emerge when models are regularised (e.g., via SAM, weight decay, or data augmentation), and that these sharp minima can coincide with better generalisation, calibration, robustness, and functional consistency. Across a range of models and datasets, we find that baselines without regularisation tend to converge to flatter minima yet often perform worse across all safety metrics. Our findings demonstrate that function complexity, rather than flatness alone, governs the geometry of solutions, and that sharper minima can reflect more appropriate inductive biases (especially under regularisation), calling for a function-centric reappraisal of loss landscape geometry.
- Abstract（参考訳）: フラット・ミニマはディープ・ニューラル・ネットワークにおける一般化の改善と相関していると広く信じられている。
しかし、この関係は近年の研究では、理論的な反例と実証的な例外の両方が文献に現れるなど、より曖昧であることが証明されている。
本稿では, モデル性能におけるシャープネスの役割を再考し, シャープネスが, 信頼性の高い一般化指標ではなく, 関数依存特性として理解されていることを示唆する。
我々は、単一目的の最適化から現代の画像分類タスクまで幅広い実験研究を行い、モデルが正規化されるときにしばしばよりシャープなミニマが出現することを示し(SAM、重み付け、データ拡張など)、これらのシャープなミニマはより良い一般化、キャリブレーション、ロバストネス、機能一貫性と一致することを示している。
モデルやデータセットの幅広い範囲において、正規化のないベースラインは、フラットなミニマに収束する傾向にあるが、すべての安全性指標において、より悪いパフォーマンスを示すことが多い。
この結果から, 関数の複雑さは, 平坦性のみではなく, 解の幾何学を支配し, よりシャープなミニマはより適切な帰納バイアス(特に正規化の下で)を反映し, 関数中心の損失ランドスケープ幾何の再評価を要求できることが示唆された。
関連論文リスト
- Flatness After All? [6.977444416330261]
我々は、ヘッセンの柔らかいランク測度を用いて平坦度を測定することで一般化を評価することができると論じる。
非校正モデルでは、ソフトランクに基づく平坦度尺度をよく知られた竹内情報基準に接続する。
論文 参考訳（メタデータ） (2025-06-21T20:33:36Z) - Simplicity Bias via Global Convergence of Sharpness Minimization [43.658859631741024]
ラベルノイズSGDは、2層ネットワークにおける損失ゼロのモデル多様体のシャープネスを常に最小化することを示す。
また、ゼロ損失多様体上の近似定常点における損失のヘッセンのトレースの新たな性質も見いだす。
論文 参考訳（メタデータ） (2024-10-21T18:10:37Z) - A Universal Class of Sharpness-Aware Minimization Algorithms [57.29207151446387]
我々は、新しいシャープネス尺度を導入し、新しいシャープネス対応目標関数を導出する。
これらの測度がテキスト的に表現可能であることを証明し、トレーニング損失ヘッセン行列の任意の関数を適切なハイパーおよび行列式で表すことを可能にする。
論文 参考訳（メタデータ） (2024-06-06T01:52:09Z) - On the Dynamics Under the Unhinged Loss and Beyond [104.49565602940699]
我々は、閉形式力学を解析するための数学的機会を提供する、簡潔な損失関数であるアンヒンジド・ロスを導入する。
アンヒンジされた損失は、時間変化学習率や特徴正規化など、より実践的なテクニックを検討することができる。
論文 参考訳（メタデータ） (2023-12-13T02:11:07Z) - Theoretical Characterization of the Generalization Performance of
Overfitted Meta-Learning [70.52689048213398]
本稿では,ガウス的特徴を持つ線形回帰モデルの下で,過剰適合型メタラーニングの性能について検討する。
シングルタスク線形回帰には存在しない新しい興味深い性質が見つかる。
本分析は,各訓練課題における基礎的真理のノイズや多様性・変動が大きい場合には,良心過剰がより重要かつ容易に観察できることを示唆する。
論文 参考訳（メタデータ） (2023-04-09T20:36:13Z) - Predicting and Enhancing the Fairness of DNNs with the Curvature of Perceptual Manifolds [44.79535333220044]
近年の研究では、テールクラスは必ずしも学習が困難ではないことが示されており、サンプルバランスのデータセットではモデルバイアスが観察されている。
本研究ではまず,モデルフェアネスを解析するための幾何学的視点を確立し,次いで,一連の幾何学的測度を体系的に提案する。
論文 参考訳（メタデータ） (2023-03-22T04:49:23Z) - A Modern Look at the Relationship between Sharpness and Generalization [64.03012884804458]
ミニマのシャープ性は、ディープネットワークの一般化と相関できる有望な量である。
シャープネスは、ニューラルネットワークの再パラメータ化の下では不変ではない。
シャープネスは一般化とよく相関しないことを示す。
論文 参考訳（メタデータ） (2023-02-14T12:38:12Z) - Improving Generalization in Federated Learning by Seeking Flat Minima [23.937135834522145]
フェデレートされた設定で訓練されたモデルは、しばしば劣化したパフォーマンスに悩まされ、一般化に失敗する。
本研究では,損失の幾何レンズとヘッセン固有スペクトルを用いて,そのような挙動を考察する。
損失面のシャープさと一般化ギャップを接続する先行研究により,サーバ側のシャープネス・アウェア・最小化 (SAM) や適応バージョン (ASAM) をローカルにトレーニングすることで,一般化を大幅に改善できることが示されている。
論文 参考訳（メタデータ） (2022-03-22T16:01:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。