論文の概要: Navigating Potholes with Geometry-Aware Sharpness Minimization

• arxiv url: http://arxiv.org/abs/2605.16134v1
• Date: Fri, 15 May 2026 16:17:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-18 21:22:26.365377
• Title: Navigating Potholes with Geometry-Aware Sharpness Minimization
• Title（参考訳）: 幾何学的シャープネス最小化によるポットホールの航行
• Authors: Simon Dufort-Labbé, Mehrab Hamidi, Razvan Pascanu, Ioannis Mitliagkas, Damien Scieur, Aristide Baratin,
• Abstract要約: シャープネス・アウェア(SAM)は、高損失曲率の方向に沿ってパラメータを摂動させることによって平坦なミニマを奨励するが、全てのパラメータ方向を均一に扱う。 本稿では,最近提案されたLLQRフレームワークから得られたラーニングプレコンディショナーとSAMを組み合わせたLLQR+SAMを紹介する。 LLQR+SAMは、標準的なビジョンとシーケンスモデリングベンチマークでSAMとLLQRの両方に対して一貫した利得を与えることを示す。
• 参考スコア（独自算出の注目度）: 28.540272338253022
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Sharpness-aware minimization (SAM) encourages flat minima by perturbing parameters along directions of high loss curvature, but treats all parameter directions uniformly, ignoring the underlying loss geometry. We introduce LLQR+SAM, which combines SAM with a learned preconditioner obtained from the recently proposed LLQR framework, a second-order method that recasts steepest descent as a layerwise linear-quadratic regulator problem. The preconditioner is updated sparsely and maintained as a slow exponential moving average, so it captures a smoothed, low-resolution picture of the loss landscape geometry. The SAM perturbation then operates on top of this learned geometry, probing curvature at a faster timescale. We show that this two-timescale structure is not merely a computational convenience: theoretically, the preconditioner amplifies the SAM escape signal in directions that are flat under the average geometry but locally sharp (potholes). Wide, flat basins, by contrast, remain stable. Empirically, LLQR+SAM gives consistent gains over both SAM and LLQR alone across standard vision and sequence modeling benchmarks, supporting the view that slow learned geometry and fast sharpness correction are genuinely complementary.
• Abstract（参考訳）: シャープネスを意識した最小化(SAM)は、高損失曲率の方向に沿ってパラメータを摂動させることによって平坦な最小化を促進するが、全てのパラメータ方向を均一に扱い、基礎となる損失幾何学を無視している。 本稿では,最近提案されたLLQRフレームワークから得られた学習済みプレコンディショナとSAMを組み合わせたLLQR+SAMを提案する。 プレコンディショナーは緩やかに更新され、緩やかな指数移動平均として維持されるので、ロスランドスケープ幾何学の滑らかで低解像度の画像をキャプチャする。 SAM摂動は、この学習された幾何学上で動作し、より高速な時間スケールで曲率を求める。 理論的には、プリコンディショナーは平均幾何学の下で平坦な方向にSAMエスケープ信号を増幅するが、局所的に鋭い(ポットホール)。 対照的に、広い平らな盆地は安定している。 経験的に、LLQR+SAMはSAMとLLQRの両方に対して、標準的なビジョンとシーケンスモデリングベンチマークで一貫した利得を与え、学習の遅い幾何学と高速なシャープネス補正が真に相補的であるという見解を支持している。

関連論文リスト

• Sparse Layer Sharpness-Aware Minimization for Efficient Fine-Tuning [52.63618112418439]
  シャープネス対応計算(SAM)は、細調整を含む機械学習タスクの一般化性能を改善するために、平らなロスランドスケープを持つミニマを求める。 本稿では,層にスパース手法を導入することにより,このボトルネックを解消するアプローチSL-SAMを提案する。
  論文  参考訳（メタデータ） (2026-02-10T04:05:43Z)
• SVRecon: Sparse Voxel Rasterization for Surface Reconstruction [60.92372415355283]
  我々は最近提案されたスパースボキセル化パラダイムをSVReconの統合により高忠実度表面再構成の課題に拡張する。 本手法は, 常に高速な収束を保ちながら, 強い復元精度を実現する。
  論文  参考訳（メタデータ） (2025-11-21T16:32:01Z)
• Monge SAM: Robust Reparameterization-Invariant Sharpness-Aware Minimization Based on Loss Geometry [2.854482269849925]
  シャープネスを意識した最小化(SAM)は、逆方向の摂動の勾配に応じてパラメータを更新することにより、平坦な領域を効率的に見つける。 我々はSAMの再パラメータ化不変バージョンであるMonge SAM (M-SAM)を提案する。 理論的にも経験的にも、マルチモーダルな表現アライメントタスクにおいて、この振る舞いを実証する。
  論文  参考訳（メタデータ） (2025-02-12T14:40:19Z)
• Tilted Sharpness-Aware Minimization [24.689230137012174]
  シャープネス・アウェアの最小化(SAM)は、超無限ハミルトン一般化アルゴリズムの一般化性能を改善するために実証されている。 TSAMはTSAMよりもスムーズであり,TSAMを解くよりも最適化し易いことを示す。
  論文  参考訳（メタデータ） (2024-10-30T02:49:48Z)
• Stable Surface Regularization for Fast Few-Shot NeRF [76.00444039563581]
  我々はAnnealing Signed Distance Function (ASDF) と呼ばれる安定表面正規化手法を開発した。 SDFの異なるレベルセットを形成するためには、アイコンの損失が密集した訓練信号を必要とすることが観察され、数発の訓練で低忠実度結果が得られた。 提案手法は、既存の数発の新規ビュー合成法よりも最大45倍高速である。
  論文  参考訳（メタデータ） (2024-03-29T05:39:47Z)
• CR-SAM: Curvature Regularized Sharpness-Aware Minimization [8.248964912483912]
  Sharpness-Aware Minimization (SAM) は,1段階の勾配上昇を近似として,最悪のケース損失を最小限に抑え,一般化性を高めることを目的としている。 本稿では,トレーニングとテストセットの両面における損失景観の曲率を正確に測定する正規化ヘッセントレースを提案する。 特に、損失景観の過度な非線形性に対抗するために、曲率正規化SAM(CR-SAM)を提案する。
  論文  参考訳（メタデータ） (2023-12-21T03:46:29Z)
• Fisher SAM: Information Geometry and Sharpness Aware Minimisation [81.72160507751028]
  最近のシャープネス認識最小化(SAM)は平坦なミニマを見つけることが知られている。 SAMは、現在のイテレート周辺の小さな地区内での最大損失値を報告することにより、損失関数を基本的に変更する。 近傍を定義する際に, モデルパラメータ空間の情報幾何学, すなわち, SAMのユークリッド球をフィッシャー情報によって誘導される楕円形に置き換える。
  論文  参考訳（メタデータ） (2022-06-10T07:42:51Z)
• Sharpness-Aware Training for Free [163.1248341911413]
  シャープネスを意識した最小化(SAM)は、損失ランドスケープの幾何学を反映したシャープネス尺度の最小化が一般化誤差を著しく減少させることを示した。 シャープネス・アウェア・トレーニング・フリー(SAF)は、シャープランドスケープをベース上でほぼゼロの計算コストで軽減する。 SAFは、改善された能力で最小限の平らな収束を保証する。
  論文  参考訳（メタデータ） (2022-05-27T16:32:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。