論文の概要: Navigating Potholes with Geometry-Aware Sharpness Minimization

• arxiv url: http://arxiv.org/abs/2605.16134v1
• Date: Fri, 15 May 2026 16:17:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-18 21:22:26.365377
• Title: Navigating Potholes with Geometry-Aware Sharpness Minimization
• Title（参考訳）: 幾何学的シャープネス最小化によるポットホールの航行
• Abstract要約: シャープネス・アウェア(SAM)は、高損失曲率の方向に沿ってパラメータを摂動させることによって平坦なミニマを奨励するが、全てのパラメータ方向を均一に扱う。 本稿では,最近提案されたLLQRフレームワークから得られたラーニングプレコンディショナーとSAMを組み合わせたLLQR+SAMを紹介する。 LLQR+SAMは、標準的なビジョンとシーケンスモデリングベンチマークでSAMとLLQRの両方に対して一貫した利得を与えることを示す。
• 参考スコア（独自算出の注目度）: 28.540272338253022
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Sharpness-aware minimization (SAM) encourages flat minima by perturbing parameters along directions of high loss curvature, but treats all parameter directions uniformly, ignoring the underlying loss geometry. We introduce LLQR+SAM, which combines SAM with a learned preconditioner obtained from the recently proposed LLQR framework, a second-order method that recasts steepest descent as a layerwise linear-quadratic regulator problem. The preconditioner is updated sparsely and maintained as a slow exponential moving average, so it captures a smoothed, low-resolution picture of the loss landscape geometry. The SAM perturbation then operates on top of this learned geometry, probing curvature at a faster timescale. We show that this two-timescale structure is not merely a computational convenience: theoretically, the preconditioner amplifies the SAM escape signal in directions that are flat under the average geometry but locally sharp (potholes). Wide, flat basins, by contrast, remain stable. Empirically, LLQR+SAM gives consistent gains over both SAM and LLQR alone across standard vision and sequence modeling benchmarks, supporting the view that slow learned geometry and fast sharpness correction are genuinely complementary.
• Abstract（参考訳）: シャープネスを意識した最小化(SAM)は、高損失曲率の方向に沿ってパラメータを摂動させることによって平坦な最小化を促進するが、全てのパラメータ方向を均一に扱い、基礎となる損失幾何学を無視している。 本稿では,最近提案されたLLQRフレームワークから得られた学習済みプレコンディショナとSAMを組み合わせたLLQR+SAMを提案する。 プレコンディショナーは緩やかに更新され、緩やかな指数移動平均として維持されるので、ロスランドスケープ幾何学の滑らかで低解像度の画像をキャプチャする。 SAM摂動は、この学習された幾何学上で動作し、より高速な時間スケールで曲率を求める。 理論的には、プリコンディショナーは平均幾何学の下で平坦な方向にSAMエスケープ信号を増幅するが、局所的に鋭い(ポットホール)。 対照的に、広い平らな盆地は安定している。 経験的に、LLQR+SAMはSAMとLLQRの両方に対して、標準的なビジョンとシーケンスモデリングベンチマークで一貫した利得を与え、学習の遅い幾何学と高速なシャープネス補正が真に相補的であるという見解を支持している。

関連論文リスト

• Across the Loss Landscape with Progressive Growth [51.366966420881646]
  成長を漸進的緩和と見なして、より平坦な地域に向けての訓練戦略がいかに成長・最適化されるかを示す。 制御されたおもちゃの流域や現実的なResNet/CI-100環境でこれらの予測を実証的に検証する。 プログレッシブな部分空間成長は、より平坦な解を確実に生成するが、曲率の低減は、普遍的にテスト性能の向上に変換されず、平坦性一般化接続における微妙さを強調している。
  論文  参考訳（メタデータ） (2026-08-25T13:50:48Z)
• On the Implicit Flatness Bias of Sharpness-Aware Minimization: A Linear Stability Analysis with Quantitative Hyperparameter Bounds [7.33659299625996]
  シャープネス・アウェアの最小化(SAM)は、局所的対向摂動に対してロバストなパラメータを求めることにより一般化を改善する。 特に摂動半径$$は通常、独立したチューニングパラメータとして扱われる。 線形安定性により補間最小値付近のミニバッチSAMを解析する。
  論文  参考訳（メタデータ） (2026-08-04T06:37:44Z)
• From Perturbation Correction to Geometry-Aware Sampling: Sharpness-Guided Equilibrium Sampling for Balanced Flat Minima in Long-Tailed Learning [7.33659299625996]
  本稿では,サンプリング分布を最適化のためのアクティブ制御変数として扱うシャープネスガイドサンプリング(SGS)を提案する。 不均衡比が100であるCIFAR-100では、SGS-SAMはFocal-SAMを尾精度で10.85ポイント、総合で3.56ポイント改善している。 ImageNet-LTでは、尾クラスのImbSAMを6.59ポイント、全体的な1.20ポイント改善している。
  論文  参考訳（メタデータ） (2026-07-24T05:56:00Z)
• SDS-LoRA: Overcoming Anisotropic Gradient Scaling in Low-Rank Adaptation [64.33799467286265]
  Low-Rank Adaptation (LoRA)は、大規模な事前訓練されたモデルの下流タスクへの効率的な適応を可能にする。 完全な微調整勾配が低ランク行列に逆伝播すると,その特異値によって誘導される異方性スケーリングを受けることを示す。 本稿では,後方パスから特異値を構造的に分離する新しい低ランクパラメータ化SDS-LoRAを提案する。
  論文  参考訳（メタデータ） (2026-06-15T09:27:50Z)
• Model Merging on Loss Landscape: A Geometry Perspective [2.2624434825206543]
  エピマー(英: EpiMer)は、リーマン多様体上のフレシェ平均を解くためにモデルが合併するフレームワークである。 我々の理論的解析は、マージ誤差を部分空間フレシェ分散と残留エネルギーに分解する。 8つのイメージ分類タスクで微調整されたCLIP-ViTモデルを組み合わせることで、Epistemic Mergingは、マッチしたランクで3つのCLIP-ViTバックボーンのベースラインを厳密に上回る。
  論文  参考訳（メタデータ） (2026-05-26T08:33:30Z)
• Sparse Layer Sharpness-Aware Minimization for Efficient Fine-Tuning [52.63618112418439]
  シャープネス対応計算(SAM)は、細調整を含む機械学習タスクの一般化性能を改善するために、平らなロスランドスケープを持つミニマを求める。 本稿では,層にスパース手法を導入することにより,このボトルネックを解消するアプローチSL-SAMを提案する。
  論文  参考訳（メタデータ） (2026-02-10T04:05:43Z)
• SVRecon: Sparse Voxel Rasterization for Surface Reconstruction [60.92372415355283]
  我々は最近提案されたスパースボキセル化パラダイムをSVReconの統合により高忠実度表面再構成の課題に拡張する。 本手法は, 常に高速な収束を保ちながら, 強い復元精度を実現する。
  論文  参考訳（メタデータ） (2025-11-21T16:32:01Z)
• Monge SAM: Robust Reparameterization-Invariant Sharpness-Aware Minimization Based on Loss Geometry [2.854482269849925]
  シャープネスを意識した最小化(SAM)は、逆方向の摂動の勾配に応じてパラメータを更新することにより、平坦な領域を効率的に見つける。 我々はSAMの再パラメータ化不変バージョンであるMonge SAM (M-SAM)を提案する。 理論的にも経験的にも、マルチモーダルな表現アライメントタスクにおいて、この振る舞いを実証する。
  論文  参考訳（メタデータ） (2025-02-12T14:40:19Z)
• Tilted Sharpness-Aware Minimization [24.689230137012174]
  シャープネス・アウェアの最小化(SAM)は、超無限ハミルトン一般化アルゴリズムの一般化性能を改善するために実証されている。 TSAMはTSAMよりもスムーズであり,TSAMを解くよりも最適化し易いことを示す。
  論文  参考訳（メタデータ） (2024-10-30T02:49:48Z)
• Stable Surface Regularization for Fast Few-Shot NeRF [76.00444039563581]
  我々はAnnealing Signed Distance Function (ASDF) と呼ばれる安定表面正規化手法を開発した。 SDFの異なるレベルセットを形成するためには、アイコンの損失が密集した訓練信号を必要とすることが観察され、数発の訓練で低忠実度結果が得られた。 提案手法は、既存の数発の新規ビュー合成法よりも最大45倍高速である。
  論文  参考訳（メタデータ） (2024-03-29T05:39:47Z)
• CR-SAM: Curvature Regularized Sharpness-Aware Minimization [8.248964912483912]
  Sharpness-Aware Minimization (SAM) は,1段階の勾配上昇を近似として,最悪のケース損失を最小限に抑え,一般化性を高めることを目的としている。 本稿では,トレーニングとテストセットの両面における損失景観の曲率を正確に測定する正規化ヘッセントレースを提案する。 特に、損失景観の過度な非線形性に対抗するために、曲率正規化SAM(CR-SAM)を提案する。
  論文  参考訳（メタデータ） (2023-12-21T03:46:29Z)
• Fisher SAM: Information Geometry and Sharpness Aware Minimisation [81.72160507751028]
  最近のシャープネス認識最小化(SAM)は平坦なミニマを見つけることが知られている。 SAMは、現在のイテレート周辺の小さな地区内での最大損失値を報告することにより、損失関数を基本的に変更する。 近傍を定義する際に, モデルパラメータ空間の情報幾何学, すなわち, SAMのユークリッド球をフィッシャー情報によって誘導される楕円形に置き換える。
  論文  参考訳（メタデータ） (2022-06-10T07:42:51Z)
• Sharpness-Aware Training for Free [163.1248341911413]
  シャープネスを意識した最小化(SAM)は、損失ランドスケープの幾何学を反映したシャープネス尺度の最小化が一般化誤差を著しく減少させることを示した。 シャープネス・アウェア・トレーニング・フリー(SAF)は、シャープランドスケープをベース上でほぼゼロの計算コストで軽減する。 SAFは、改善された能力で最小限の平らな収束を保証する。
  論文  参考訳（メタデータ） (2022-05-27T16:32:43Z)
• Surrogate Gap Minimization Improves Sharpness-Aware Training [52.58252223573646]
  Surrogate textbfGap Guided textbfSharpness-textbfAware textbfMinimization (GSAM)は、Sharpness-Aware Minimization (SAM)に対する新しい改善であり、計算オーバーヘッドが無視できる。 GSAMは小さい損失(ステップ1)と低いシャープネス(ステップ2)の両方の領域を求め、高い一般化能力を持つモデルを生み出す。
  論文  参考訳（メタデータ） (2022-03-15T16:57:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。