論文の概要: SAM-on-the-Curve: Sharpness-Aware Mode Connectivity for Robust Weight-Space Interpolation

• arxiv url: http://arxiv.org/abs/2609.17748v1
• Date: Tue, 15 Sep 2026 19:00:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-20 08:55:53.507903
• Title: SAM-on-the-Curve: Sharpness-Aware Mode Connectivity for Robust Weight-Space Interpolation
• Title（参考訳）: SAM-on-the-Curve:ロバスト重空間補間のためのシャープネス対応モード接続性
• Abstract要約: 低損失接続は不完全な幾何学的基準であると主張する。 シャープモード接続性(SMC)を提案し、その結果のミニマックス関数に一階のシャープネス対応近似を適用した。 SMCは負の損失障壁を生じるため、最適化された経路の内部点で得られたモデルは平均的なエンドポイント損失よりも優れる。
• 参考スコア（独自算出の注目度）: 47.90630286646711
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Deep neural networks that are independently trained to similar performance can be connected by low-loss parametric curves in weight space, a phenomenon known as Mode Connectivity (MC). This geometric property underpins practical techniques such as weight averaging, model ensembling, and model merging. We argue that low-loss connectivity is an incomplete geometric criterion: it controls loss only along a one-dimensional trajectory while leaving the surrounding weight-space neighborhood unconstrained, so the optimized curve may traverse sharp ridges that become fragile under distribution shift. We therefore reformulate mode connectivity as a neighborhood-robust path optimization problem, seeking a curve whose entire local neighborhood maintains low loss. We propose Sharp Mode Connectivity (SMC), which applies a first-order sharpness-aware approximation to the resulting minimax functional, enforcing flatness along the entire curve rather than only on it. We derive a practical optimization algorithm for connectivity paths under this sharpness-aware objective. Under severe blur corruptions from CIFAR-10-C, SMC achieves up to 6.09\% absolute accuracy improvement over standard MC. Remarkably, SMC produces negative loss barriers, meaning that models obtained at interior points of the optimized path can outperform the average endpoint loss. These results, validated across ResNet-18, VGG16-BN, and ViT-Tiny on CIFAR-10 and ImageNet-100, establish path-wise flatness as a practical principle for robust weight-space interpolation.
• Abstract（参考訳）: 同様の性能に独立して訓練されたディープニューラルネットワークは、モード接続性(MC)と呼ばれる、重量空間における低損失パラメトリック曲線によって接続することができる。 この幾何学的性質は、重量平均化、モデルアンサンブル、モデルマージといった実用技術を支える。 低損失接続は1次元軌道に沿ってのみ損失を制御するが、周囲の重み空間の近傍は拘束されないため、最適化された曲線は分布シフトの下で脆弱になる鋭い隆起を横切ることができる。 そこで我々は,モード接続を局所的な経路最適化問題として再検討し,局所的に損失の少ない曲線を求める。 シャープモード接続性(SMC)を提案し、その結果のミニマックス関数に一階のシャープネスを意識した近似を適用し、曲線全体に沿って平坦性を与える。 このシャープネスを意識した目的の下で、接続経路の実用的な最適化アルゴリズムを導出する。 CIFAR-10-Cの激しいぼやけた劣化の下で、SMCは標準MCよりも6.09\%の絶対精度向上を達成する。 注目すべきは、SMCが負の損失障壁を生成することであり、最適化された経路の内部点で得られたモデルは平均的なエンドポイント損失よりも優れるということである。 これらの結果は、CIFAR-10 と ImageNet-100 上の ResNet-18, VGG16-BN, ViT-Tiny で検証され、ロバストな重み空間補間のための実用的な原理としてパスワイズ平坦性を確立する。

関連論文リスト

• The Geometry of Robustness: Optimizing Loss Landscape Curvature and Feature Manifold Alignment for Robust Finetuning of Vision-Language Models [33.10473765967503]
  一般化保存法はID/OOD性能を維持するが、敵攻撃に弱いモデルを残す。 我々の重要な洞察は、ロバスト性トレードオフは、パラメータ空間における鋭く異方性のある最小値と、摂動下で変形する不安定な特徴表現の2つの幾何学的失敗に由来するということである。 本稿では,パラメータ空間の曲率と特徴空間の不変性を協調的に正規化する,統一的な微調整フレームワークGRACEを提案する。
  論文  参考訳（メタデータ） (2026-03-28T05:22:00Z)
• Alternating Gradient Flow Utility: A Unified Metric for Structural Pruning and Dynamic Routing in Deep Networks [52.153950303594684]
  交互勾配流(Alternating Gradient Flow, AGF)に着想を得た非結合型運動パラダイムを提案する。 AGFはネットワークの構造的「運動ユーティリティ」を正確にキャプチャする 我々は、AGFに誘導されるオフライン構造探索を、ゼロコストの物理プリミティブを介してオンライン実行から切り離すハイブリッドルーティングフレームワークを設計する。
  論文  参考訳（メタデータ） (2026-03-12T18:19:21Z)
• Parallel Diffusion Solver via Residual Dirichlet Policy Optimization [88.7827307535107]
  拡散モデル(DM)は、最先端の生成性能を達成したが、シーケンシャルなデノナイジング特性のため、高いサンプリング遅延に悩まされている。 既存のソルバベースの加速度法では、低次元の予算で画像品質が著しく低下することが多い。 本研究では,各ステップに複数の勾配並列評価を組み込んだ新しいODE解法であるEnsemble Parallel Directionsolvr(EPD-EPr)を提案する。
  論文  参考訳（メタデータ） (2025-12-28T05:48:55Z)
• Don't Be Greedy, Just Relax! Pruning LLMs via Frank-Wolfe [61.68406997155879]
  State-of-the-art Large Language Model (LLM) プルーニング手法は階層的に動作し、階層ごとのプルーニングエラーを最小限に抑え、完全な再トレーニングを回避する。 既存の手法は、刈り上げ対象の重量相互作用を無視する欲求凸に依存する。 提案手法は, 層ごとのプルーニング誤差を大幅に低減し, 最先端のGPTアーキテクチャにおいて高いベースラインを達成し, メモリ効率を保っている。
  論文  参考訳（メタデータ） (2025-10-15T16:13:44Z)
• Precise Bayesian Neural Networks [0.0]
  我々は,現代的な正規化アーキテクチャに適合し,精度を犠牲にすることなくキャリブレーションを改善する軽量で実装可能な変分ユニットを開発した。 簡単に言えば、変分後部をネットワーク固有の幾何学と整合させることで、BNNは同時に原理化され、実用的で、正確である。
  論文  参考訳（メタデータ） (2025-06-24T15:42:00Z)
• Revisiting "Qualitatively Characterizing Neural Network Optimization Problems" [11.753360538833139]
  Goodfellowらの実験を再検討し、拡張します。 2014. これは、CIFAR-10およびImageNet上の現代のネットワークには当てはまりません。 私たちは、Goodfellowらにもかかわらず、結論付けます。 最近の設定では、動作が質的に異なるため、MNISTの設定は「比較的簡単に最適化できます」と説明しています。
  論文  参考訳（メタデータ） (2020-12-12T20:01:33Z)
• Optimizing Mode Connectivity via Neuron Alignment [84.26606622400423]
  経験的に、損失関数の局所ミニマは、損失がほぼ一定であるようなモデル空間の学習曲線で接続することができる。 本稿では,ネットワークの重み変化を考慮し,対称性がランドスケープ・コネクティビティに与える影響を明らかにするための,より一般的な枠組みを提案する。
  論文  参考訳（メタデータ） (2020-09-05T02:25:23Z)
• Neural Control Variates [71.42768823631918]
  ニューラルネットワークの集合が、積分のよい近似を見つけるという課題に直面していることを示す。 理論的に最適な分散最小化損失関数を導出し、実際に安定したオンライントレーニングを行うための代替の複合損失を提案する。 具体的には、学習した光場近似が高次バウンスに十分な品質であることを示し、誤差補正を省略し、無視可能な可視バイアスのコストでノイズを劇的に低減できることを示した。
  論文  参考訳（メタデータ） (2020-06-02T11:17:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。