論文の概要: From Perturbation Correction to Geometry-Aware Sampling: Sharpness-Guided Equilibrium Sampling for Balanced Flat Minima in Long-Tailed Learning

• arxiv url: http://arxiv.org/abs/2607.21999v1
• Date: Fri, 24 Jul 2026 05:56:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-27 20:58:57.055394
• Title: From Perturbation Correction to Geometry-Aware Sampling: Sharpness-Guided Equilibrium Sampling for Balanced Flat Minima in Long-Tailed Learning
• Title（参考訳）: 摂動補正から幾何学的サンプリングへ:長期学習における平衡平板最小化のためのシャープネス誘導平衡サンプリング
• Abstract要約: 本稿では,サンプリング分布を最適化のためのアクティブ制御変数として扱うシャープネスガイドサンプリング(SGS)を提案する。 不均衡比が100であるCIFAR-100では、SGS-SAMはFocal-SAMを尾精度で10.85ポイント、総合で3.56ポイント改善している。 ImageNet-LTでは、尾クラスのImbSAMを6.59ポイント、全体的な1.20ポイント改善している。
• 参考スコア（独自算出の注目度）: 7.33659299625996
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Long-tailed learning couples two sources of poor generalization: head classes dominate training exposure, while under-represented classes often converge to sharper regions of the loss landscape. Conventional re-sampling addresses the former without considering geometry, whereas existing long-tailed sharpness-aware minimization (SAM) methods modify losses or perturbations only after biased mini-batches have been drawn. We introduce Sharpness-Guided Equilibrium Sampling (SGS), which treats the sampling distribution as an active control variable for optimization geometry. SGS dynamically adjusts subsequent mini-batches by increasing the sampling probability of less frequently sampled classes while suppressing classes with large SAM-induced loss changes, using only cumulative class counts and EMA sharpness estimates obtained from the standard SAM update, without class-wise perturbations or additional backward passes. We characterize this sampling process through a continuous-time stochastic differential equation and a sampling-dependent PAC-Bayes analysis, explaining how frequency-sharpness feedback can move training toward a more balanced flatness profile. On CIFAR-100 LT with an imbalance ratio of 100, SGS-SAM improves Focal-SAM by 10.85 points in tail accuracy and 3.56 points overall. On ImageNet-LT, it improves ImbSAM by 6.59 points on tail classes and 1.20 points overall. Its training time is only $1.02\times$ that of vanilla SAM. Beyond these gains, SGS establishes a sampling-side route to loss-landscape control, suggesting that future long-tailed methods can jointly regulate data exposure and optimization geometry rather than treating either as fixed.
• Abstract（参考訳）: ヘッドクラスがトレーニングの露出を支配しているのに対して、あまり表現されていないクラスは、損失ランドスケープのよりシャープな領域に収束することが多い。 従来の再サンプリングは幾何学を考慮せずに前者に対応するが、既存の長尾の鋭さを意識した最小化法(SAM)は、バイアスされたミニバッチが描かれた後のみ、損失や摂動を変化させる。 本稿では,サンプリング分布を最適化のためのアクティブ制御変数として扱うシャープネス誘導平衡サンプリング(SGS)を提案する。 SGSは、標準SAM更新から得られた累積クラス数とEMAシャープネス推定のみを用いて、SAMによる損失変化の大きいクラスを抑えつつ、サンプリング頻度の低いクラスをサンプリングする確率を増大させることにより、後続のミニバッチを動的に調整する。 我々は、このサンプリング過程を、連続時間確率微分方程式とサンプリング依存のPAC-Bayes分析により特徴づけ、周波数シャープ性フィードバックが、よりバランスの取れた平坦性プロファイルへトレーニングをどのように移動させるかを説明する。 不均衡比100のCIFAR-100 LTでは、SGS-SAMはフォカルSAMを尾精度で10.85ポイント、全体として3.56ポイント改善している。 ImageNet-LTでは、尾クラスのImbSAMを6.59ポイント、全体的な1.20ポイント改善している。 訓練時間はバニラSAMの1.02\times$1.02である。 これらの利得の他に、SGSはロスランドスケープ制御へのサンプリング側ルートを確立し、将来のロングテール手法は、固定された方法で扱うのではなく、データの露出と最適化の最適化を共同で調整できることを示唆している。

関連論文リスト

• Sparse Layer Sharpness-Aware Minimization for Efficient Fine-Tuning [52.63618112418439]
  シャープネス対応計算(SAM)は、細調整を含む機械学習タスクの一般化性能を改善するために、平らなロスランドスケープを持つミニマを求める。 本稿では,層にスパース手法を導入することにより,このボトルネックを解消するアプローチSL-SAMを提案する。
  論文  参考訳（メタデータ） (2026-02-10T04:05:43Z)
• Improving Visual Prompt Tuning by Gaussian Neighborhood Minimization for Long-Tailed Visual Recognition [39.057791275055074]
  モデル一般化を改善するためにランダムSAMプロンプトチューニング(RSAM-PT)と呼ばれる新しい手法を提案する。 我々は, 遅延再重み付け方式を用いて, テールクラス標本の意義を高める。 RSAM-PTは、90.3%、76.5%、50.1%の最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2024-10-28T13:58:17Z)
• CR-SAM: Curvature Regularized Sharpness-Aware Minimization [8.248964912483912]
  Sharpness-Aware Minimization (SAM) は,1段階の勾配上昇を近似として,最悪のケース損失を最小限に抑え,一般化性を高めることを目的としている。 本稿では,トレーニングとテストセットの両面における損失景観の曲率を正確に測定する正規化ヘッセントレースを提案する。 特に、損失景観の過度な非線形性に対抗するために、曲率正規化SAM(CR-SAM)を提案する。
  論文  参考訳（メタデータ） (2023-12-21T03:46:29Z)
• Systematic Investigation of Sparse Perturbed Sharpness-Aware Minimization Optimizer [158.2634766682187]
  ディープニューラルネットワークは、複雑で非構造的なロスランドスケープのため、しばしば一般化の貧弱さに悩まされる。 SharpnessAware Minimization (SAM) は、摂動を加える際の景観の変化を最小限に抑えることで損失を平滑化するポピュラーなソリューションである。 本稿では,二元マスクによる摂動を効果的かつ効果的に行う訓練手法であるスパースSAMを提案する。
  論文  参考訳（メタデータ） (2023-06-30T09:33:41Z)
• Make Sharpness-Aware Minimization Stronger: A Sparsified Perturbation Approach [132.37966970098645]
  人気のソリューションの1つがSAM(Sharpness-Aware Minimization)であり、摂動を加える際の体重減少の変化を最小限に抑える。 本稿では,Sparse SAM (SSAM) とよばれる効率的な学習手法を提案する。 さらに、S が同じSAM、すなわち $O(log T/sqrtTTTTTTTTTTTTTTTTTTTTTTTTTTTTTTTTT で収束できることを理論的に証明する。
  論文  参考訳（メタデータ） (2022-10-11T06:30:10Z)
• Sharpness-Aware Training for Free [163.1248341911413]
  シャープネスを意識した最小化(SAM)は、損失ランドスケープの幾何学を反映したシャープネス尺度の最小化が一般化誤差を著しく減少させることを示した。 シャープネス・アウェア・トレーニング・フリー(SAF)は、シャープランドスケープをベース上でほぼゼロの計算コストで軽減する。 SAFは、改善された能力で最小限の平らな収束を保証する。
  論文  参考訳（メタデータ） (2022-05-27T16:32:43Z)
• Towards Efficient and Scalable Sharpness-Aware Minimization [81.22779501753695]
  内部勾配の上昇を周期的に計算する新しいアルゴリズム LookSAM を提案する。 LookSAMはSAMと同じような精度を実現し、非常に高速である。 Vision Transformer(ViTs)のトレーニングでバッチサイズのスケールアップに成功したのは,私たちが初めてです。
  論文  参考訳（メタデータ） (2022-03-05T11:53:37Z)
• Efficient Sharpness-aware Minimization for Improved Training of Neural Networks [146.2011175973769]
  本稿では,SAM s の効率を高コストで向上する高効率シャープネス認識最小化器 (M) を提案する。 Mには、Stochastic Weight PerturbationとSharpness-Sensitive Data Selectionという、2つの新しい効果的なトレーニング戦略が含まれている。 我々は、CIFARとImageNetデータセットの広範な実験を通して、ESAMはSAMよりも100%余分な計算を40%のvis-a-visベースに必要とせずに効率を向上させることを示した。
  論文  参考訳（メタデータ） (2021-10-07T02:20:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。