論文の概要: Focal-SAM: Focal Sharpness-Aware Minimization for Long-Tailed Classification

• arxiv url: http://arxiv.org/abs/2505.01660v2
• Date: Tue, 03 Jun 2025 11:43:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-05 04:22:50.572139
• Title: Focal-SAM: Focal Sharpness-Aware Minimization for Long-Tailed Classification
• Title（参考訳）: Focal-SAM:Long-Tailed 分類のためのFocal Sharpness-Aware 最小化
• Authors: Sicong Li, Qianqian Xu, Zhiyong Yang, Zitai Wang, Linchao Zhang, Xiaochun Cao, Qingming Huang,
• Abstract要約: 実世界のデータセットは長い尾の分布に従うことが多く、尾のクラスへの一般化は困難である。 近年,ロスランドスケープを平坦化して一般化を改善するため,シャープネス・アウェア最小化法 (SAM) の長尾変種を利用した手法が提案されている。 クラスごとに異なる罰則を割り当てるFocal-SAMを導入し、余分なバックプロパゲーションを伴わずにきめ細かい制御を実現する。
• 参考スコア（独自算出の注目度）: 113.6840565194525
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Real-world datasets often follow a long-tailed distribution, making generalization to tail classes difficult. Recent methods resorted to long-tail variants of Sharpness-Aware Minimization (SAM), such as ImbSAM and CC-SAM, to improve generalization by flattening the loss landscape. However, these attempts face a trade-off between computational efficiency and control over the loss landscape. On the one hand, ImbSAM is efficient but offers only coarse control as it excludes head classes from the SAM process. On the other hand, CC-SAM provides fine-grained control through class-dependent perturbations but at the cost of efficiency due to multiple backpropagations. Seeing this dilemma, we introduce Focal-SAM, which assigns different penalties to class-wise sharpness, achieving fine-grained control without extra backpropagations, thus maintaining efficiency. Furthermore, we theoretically analyze Focal-SAM's generalization ability and derive a sharper generalization bound. Extensive experiments on both traditional and foundation models validate the effectiveness of Focal-SAM.
• Abstract（参考訳）: 実世界のデータセットは長い尾の分布に従うことが多く、尾のクラスへの一般化は困難である。 ImbSAM や CC-SAM のようなシャープネス・アウェア最小化 (SAM) のロングテール変種を利用して、損失景観を平らにすることで一般化を改善する手法が近年提案されている。 しかし、これらの試みは、計算効率と損失景観の制御のトレードオフに直面している。 一方、ImbSAMは効率的だが、SAMプロセスからヘッドクラスを除外しているため、粗い制御しか提供しない。 一方、CC-SAMはクラス依存摂動によるきめ細かい制御を提供するが、複数のバックプロパゲーションにより効率が低下する。 このジレンマを見ると、Focal-SAMは、クラスワイドのシャープネスに異なる罰則を割り当て、余分なバックプロパゲーションなしできめ細かな制御を達成し、効率を維持できる。 さらに、Focal-SAMの一般化能力を理論的に解析し、よりシャープな一般化境界を導出する。 従来のモデルと基礎モデルの両方に関する大規模な実験は、Focal-SAMの有効性を検証する。

関連論文リスト

• SSE-SAM: Balancing Head and Tail Classes Gradually through Stage-Wise SAM [82.27086968525381]
  長い尾のシナリオにおける一般化を改善するには、頭と尾のクラス間の注意深いバランスが必要であると論じる。 SAMもImbSAMもこのバランスを完全に達成できないことを示す。 ImbSAMとSAMの相補的な強度を段階的アプローチで利用したSSE-SAM(Stage-wise Saddle Escaping SAM)を提案する。
  論文  参考訳（メタデータ） (2024-12-18T10:53:36Z)
• Friendly Sharpness-Aware Minimization [62.57515991835801]
  シャープネス・アウェアの最小化(SAM)は、トレーニング損失とロスシャープネスの両方を最小化することにより、ディープニューラルネットワークトレーニングの改善に役立っている。 対向性摂動におけるバッチ特異的勾配雑音の主な役割,すなわち現在のミニバッチ勾配について検討する。 逆勾配雑音成分を分解することにより、全勾配のみに依存すると一般化が低下し、除くと性能が向上することがわかった。
  論文  参考訳（メタデータ） (2024-03-19T01:39:33Z)
• mSAM: Micro-Batch-Averaged Sharpness-Aware Minimization [20.560184120992094]
  シャープネス・アウェアの最小化手法は、フラットな最小化に向けて勾配降下法を操る基本損失関数を変更する。 我々は最近開発されたフラットネス解析のためのよく研究された一般的なフレームワークを拡張し、SAMがSGDよりもフラットなミニマを達成し、mSAMがSAMよりもフラットなミニマを達成できることを理論的に示す。
  論文  参考訳（メタデータ） (2023-02-19T23:27:12Z)
• Improved Deep Neural Network Generalization Using m-Sharpness-Aware Minimization [14.40189851070842]
  シャープネス・アウェア最小化(SAM)は、基礎となる損失関数を修正し、フラットなミニマへ導出する方法を導出する。 近年の研究ではmSAMがSAMよりも精度が高いことが示唆されている。 本稿では,様々なタスクやデータセットにおけるmSAMの包括的評価について述べる。
  論文  参考訳（メタデータ） (2022-12-07T00:37:55Z)
• How Does Sharpness-Aware Minimization Minimize Sharpness? [29.90109733192208]
  シャープネス・アウェアの最小化(SAM)は、ディープニューラルネットワークの一般化を改善するための非常に効果的な正規化手法である。 本稿では、SAMが基礎となるメカニズムを規則化し、明確化するという正確なシャープネスの概念を厳格に説明する。
  論文  参考訳（メタデータ） (2022-11-10T17:56:38Z)
• Make Sharpness-Aware Minimization Stronger: A Sparsified Perturbation Approach [132.37966970098645]
  人気のソリューションの1つがSAM(Sharpness-Aware Minimization)であり、摂動を加える際の体重減少の変化を最小限に抑える。 本稿では,Sparse SAM (SSAM) とよばれる効率的な学習手法を提案する。 さらに、S が同じSAM、すなわち $O(log T/sqrtTTTTTTTTTTTTTTTTTTTTTTTTTTTTTTTTT で収束できることを理論的に証明する。
  論文  参考訳（メタデータ） (2022-10-11T06:30:10Z)
• Efficient Sharpness-aware Minimization for Improved Training of Neural Networks [146.2011175973769]
  本稿では,SAM s の効率を高コストで向上する高効率シャープネス認識最小化器 (M) を提案する。 Mには、Stochastic Weight PerturbationとSharpness-Sensitive Data Selectionという、2つの新しい効果的なトレーニング戦略が含まれている。 我々は、CIFARとImageNetデータセットの広範な実験を通して、ESAMはSAMよりも100%余分な計算を40%のvis-a-visベースに必要とせずに効率を向上させることを示した。
  論文  参考訳（メタデータ） (2021-10-07T02:20:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。