論文の概要: Sharpness-Aware Minimization Enhances Feature Quality via Balanced Learning

• arxiv url: http://arxiv.org/abs/2405.20439v1
• Date: Thu, 30 May 2024 19:32:56 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-03 18:24:43.287921
• Title: Sharpness-Aware Minimization Enhances Feature Quality via Balanced Learning
• Title（参考訳）: シャープネスを意識した最小化はバランス学習による特徴品質を高める
• Authors: Jacob Mitchell Springer, Vaishnavh Nagarajan, Aditi Raghunathan,
• Abstract要約: シャープネス・アウェア最小化(SAM)は勾配降下(SGD)に代わる有望な代替手段として登場した。 SAM はこの効果を,学習機会の残余となる特徴を適応的に抑制することで実現していることを示す。 我々の洞察は、CelebA、Waterbirds、CIFAR-MNIST、DomainBedといった実データの実験によって裏付けられている。
• 参考スコア（独自算出の注目度）: 17.708350046115616
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Sharpness-Aware Minimization (SAM) has emerged as a promising alternative optimizer to stochastic gradient descent (SGD). The originally-proposed motivation behind SAM was to bias neural networks towards flatter minima that are believed to generalize better. However, recent studies have shown conflicting evidence on the relationship between flatness and generalization, suggesting that flatness does fully explain SAM's success. Sidestepping this debate, we identify an orthogonal effect of SAM that is beneficial out-of-distribution: we argue that SAM implicitly balances the quality of diverse features. SAM achieves this effect by adaptively suppressing well-learned features which gives remaining features opportunity to be learned. We show that this mechanism is beneficial in datasets that contain redundant or spurious features where SGD falls for the simplicity bias and would not otherwise learn all available features. Our insights are supported by experiments on real data: we demonstrate that SAM improves the quality of features in datasets containing redundant or spurious features, including CelebA, Waterbirds, CIFAR-MNIST, and DomainBed.
• Abstract（参考訳）: シャープネス・アウェアの最小化 (SAM) は確率勾配降下 (SGD) に対して有望な代替手段として登場した。 SAMの背後にある元々の動機は、ニューラルネットワークをより一般化すると考えられるより平坦なミニマに偏見を向けることであった。 しかし、最近の研究では平坦性と一般化の関係について矛盾する証拠が示されており、平坦性はSAMの成功を完全に説明していることを示している。 この議論の傍ら、SAMの直交効果が配布外利益をもたらすことを特定し、SAMは多様な特徴の質を暗黙的にバランスさせていると論じる。 SAMは、十分に学習された特徴を適応的に抑制することで、この効果を達成する。 このメカニズムは、SGDが単純さのバイアスに陥り、他のすべての利用可能な機能を学習しない冗長な、あるいは刺激的な特徴を含むデータセットで有用であることを示す。 SAMは、CelebA、Waterbirds、CIFAR-MNIST、DomainBedなど、冗長またはスパイラルな特徴を含むデータセットの機能の品質を改善することを実証しています。

関連論文リスト

• Bilateral Sharpness-Aware Minimization for Flatter Minima [61.17349662062522]
  Sharpness-Aware Minimization (SAM) は Max-Sharpness (MaxS) を減らして一般化を促進する 本稿では,現在の重量を囲む周辺地域のトレーニング損失と最小損失の差を利用して,Min-Sharpness (MinS) と表現する。 MaxSとMinSをマージすることで、最適化中により平坦な方向を示すより良いFIを作成しました。特に、このFIをSAMと組み合わせて提案されたバイラテラルSAM(BSAM)に組み込むことにより、SAMよりもより平坦な最小値を求めることができます。
  論文  参考訳（メタデータ） (2024-09-20T03:01:13Z)
• Friendly Sharpness-Aware Minimization [62.57515991835801]
  シャープネス・アウェアの最小化(SAM)は、トレーニング損失とロスシャープネスの両方を最小化することにより、ディープニューラルネットワークトレーニングの改善に役立っている。 対向性摂動におけるバッチ特異的勾配雑音の主な役割,すなわち現在のミニバッチ勾配について検討する。 逆勾配雑音成分を分解することにより、全勾配のみに依存すると一般化が低下し、除くと性能が向上することがわかった。
  論文  参考訳（メタデータ） (2024-03-19T01:39:33Z)
• Stable Segment Anything Model [79.9005670886038]
  SAM(Segment Anything Model)は、高品質なプロンプトが与えられた場合、顕著に迅速なセグメンテーションを実現する。 本稿では,SAMのセグメンテーション安定性について,多様なプロンプト特性のスペクトルにわたって包括的解析を行った。 1)SAMのセグメンテーション安定性を広範囲に改善し,2)SAMの強力なセグメンテーション効率と一般化を維持した。
  論文  参考訳（メタデータ） (2023-11-27T12:51:42Z)
• Why Does Sharpness-Aware Minimization Generalize Better Than SGD? [102.40907275290891]
  シャープネス・アウェアの最小化(SAM)がデータモデルや2層畳み込みReLUネットワークに対してグラディエントDescent(SGD)よりも優れていることを示す。 その結果,SAMの利点,特に早期の雑音学習を防止し,特徴のより効果的な学習を容易にする能力について解説した。
  論文  参考訳（メタデータ） (2023-10-11T07:51:10Z)
• Systematic Investigation of Sparse Perturbed Sharpness-Aware Minimization Optimizer [158.2634766682187]
  ディープニューラルネットワークは、複雑で非構造的なロスランドスケープのため、しばしば一般化の貧弱さに悩まされる。 SharpnessAware Minimization (SAM) は、摂動を加える際の景観の変化を最小限に抑えることで損失を平滑化するポピュラーなソリューションである。 本稿では,二元マスクによる摂動を効果的かつ効果的に行う訓練手法であるスパースSAMを提案する。
  論文  参考訳（メタデータ） (2023-06-30T09:33:41Z)
• On Statistical Properties of Sharpness-Aware Minimization: Provable Guarantees [5.91402820967386]
  シャープネス・アウェアの最小化 (SAM) が一般化する理由について, 新たな理論的説明を行う。 SAMはシャープな問題と非シャープな問題の両方に特に適している。 本研究は,ディープニューラルネットワークを用いた数値実験により検証した。
  論文  参考訳（メタデータ） (2023-02-23T07:52:31Z)
• SAM operates far from home: eigenvalue regularization as a dynamical phenomenon [15.332235979022036]
  シャープネス認識最小化(SAM)アルゴリズムは、ロス・ヘッセンの大きな固有値を制御することが示されている。 SAMは学習軌跡全体を通して固有値の強い正規化を提供することを示す。 本理論は,学習速度とSAM半径パラメータの関数として最大固有値を予測する。
  論文  参考訳（メタデータ） (2023-02-17T04:51:20Z)
• Improved Deep Neural Network Generalization Using m-Sharpness-Aware Minimization [14.40189851070842]
  シャープネス・アウェア最小化(SAM)は、基礎となる損失関数を修正し、フラットなミニマへ導出する方法を導出する。 近年の研究ではmSAMがSAMよりも精度が高いことが示唆されている。 本稿では,様々なタスクやデータセットにおけるmSAMの包括的評価について述べる。
  論文  参考訳（メタデータ） (2022-12-07T00:37:55Z)
• Towards Understanding Sharpness-Aware Minimization [27.666483899332643]
  Sharpness-Aware Minimization (SAM) の成功に対する既存の正当化は、PACBayes の一般化に基づいていると論じる。 対角線ネットワークの暗黙バイアスを理論的に解析する。 SAMで標準モデルを微調整することで、非シャープネットワークの特性を大幅に改善できることを示す。
  論文  参考訳（メタデータ） (2022-06-13T15:07:32Z)
• Efficient Sharpness-aware Minimization for Improved Training of Neural Networks [146.2011175973769]
  本稿では,SAM s の効率を高コストで向上する高効率シャープネス認識最小化器 (M) を提案する。 Mには、Stochastic Weight PerturbationとSharpness-Sensitive Data Selectionという、2つの新しい効果的なトレーニング戦略が含まれている。 我々は、CIFARとImageNetデータセットの広範な実験を通して、ESAMはSAMよりも100%余分な計算を40%のvis-a-visベースに必要とせずに効率を向上させることを示した。
  論文  参考訳（メタデータ） (2021-10-07T02:20:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。