Fugu-MT 論文翻訳(概要): Model Generalization: A Sharpness Aware Optimization Perspective

論文の概要: Model Generalization: A Sharpness Aware Optimization Perspective

arxiv url: http://arxiv.org/abs/2208.06915v1
Date: Sun, 14 Aug 2022 20:50:17 GMT
ステータス: 処理完了
システム内更新日: 2022-08-16 13:07:52.526977
Title: Model Generalization: A Sharpness Aware Optimization Perspective
Title（参考訳）: モデル一般化: シャープネスを意識した最適化の視点
Authors: Jozef Marus Coldenhoff, Chengkun Li, Yurui Zhu
Abstract要約: シャープネス認識最小化(SAM)と適応シャープネス認識最小化(ASAM)はモデル一般化の改善を目的としている。実験の結果,シャープネス認識に基づく最適化手法は,強力な一般化能力を持つモデルを提供するのに役立つことがわかった。
参考スコア（独自算出の注目度）: 4.017760528208121
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Sharpness-Aware Minimization (SAM) and adaptive sharpness-aware minimization (ASAM) aim to improve the model generalization. And in this project, we proposed three experiments to valid their generalization from the sharpness aware perspective. And our experiments show that sharpness aware-based optimization techniques could help to provide models with strong generalization ability. Our experiments also show that ASAM could improve the generalization performance on un-normalized data, but further research is needed to confirm this.
Abstract（参考訳）: シャープネス認識最小化(SAM)と適応シャープネス認識最小化(ASAM)はモデル一般化の改善を目的としている。このプロジェクトでは、シャープネスを意識した視点で一般化を検証するための3つの実験を提案した。また, シャープネス認識に基づく最適化手法は, モデルに強力な一般化能力を与えることができることを示した。実験の結果,非正規化データに対するASAMの一般化性能が向上することが示されたが,それを確認するためにはさらなる研究が必要である。

関連論文リスト

1st-Order Magic: Analysis of Sharpness-Aware Minimization [0.0]
SAM (Sharpness-Aware Minimization) は、平らな損失最小値を求めることで一般化を改善するために設計された最適化手法である。提案したSAM目標値のより正確な近似は、一般化性能を劣化させる。このことはSAMの有効性に対する我々の理解のギャップを浮き彫りにし、最適化における近似の役割についてさらなる調査を求める。
論文参考訳（メタデータ） (2024-11-03T23:50:34Z)
Do Sharpness-based Optimizers Improve Generalization in Medical Image Analysis? [47.346907372319706]
Sharpness-Aware Minimization (SAM)は、一般的なドメイン画像データセットの一般化性能を高める可能性を示している。本研究は、深層学習ネットワークの一般化を改善するための、近年のシャープネスに基づく手法を提供し、医療用胸部超音波画像上での評価を行う。
論文参考訳（メタデータ） (2024-08-07T20:07:25Z)
Normalization Layers Are All That Sharpness-Aware Minimization Needs [53.799769473526275]
シャープネス認識最小化(SAM)は,ミニマのシャープネスを低減するために提案された。 SAMの逆数ステップにおけるアフィン正規化パラメータ(典型的には総パラメータの0.1%)のみの摂動は、全てのパラメータの摂動よりも優れていることを示す。
論文参考訳（メタデータ） (2023-06-07T08:05:46Z)
Improving Sharpness-Aware Minimization with Fisher Mask for Better Generalization on Language Models [93.85178920914721]
限られた訓練コーパス上の微調整された大きな事前訓練された言語モデルは、通常、計算の貧弱さに悩まされる。本稿では,新しい最適化手法であるFSAMを提案し,SAMの効率と性能を改善するためにフィッシャーマスクを導入した。 FSAMは4種類の事前訓練モデルにおいて,バニラSAMの平均スコア0.671.98を上回っていることを示す。
論文参考訳（メタデータ） (2022-10-11T14:53:58Z)
Design Amortization for Bayesian Optimal Experimental Design [70.13948372218849]
予測情報ゲイン(EIG)のバウンダリに関してパラメータ化された変分モデルを最適化する。実験者が1つの変分モデルを最適化し、潜在的に無限に多くの設計に対してEIGを推定できる新しいニューラルアーキテクチャを提案する。
論文参考訳（メタデータ） (2022-10-07T02:12:34Z)
Improving Generalization in Federated Learning by Seeking Flat Minima [23.937135834522145]
フェデレートされた設定で訓練されたモデルは、しばしば劣化したパフォーマンスに悩まされ、一般化に失敗する。本研究では,損失の幾何レンズとヘッセン固有スペクトルを用いて,そのような挙動を考察する。損失面のシャープさと一般化ギャップを接続する先行研究により,サーバ側のシャープネス・アウェア・最小化 (SAM) や適応バージョン (ASAM) をローカルにトレーニングすることで,一般化を大幅に改善できることが示されている。
論文参考訳（メタデータ） (2022-03-22T16:01:04Z)
Sharpness-Aware Minimization Improves Language Model Generalization [46.83888240127077]
シャープネス認識最小化(SAM)は,計算オーバーヘッドを伴わずに言語モデルの一般化を大幅に改善できることを示す。 SAMは,SuperGLUE,GLUE,Web Questions,Natural Questions,Trivia QA,TyDiQAの性能向上を図っている。
論文参考訳（メタデータ） (2021-10-16T09:44:06Z)
Efficient Sharpness-aware Minimization for Improved Training of Neural Networks [146.2011175973769]
本稿では,SAM s の効率を高コストで向上する高効率シャープネス認識最小化器 (M) を提案する。 Mには、Stochastic Weight PerturbationとSharpness-Sensitive Data Selectionという、2つの新しい効果的なトレーニング戦略が含まれている。我々は、CIFARとImageNetデータセットの広範な実験を通して、ESAMはSAMよりも100%余分な計算を40%のvis-a-visベースに必要とせずに効率を向上させることを示した。
論文参考訳（メタデータ） (2021-10-07T02:20:37Z)
ASAM: Adaptive Sharpness-Aware Minimization for Scale-Invariant Learning of Deep Neural Networks [2.8292841621378844]
スケール不変の適応シャープネスの概念を導入し、対応する一般化境界を提案する。本稿では,適応的シャープネス認識最小化(ASAM)という新たな学習手法を提案する。各種ベンチマークデータセットの実験結果から,ASAMはモデル一般化性能の大幅な向上に寄与することが示された。
論文参考訳（メタデータ） (2021-02-23T10:26:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。