論文の概要: Sharpness-aware Minimization for Worst Case Optimization
- arxiv url: http://arxiv.org/abs/2210.13533v1
- Date: Mon, 24 Oct 2022 18:34:24 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-26 13:03:42.859865
- Title: Sharpness-aware Minimization for Worst Case Optimization
- Title(参考訳): 最悪の場合最適化のためのシャープネス認識最小化
- Authors: Taero Kim, Sungjun Lim, Kyungwoo Song
- Abstract要約: 最悪のグループパフォーマンスと一般化パフォーマンスの改善は、現在の機械学習の中核的な問題である。
最近、最悪のグループ性能と一般化性能を高めるための2つの有望なアプローチがある。
本研究では,シャープネスを意識した群分散ロバスト最適化(SGDRO)を提案する。
- 参考スコア(独自算出の注目度): 13.36757116306494
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Improvement of worst group performance and generalization performance are
core problems of current machine learning. There are diverse efforts to
increase performance, such as weight norm penalty and data augmentation, but
the improvements are limited. Recently, there have been two promising
approaches to increase the worst group performance and generalization
performance, respectively. Distributionally robust optimization (DRO) focuses
on the worst or hardest group to improve the worst-group performance. Besides,
sharpness-aware minimization (SAM) finds the flat minima to increase the
generalization ability on an unseen dataset. They show significant performance
improvements on the worst-group dataset and unseen dataset, respectively.
However, DRO does not guarantee flatness, and SAM does not guarantee the worst
group performance improvement. In other words, DRO and SAM may fail to increase
the worst group performance when the training and test dataset shift occurs. In
this study, we propose a new approach, the sharpness-aware group
distributionally robust optimization (SGDRO). SGDRO finds the flat-minima that
generalizes well on the worst group dataset. Different from DRO and SAM, SGDRO
contributes to improving the generalization ability even the distribution shift
occurs. We validate that SGDRO shows the smaller maximum eigenvalue and
improved performance in the worst group.
- Abstract(参考訳): 最悪のグループパフォーマンスの改善と一般化は、現在の機械学習の中核的な問題である。
重量規範のペナルティやデータ拡張など、パフォーマンス向上のためのさまざまな取り組みがあるが、改善は限られている。
近年,最悪のグループ性能と一般化性能をそれぞれ向上させる,有望なアプローチが2つある。
分散ロバスト最適化(DRO)は、最悪のグループまたは最も難しいグループに焦点を当て、最悪のグループのパフォーマンスを改善する。
さらに、シャープネス・アウェア・ミニミゼーション(sam: sharpness-aware minimization)は、見えないデータセットの一般化能力を高めるためにフラットミニマ(flat minima)を見つける。
最悪のグループデータセットと未発見のデータセットでは、パフォーマンスが大幅に向上している。
しかし、DROは平坦さを保証せず、SAMはグループパフォーマンスの最悪の改善を保証していない。
言い換えれば、DROとSAMはトレーニングとテストデータセットのシフトが発生すると、最悪のグループパフォーマンスを向上できない可能性がある。
本研究では,spikeness-aware group distributionally robust optimization (sgdro) という新しい手法を提案する。
SGDROは、最悪のグループデータセットでよく一般化されるフラットミニマを見つける。
DRO や SAM とは異なり、SGDRO は分布シフトさえも一般化能力の向上に寄与する。
その結果,SGDROは最大固有値が小さく,最悪のグループでは性能が向上した。
関連論文リスト
- Winning Prize Comes from Losing Tickets: Improve Invariant Learning by
Exploring Variant Parameters for Out-of-Distribution Generalization [76.27711056914168]
Out-of-Distribution (OOD) 一般化は、分散固有の特徴に適合することなく、様々な環境によく適応する堅牢なモデルを学ぶことを目的としている。
LTH(Lottery Ticket hypothesis)に基づく最近の研究は、学習目標を最小化し、タスクに重要なパラメータのいくつかを見つけることでこの問題に対処している。
Invariant Learning (EVIL) における変数探索手法を提案する。
論文 参考訳(メタデータ) (2023-10-25T06:10:57Z) - Deep Neural Networks with Efficient Guaranteed Invariances [77.99182201815763]
我々は、性能改善の問題、特にディープニューラルネットワークのサンプル複雑性に対処する。
群同変畳み込みは同変表現を得るための一般的なアプローチである。
本稿では,各ストリームが異なる変換に不変なマルチストリームアーキテクチャを提案する。
論文 参考訳(メタデータ) (2023-03-02T20:44:45Z) - Empirical Study on Optimizer Selection for Out-of-Distribution
Generalization [16.386766049451317]
現代のディープラーニングシステムは、テストデータ分布がトレーニングデータ分布とわずかに異なる場合、うまく一般化しない。
本研究では,分布シフトの異なるクラスに対して,一般的な一階述語一般化の性能について検討する。
論文 参考訳(メタデータ) (2022-11-15T23:56:30Z) - Distributional Shift Adaptation using Domain-Specific Features [41.91388601229745]
オープンワールドのシナリオでは、ビッグデータのストリーミングはOut-Of-Distribution(OOD)になる。
特徴が不変か否かにかかわらず、一般の相関に依拠する単純かつ効果的な手法を提案する。
提案手法では,OODベースモデルによって同定された最も確実なサンプルを用いて,対象領域に効果的に適応する新しいモデルを訓練する。
論文 参考訳(メタデータ) (2022-11-09T04:16:21Z) - Improving the Sample-Complexity of Deep Classification Networks with
Invariant Integration [77.99182201815763]
変換によるクラス内分散に関する事前知識を活用することは、ディープニューラルネットワークのサンプル複雑性を改善するための強力な方法である。
そこで本研究では,アプリケーションの複雑な問題に対処するために,プルーニング法に基づく新しい単項選択アルゴリズムを提案する。
本稿では,Rotated-MNIST,SVHN,CIFAR-10データセットにおけるサンプルの複雑さの改善について述べる。
論文 参考訳(メタデータ) (2022-02-08T16:16:11Z) - Improving Out-of-Distribution Robustness via Selective Augmentation [61.147630193060856]
機械学習アルゴリズムは、トレーニングとテスト例が同じ分布から引き出されると仮定する。
分散シフトは現実世界のアプリケーションでは一般的な問題であり、テスト時にモデルが劇的に悪化する可能性がある。
LISAと呼ばれる選択的な拡張によって不変関数を学習するミックスアップ方式を提案する。
論文 参考訳(メタデータ) (2022-01-02T05:58:33Z) - Invariance-based Multi-Clustering of Latent Space Embeddings for
Equivariant Learning [12.770012299379099]
より深い群不変学習を強制することにより、リー群多様体における等角写像を非共役化する手法を提案する。
実験の結果,このモデルでは,不変表現と同変表現を効果的に切り離すことができ,学習速度が大幅に向上することがわかった。
論文 参考訳(メタデータ) (2021-07-25T03:27:47Z) - Exploring Complementary Strengths of Invariant and Equivariant
Representations for Few-Shot Learning [96.75889543560497]
多くの現実世界では、多数のラベル付きサンプルの収集は不可能です。
少ないショット学習はこの問題に対処するための主要なアプローチであり、目的は限られた数のサンプルの存在下で新しいカテゴリに迅速に適応することです。
幾何学的変換の一般集合に対する等分散と不変性を同時に強制する新しい訓練機構を提案する。
論文 参考訳(メタデータ) (2021-03-01T21:14:33Z) - Adaptive Risk Minimization: Learning to Adapt to Domain Shift [109.87561509436016]
ほとんどの機械学習アルゴリズムの基本的な前提は、トレーニングとテストデータは、同じ基礎となる分布から引き出されることである。
本研究では,学習データをドメインに構造化し,複数のテスト時間シフトが存在する場合の領域一般化の問題点について考察する。
本稿では、適応リスク最小化(ARM)の枠組みを紹介し、モデルがトレーニング領域に適応することを学ぶことで、効果的な適応のために直接最適化される。
論文 参考訳(メタデータ) (2020-07-06T17:59:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。