論文の概要: Sharpness-aware Minimization for Worst Case Optimization
- arxiv url: http://arxiv.org/abs/2210.13533v1
- Date: Mon, 24 Oct 2022 18:34:24 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-26 13:03:42.859865
- Title: Sharpness-aware Minimization for Worst Case Optimization
- Title（参考訳）: 最悪の場合最適化のためのシャープネス認識最小化
- Authors: Taero Kim, Sungjun Lim, Kyungwoo Song
- Abstract要約: 最悪のグループパフォーマンスと一般化パフォーマンスの改善は、現在の機械学習の中核的な問題である。
最近、最悪のグループ性能と一般化性能を高めるための2つの有望なアプローチがある。
本研究では,シャープネスを意識した群分散ロバスト最適化(SGDRO)を提案する。
- 参考スコア（独自算出の注目度）: 13.36757116306494
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Improvement of worst group performance and generalization performance are
core problems of current machine learning. There are diverse efforts to
increase performance, such as weight norm penalty and data augmentation, but
the improvements are limited. Recently, there have been two promising
approaches to increase the worst group performance and generalization
performance, respectively. Distributionally robust optimization (DRO) focuses
on the worst or hardest group to improve the worst-group performance. Besides,
sharpness-aware minimization (SAM) finds the flat minima to increase the
generalization ability on an unseen dataset. They show significant performance
improvements on the worst-group dataset and unseen dataset, respectively.
However, DRO does not guarantee flatness, and SAM does not guarantee the worst
group performance improvement. In other words, DRO and SAM may fail to increase
the worst group performance when the training and test dataset shift occurs. In
this study, we propose a new approach, the sharpness-aware group
distributionally robust optimization (SGDRO). SGDRO finds the flat-minima that
generalizes well on the worst group dataset. Different from DRO and SAM, SGDRO
contributes to improving the generalization ability even the distribution shift
occurs. We validate that SGDRO shows the smaller maximum eigenvalue and
improved performance in the worst group.
- Abstract（参考訳）: 最悪のグループパフォーマンスの改善と一般化は、現在の機械学習の中核的な問題である。
重量規範のペナルティやデータ拡張など、パフォーマンス向上のためのさまざまな取り組みがあるが、改善は限られている。
近年,最悪のグループ性能と一般化性能をそれぞれ向上させる,有望なアプローチが2つある。
分散ロバスト最適化(DRO)は、最悪のグループまたは最も難しいグループに焦点を当て、最悪のグループのパフォーマンスを改善する。
さらに、シャープネス・アウェア・ミニミゼーション(sam: sharpness-aware minimization)は、見えないデータセットの一般化能力を高めるためにフラットミニマ(flat minima)を見つける。
最悪のグループデータセットと未発見のデータセットでは、パフォーマンスが大幅に向上している。
しかし、DROは平坦さを保証せず、SAMはグループパフォーマンスの最悪の改善を保証していない。
言い換えれば、DROとSAMはトレーニングとテストデータセットのシフトが発生すると、最悪のグループパフォーマンスを向上できない可能性がある。
本研究では,spikeness-aware group distributionally robust optimization (sgdro) という新しい手法を提案する。
SGDROは、最悪のグループデータセットでよく一般化されるフラットミニマを見つける。
DRO や SAM とは異なり、SGDRO は分布シフトさえも一般化能力の向上に寄与する。
その結果,SGDROは最大固有値が小さく,最悪のグループでは性能が向上した。
関連論文リスト
- Winning Prize Comes from Losing Tickets: Improve Invariant Learning by
Exploring Variant Parameters for Out-of-Distribution Generalization [76.27711056914168]
Out-of-Distribution (OOD) 一般化は、分散固有の特徴に適合することなく、様々な環境によく適応する堅牢なモデルを学ぶことを目的としている。
LTH(Lottery Ticket hypothesis)に基づく最近の研究は、学習目標を最小化し、タスクに重要なパラメータのいくつかを見つけることでこの問題に対処している。
Invariant Learning (EVIL) における変数探索手法を提案する。
論文 参考訳（メタデータ） (2023-10-25T06:10:57Z) - Environment Diversification with Multi-head Neural Network for Invariant
Learning [7.255121332331688]
この研究は、データバイアスを吸収するマルチヘッドニューラルネットワークを含む不変学習フレームワークEDNILを提案する。
このフレームワークは環境に関する事前の知識や事前訓練されたモデルに関する強い仮定を必要としないことを示す。
EDNILでトレーニングされたモデルは、分布シフトに対して実験的に堅牢であることを示す。
論文 参考訳（メタデータ） (2023-08-17T04:33:38Z) - Invariant Meta Learning for Out-of-Distribution Generalization [1.1718589131017048]
本稿では,アウト・オブ・ディストリビューションタスクのための不変なメタ学習を提案する。
具体的には、不変な最適メタ初期化と、正規化ペナルティを持つ配布外タスクへの迅速な適応である。
論文 参考訳（メタデータ） (2023-01-26T12:53:21Z) - An Additive Instance-Wise Approach to Multi-class Model Interpretation [53.87578024052922]
解釈可能な機械学習は、ブラックボックスシステムの特定の予測を駆動する要因に関する洞察を提供する。
既存の手法は主に、局所的な加法的あるいはインスタンス的なアプローチに従う説明的入力特徴の選択に重点を置いている。
本研究は,両手法の長所を生かし,複数の対象クラスに対する局所的な説明を同時に学習するためのグローバルフレームワークを提案する。
論文 参考訳（メタデータ） (2022-07-07T06:50:27Z) - Domain-Adjusted Regression or: ERM May Already Learn Features Sufficient
for Out-of-Distribution Generalization [52.7137956951533]
既存の特徴から予測器を学習するためのよりシンプルな手法を考案することは、将来の研究にとって有望な方向である、と我々は主張する。
本稿では,線形予測器を学習するための凸目標である領域調整回帰(DARE)を紹介する。
自然モデルの下では、DARE解が制限されたテスト分布の集合に対する最小最適予測器であることを証明する。
論文 参考訳（メタデータ） (2022-02-14T16:42:16Z) - Invariance-based Multi-Clustering of Latent Space Embeddings for
Equivariant Learning [12.770012299379099]
より深い群不変学習を強制することにより、リー群多様体における等角写像を非共役化する手法を提案する。
実験の結果,このモデルでは,不変表現と同変表現を効果的に切り離すことができ,学習速度が大幅に向上することがわかった。
論文 参考訳（メタデータ） (2021-07-25T03:27:47Z) - Distance-based Hyperspherical Classification for Multi-source Open-Set
Domain Adaptation [34.97934677830779]
クローズドワールドのシナリオで訓練されたビジョンシステムは、新しい環境条件が提示されると必然的に失敗する。
オープンワールド学習への道のりは、長年にわたる研究課題である。
本研究ではHyMOSを導入することで,マルチソースなOpen-Setドメイン適応を実現する。
論文 参考訳（メタデータ） (2021-07-05T14:56:57Z) - Exploring Complementary Strengths of Invariant and Equivariant
Representations for Few-Shot Learning [96.75889543560497]
多くの現実世界では、多数のラベル付きサンプルの収集は不可能です。
少ないショット学習はこの問題に対処するための主要なアプローチであり、目的は限られた数のサンプルの存在下で新しいカテゴリに迅速に適応することです。
幾何学的変換の一般集合に対する等分散と不変性を同時に強制する新しい訓練機構を提案する。
論文 参考訳（メタデータ） (2021-03-01T21:14:33Z) - Adaptive Risk Minimization: Learning to Adapt to Domain Shift [109.87561509436016]
ほとんどの機械学習アルゴリズムの基本的な前提は、トレーニングとテストデータは、同じ基礎となる分布から引き出されることである。
本研究では,学習データをドメインに構造化し,複数のテスト時間シフトが存在する場合の領域一般化の問題点について考察する。
本稿では、適応リスク最小化(ARM)の枠組みを紹介し、モデルがトレーニング領域に適応することを学ぶことで、効果的な適応のために直接最適化される。
論文 参考訳（メタデータ） (2020-07-06T17:59:30Z) - Invariant Risk Minimization Games [48.00018458720443]
本研究では,複数の環境においてアンサンブルゲームのナッシュ平衡を求めるような不変リスク最小化を行う。
そこで我々は,本実験における最適応答力学と平衡を用いた簡単なトレーニングアルゴリズムを開発し,Arjovskyらの難解な二段階最適化問題よりもはるかに低いばらつきで,同様の,あるいは優れた経験的精度が得られることを示した。
論文 参考訳（メタデータ） (2020-02-11T21:25:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。