論文の概要: Towards Robust Out-of-Distribution Generalization Bounds via Sharpness
- arxiv url: http://arxiv.org/abs/2403.06392v1
- Date: Mon, 11 Mar 2024 02:57:27 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-12 20:32:15.528121
- Title: Towards Robust Out-of-Distribution Generalization Bounds via Sharpness
- Title(参考訳): シャープネスによる分布外一般化境界のロバスト化
- Authors: Yingtian Zou, Kenji Kawaguchi, Yingnan Liu, Jiashuo Liu, Mong-Li Lee,
Wynne Hsu
- Abstract要約: モデルがドメインシフトにおけるデータ変化を許容する方法にシャープさが及ぼす影響について検討する。
強靭性を考慮したシャープネスに基づくOOD一般化を提案する。
- 参考スコア(独自算出の注目度): 41.65692353665847
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Generalizing to out-of-distribution (OOD) data or unseen domain, termed OOD
generalization, still lacks appropriate theoretical guarantees. Canonical OOD
bounds focus on different distance measurements between source and target
domains but fail to consider the optimization property of the learned model. As
empirically shown in recent work, the sharpness of learned minima influences
OOD generalization. To bridge this gap between optimization and OOD
generalization, we study the effect of sharpness on how a model tolerates data
change in domain shift which is usually captured by "robustness" in
generalization. In this paper, we give a rigorous connection between sharpness
and robustness, which gives better OOD guarantees for robust algorithms. It
also provides a theoretical backing for "flat minima leads to better OOD
generalization". Overall, we propose a sharpness-based OOD generalization bound
by taking robustness into consideration, resulting in a tighter bound than
non-robust guarantees. Our findings are supported by the experiments on a ridge
regression model, as well as the experiments on deep learning classification
tasks.
- Abstract(参考訳): オフ・オブ・ディストリビューション(OOD)データや未確認領域を一般化した OOD 一般化は、依然として適切な理論的保証を欠いている。
標準OODバウンダリは、ソースとターゲットドメイン間の異なる距離の測定に重点を置いているが、学習モデルの最適化特性を考慮できない。
最近の研究で実証的に示されているように、学習されたミニマの鋭さはOOD一般化に影響を及ぼす。
この最適化とOOD一般化のギャップを埋めるために、モデルが一般化において通常「ロバストネス」によって捉えられる領域シフトにおけるデータ変化を許容するシャープネスの効果について検討する。
本稿では,鋭さとロバスト性の間に厳密な関係を与え,ロバストなアルゴリズムに対するood保証を改善する。
また、"flat minima leads to better ood generalization"の理論的裏付けも提供する。
全体として,頑健性を考慮に入れて束縛したシャープネスに基づくood一般化を提案し,非ロバスト保証よりも厳密なバウンドを実現する。
本研究は,尾根回帰モデルによる実験と,深層学習分類タスクによる実験によって支援された。
関連論文リスト
- A Survey on Evaluation of Out-of-Distribution Generalization [41.39827887375374]
アウト・オブ・ディストリビューション(OOD)の一般化は複雑で基本的な問題である。
本報告は,OOD評価の総合的な評価を行うための最初の試みである。
我々は,OOD性能試験,OOD性能予測,OOD固有の特性評価という3つのパラダイムに分類した。
論文 参考訳(メタデータ) (2024-03-04T09:30:35Z) - Mitigating Simplicity Bias in Deep Learning for Improved OOD
Generalization and Robustness [5.976013616522926]
モデルに対して,より多様な機能セットを使用して予測を行うように促すフレームワークを提案する。
まず、簡単なモデルを訓練し、その上で条件付き相互情報を規則化し、最終的なモデルを得る。
様々な問題設定や実世界のアプリケーションにおいて,このフレームワークの有効性を実証する。
論文 参考訳(メタデータ) (2023-10-09T21:19:39Z) - OpenOOD: Benchmarking Generalized Out-of-Distribution Detection [60.13300701826931]
アウト・オブ・ディストリビューション(OOD)検出は、安全クリティカルな機械学習アプリケーションにとって不可欠である。
この分野では現在、統一的で厳格に定式化され、包括的なベンチマークが欠けている。
関連フィールドで開発された30以上のメソッドを実装したOpenOODという,統一的で構造化されたシステムを構築します。
論文 参考訳(メタデータ) (2022-10-13T17:59:57Z) - Improved OOD Generalization via Conditional Invariant Regularizer [43.62211060412388]
クラスラベルが与えられた場合、スプリアス属性の条件付き独立モデルがOOD一般であることが示される。
このような条件独立度を測定するために,OOD誤差を制御する計量条件変分(CSV)を提案する。
この問題を解決するために,ミニケーブ収束率のアルゴリズムを提案する。
論文 参考訳(メタデータ) (2022-07-14T06:34:21Z) - Towards a Theoretical Framework of Out-of-Distribution Generalization [28.490842160921805]
オフ・オブ・ディストリビューション(OOD)データへの一般化(ドメイン一般化)は、現代の機械学習における中心的な問題の一つである。
本研究は,OOD問題の厳密かつ定量的な定義に向けての第一歩を踏み出したものである。
論文 参考訳(メタデータ) (2021-06-08T16:32:23Z) - Provably Robust Detection of Out-of-distribution Data (almost) for free [124.14121487542613]
ディープニューラルネットワークは、アウト・オブ・ディストリビューション(OOD)データに対する高い過度な予測を生成することが知られている。
本稿では,認証可能なOOD検出器を標準分類器と組み合わせてOOD認識分類器を提案する。
このようにして、我々は2つの世界のベストを達成している。OOD検出は、分布内に近いOODサンプルであっても、予測精度を損なうことなく、非操作型OODデータに対する最先端のOOD検出性能に近接する。
論文 参考訳(メタデータ) (2021-06-08T11:40:49Z) - Improved OOD Generalization via Adversarial Training and Pre-training [49.08683910076778]
本稿では,入力摂動に頑健なモデルがOODデータによく一般化されることを理論的に示す。
従来, 対人訓練が入力難聴の改善に有効であったことが示唆され, 対人訓練モデルがOODデータに過剰なリスクを集中していることが示唆された。
論文 参考訳(メタデータ) (2021-05-24T08:06:35Z) - Certifiably Adversarially Robust Detection of Out-of-Distribution Data [111.67388500330273]
我々は,OOD点における信頼度を低くすることで,OOD検出の証明可能な最悪のケースを保証することを目的としている。
トレーニング時に見られるOODデータセットを超えて一般化されたOODデータの信頼性の非自明な境界が可能であることを示す。
論文 参考訳(メタデータ) (2020-07-16T17:16:47Z) - ATOM: Robustifying Out-of-distribution Detection Using Outlier Mining [51.19164318924997]
インフォメーション・アウトリエ・マイニングによるアドリアトレーニングは、OOD検出の堅牢性を向上させる。
ATOMは,古典的,敵対的なOOD評価タスクの幅広いファミリーの下で,最先端のパフォーマンスを達成する。
論文 参考訳(メタデータ) (2020-06-26T20:58:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。