論文の概要: Towards Robust Out-of-Distribution Generalization Bounds via Sharpness

• arxiv url: http://arxiv.org/abs/2403.06392v1
• Date: Mon, 11 Mar 2024 02:57:27 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-12 20:32:15.528121
• Title: Towards Robust Out-of-Distribution Generalization Bounds via Sharpness
• Title（参考訳）: シャープネスによる分布外一般化境界のロバスト化
• Authors: Yingtian Zou, Kenji Kawaguchi, Yingnan Liu, Jiashuo Liu, Mong-Li Lee, Wynne Hsu
• Abstract要約: モデルがドメインシフトにおけるデータ変化を許容する方法にシャープさが及ぼす影響について検討する。 強靭性を考慮したシャープネスに基づくOOD一般化を提案する。
• 参考スコア（独自算出の注目度）: 41.65692353665847
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Generalizing to out-of-distribution (OOD) data or unseen domain, termed OOD generalization, still lacks appropriate theoretical guarantees. Canonical OOD bounds focus on different distance measurements between source and target domains but fail to consider the optimization property of the learned model. As empirically shown in recent work, the sharpness of learned minima influences OOD generalization. To bridge this gap between optimization and OOD generalization, we study the effect of sharpness on how a model tolerates data change in domain shift which is usually captured by "robustness" in generalization. In this paper, we give a rigorous connection between sharpness and robustness, which gives better OOD guarantees for robust algorithms. It also provides a theoretical backing for "flat minima leads to better OOD generalization". Overall, we propose a sharpness-based OOD generalization bound by taking robustness into consideration, resulting in a tighter bound than non-robust guarantees. Our findings are supported by the experiments on a ridge regression model, as well as the experiments on deep learning classification tasks.
• Abstract（参考訳）: オフ・オブ・ディストリビューション(OOD)データや未確認領域を一般化した OOD 一般化は、依然として適切な理論的保証を欠いている。 標準OODバウンダリは、ソースとターゲットドメイン間の異なる距離の測定に重点を置いているが、学習モデルの最適化特性を考慮できない。 最近の研究で実証的に示されているように、学習されたミニマの鋭さはOOD一般化に影響を及ぼす。 この最適化とOOD一般化のギャップを埋めるために、モデルが一般化において通常「ロバストネス」によって捉えられる領域シフトにおけるデータ変化を許容するシャープネスの効果について検討する。 本稿では,鋭さとロバスト性の間に厳密な関係を与え,ロバストなアルゴリズムに対するood保証を改善する。 また、"flat minima leads to better ood generalization"の理論的裏付けも提供する。 全体として,頑健性を考慮に入れて束縛したシャープネスに基づくood一般化を提案し,非ロバスト保証よりも厳密なバウンドを実現する。 本研究は,尾根回帰モデルによる実験と,深層学習分類タスクによる実験によって支援された。

関連論文リスト

• The Best of Both Worlds: On the Dilemma of Out-of-distribution Detection [75.65876949930258]
  アウト・オブ・ディストリビューション(OOD)検出はモデル信頼性に不可欠である。 我々は,OODの一般化能力を秘かに犠牲にすることで,最先端手法のOOD検出性能が向上することを示す。
  論文  参考訳（メタデータ） (2024-10-12T07:02:04Z)
• CRoFT: Robust Fine-Tuning with Concurrent Optimization for OOD Generalization and Open-Set OOD Detection [42.33618249731874]
  トレーニングデータにおけるエネルギースコアの最大化は、ドメイン一貫性のあるヘッセンの分類損失につながることを示す。 我々は,両タスクの同時最適化を可能にする統合された微調整フレームワークを開発した。
  論文  参考訳（メタデータ） (2024-05-26T03:28:59Z)
• A Survey on Evaluation of Out-of-Distribution Generalization [41.39827887375374]
  アウト・オブ・ディストリビューション(OOD)の一般化は複雑で基本的な問題である。 本報告は,OOD評価の総合的な評価を行うための最初の試みである。 我々は,OOD性能試験,OOD性能予測,OOD固有の特性評価という3つのパラダイムに分類した。
  論文  参考訳（メタデータ） (2024-03-04T09:30:35Z)
• Towards Calibrated Robust Fine-Tuning of Vision-Language Models [97.19901765814431]
  本研究は、視覚言語モデルにおいて、OOD精度と信頼性校正の両方を同時に改善する頑健な微調整法を提案する。 OOD分類とOOD校正誤差は2つのIDデータからなる共有上限を持つことを示す。 この知見に基づいて,最小の特異値を持つ制約付きマルチモーダルコントラスト損失を用いて微調整を行う新しいフレームワークを設計する。
  論文  参考訳（メタデータ） (2023-11-03T05:41:25Z)
• Improved OOD Generalization via Conditional Invariant Regularizer [43.62211060412388]
  クラスラベルが与えられた場合、スプリアス属性の条件付き独立モデルがOOD一般であることが示される。 このような条件独立度を測定するために,OOD誤差を制御する計量条件変分(CSV)を提案する。 この問題を解決するために,ミニケーブ収束率のアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-07-14T06:34:21Z)
• Towards a Theoretical Framework of Out-of-Distribution Generalization [28.490842160921805]
  オフ・オブ・ディストリビューション(OOD)データへの一般化(ドメイン一般化)は、現代の機械学習における中心的な問題の一つである。 本研究は,OOD問題の厳密かつ定量的な定義に向けての第一歩を踏み出したものである。
  論文  参考訳（メタデータ） (2021-06-08T16:32:23Z)
• Provably Robust Detection of Out-of-distribution Data (almost) for free [124.14121487542613]
  ディープニューラルネットワークは、アウト・オブ・ディストリビューション(OOD)データに対する高い過度な予測を生成することが知られている。 本稿では,認証可能なOOD検出器を標準分類器と組み合わせてOOD認識分類器を提案する。 このようにして、我々は2つの世界のベストを達成している。OOD検出は、分布内に近いOODサンプルであっても、予測精度を損なうことなく、非操作型OODデータに対する最先端のOOD検出性能に近接する。
  論文  参考訳（メタデータ） (2021-06-08T11:40:49Z)
• Improved OOD Generalization via Adversarial Training and Pre-training [49.08683910076778]
  本稿では,入力摂動に頑健なモデルがOODデータによく一般化されることを理論的に示す。 従来, 対人訓練が入力難聴の改善に有効であったことが示唆され, 対人訓練モデルがOODデータに過剰なリスクを集中していることが示唆された。
  論文  参考訳（メタデータ） (2021-05-24T08:06:35Z)
• ATOM: Robustifying Out-of-distribution Detection Using Outlier Mining [51.19164318924997]
  インフォメーション・アウトリエ・マイニングによるアドリアトレーニングは、OOD検出の堅牢性を向上させる。 ATOMは,古典的,敵対的なOOD評価タスクの幅広いファミリーの下で,最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2020-06-26T20:58:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。