論文の概要: Invariance Principle Meets Vicinal Risk Minimization

• arxiv url: http://arxiv.org/abs/2407.05765v2
• Date: Thu, 23 Jan 2025 15:42:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-24 19:43:28.035520
• Title: Invariance Principle Meets Vicinal Risk Minimization
• Title（参考訳）: リスク最小化のための不変原理
• Authors: Yaoyao Zhu, Xiuding Cai, Yingkai Wang, Dong Miao, Zhongliang Fu, Xu Luo,
• Abstract要約: Invariant Risk Minimization (IRM)は、ドメイン不変の特徴を学習することでOODの一般化に取り組むことを目的としている。 ラベル一貫性を維持しつつデータセットの多様性を向上させるために,ドメイン共有セマンティックデータ拡張(SDA)モジュールを提案する。
• 参考スコア（独自算出の注目度）: 2.026281591452464
• License:
• Abstract: Deep learning models excel in computer vision tasks but often fail to generalize to out-of-distribution (OOD) domains. Invariant Risk Minimization (IRM) aims to address OOD generalization by learning domain-invariant features. However, IRM struggles with datasets exhibiting significant diversity shifts. While data augmentation methods like Mixup and Semantic Data Augmentation (SDA) enhance diversity, they risk over-augmentation and label instability. To address these challenges, we propose a domain-shared Semantic Data Augmentation (SDA) module, a novel implementation of Variance Risk Minimization (VRM) designed to enhance dataset diversity while maintaining label consistency. We further provide a Rademacher complexity analysis, establishing a tighter generalization error bound compared to baseline methods. Extensive evaluations on OOD benchmarks, including PACS, VLCS, OfficeHome, and TerraIncognita, demonstrate consistent performance improvements over state-of-the-art domain generalization methods.
• Abstract（参考訳）: ディープラーニングモデルはコンピュータビジョンタスクに優れるが、アウト・オブ・ディストリビューション(OOD)ドメインへの一般化に失敗することが多い。 Invariant Risk Minimization (IRM)は、ドメイン不変の特徴を学習することでOODの一般化に取り組むことを目的としている。 しかし、IRMは、大きな多様性の変化を示すデータセットと苦労している。 Mixup や Semantic Data Augmentation (SDA) のようなデータ拡張手法は多様性を高めるが、過度な拡張とラベルの不安定性のリスクがある。 これらの課題に対処するために,ラベルの整合性を維持しつつデータセットの多様性を向上させるために設計された,可変リスク最小化(VRM)の新たな実装であるドメイン共有セマンティックデータ拡張(SDA)モジュールを提案する。 さらに、Radecherの複雑性解析を行い、ベースライン法よりも厳密な一般化誤差を確立する。 PACS、VLCS、OfficeHome、TerraIncognitaを含むOODベンチマークの大規模な評価では、最先端のドメイン一般化手法よりも一貫したパフォーマンス向上が示されている。

関連論文リスト

• Diagnosing and Rectifying Fake OOD Invariance: A Restructured Causal Approach [51.012396632595554]
  不変表現学習(IRL)は、不変因果的特徴から環境から切り離されたラベルへの予測を促進する。 最近の理論的結果は、IRLによって回復されたいくつかの因果的特徴は、訓練環境ではドメイン不変のふりをするが、目に見えない領域では失敗する。 本研究では,RS-SCMに関する条件付き相互情報に基づく手法を開発し,その効果を巧みに補正する。
  論文  参考訳（メタデータ） (2023-12-15T12:58:05Z)
• Continual Invariant Risk Minimization [46.051656238770086]
  経験的リスク最小化は、学習モデルが不変な特徴表現をキャプチャしない場合、目に見えない環境での一般化の振る舞いを損なう可能性がある。 不変リスク最小化(IRM)は環境不変表現を発見するための最近の提案である。
  論文  参考訳（メタデータ） (2023-10-21T11:44:47Z)
• On the Variance, Admissibility, and Stability of Empirical Risk Minimization [80.26309576810844]
  2乗損失を持つ経験的リスク最小化(ERM)は、極小最適誤差率に達する可能性がある。 軽微な仮定では、ERMの準最適性はばらつきよりも大きなバイアスによるものでなければならない。 また、我々の推定は、非ドンスカー類に対するCaponnetto と Rakhlin (2006) の主な結果を補完する ERM の安定性を示唆している。
  論文  参考訳（メタデータ） (2023-05-29T15:25:48Z)
• Learning Optimal Features via Partial Invariance [18.552839725370383]
  不変リスク最小化(IRM)は、複数の環境から堅牢なモデルを学ぶことを目的とした一般的なフレームワークである。 IRMが予測器を過度に抑制できることを示し、これを補うために、$textitpartial invariance$を介して緩和を提案する。 線形設定と、言語と画像データの両方のタスクにおけるディープニューラルネットワークの両方で実施されたいくつかの実験により、結論の検証が可能になった。
  論文  参考訳（メタデータ） (2023-01-28T02:48:14Z)
• Domain-Specific Risk Minimization for Out-of-Distribution Generalization [104.17683265084757]
  まず、適応性ギャップを明示的に考慮した一般化境界を確立する。 本稿では,目標に対するより良い仮説の選択を導くための効果的なギャップ推定法を提案する。 もう1つの方法は、オンラインターゲットサンプルを用いてモデルパラメータを適応させることにより、ギャップを最小化することである。
  論文  参考訳（メタデータ） (2022-08-18T06:42:49Z)
• The Power of Sampling: Dimension-free Risk Bounds in Private ERM [25.676350220943274]
  本アルゴリズムは,ゼロ次オラクルのみを用いて,非平滑凸対象に対するランク依存的リスクバウンダリを実現することができることを示す。 これは、差分プライバシーにおけるサンプリングのパワーを強調します。
  論文  参考訳（メタデータ） (2021-05-28T07:28:24Z)
• Heterogeneous Risk Minimization [25.5458915855661]
  分散一般化のための不変学習法は、複数の学習環境を利用して不変関係を見つけることによって提案されている。 現代のデータセットは、明示的なソースラベルなしで複数のソースからのデータをマージすることで組み立てられる。 不均一リスク最小化(HRM: Heterogeneous Risk Minimization)フレームワークを提案し、データと不変関係間の潜在不均質性の共同学習を実現する。
  論文  参考訳（メタデータ） (2021-05-09T02:51:36Z)
• Treatment Effect Estimation using Invariant Risk Minimization [32.9769365726994]
  本研究では、不変リスク最小化(IRM)の領域一般化フレームワークを用いて、因果個人治療効果(ITE)を推定する新しい手法を提案する。 対照群と治療群の間に支持重なりがほとんどない場合に治療割り当てバイアスに取り組むことを目的としたIRMベースのITE推定器を提案する。 サポートミスマッチがより顕著な設定では,ITE推定に対する古典的回帰アプローチよりも向上することを示す。
  論文  参考訳（メタデータ） (2021-03-13T20:42:04Z)
• Empirical or Invariant Risk Minimization? A Sample Complexity Perspective [49.43806345820883]
  In-variant risk generalization (IRM) が広く採用されている経験的リスク最小化(ERM)フレームワークよりも好まれるかどうかは不明である。 データ生成機構の種類によって、2つのアプローチは、非常に異なる有限サンプルと振舞いを持つ可能性がある。 さらに、OOD溶液からの距離に関して、異なる要因(環境の数、モデルの複雑さ、およびIRMのペナルティ重量)がIRMのサンプルの複雑さにどのように影響するかについても検討する。
  論文  参考訳（メタデータ） (2020-10-30T17:55:30Z)
• The Risks of Invariant Risk Minimization [52.7137956951533]
  不変リスク最小化(Invariant Risk Minimization)は、データの深い不変性を学ぶという考え方に基づく目標である。 我々は、IRMの目的に基づく分類の最初の分析と、最近提案されたこれらの代替案について、かなり自然で一般的なモデルで分析する。 IRMは、テストデータがトレーニング分布と十分に類似していない限り、破滅的に失敗する可能性がある。
  論文  参考訳（メタデータ） (2020-10-12T14:54:32Z)
• Learning Invariant Representations and Risks for Semi-supervised Domain Adaptation [109.73983088432364]
  半教師付きドメイン適応(Semi-DA)の設定の下で不変表現とリスクを同時に学習することを目的とした最初の手法を提案する。 共同で textbfLearning textbfInvariant textbfRepresentations と textbfRisks の LIRR アルゴリズムを導入する。
  論文  参考訳（メタデータ） (2020-10-09T15:42:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。