論文の概要: Invariance Principle Meets Vicinal Risk Minimization

• arxiv url: http://arxiv.org/abs/2407.05765v2
• Date: Thu, 23 Jan 2025 15:42:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-24 19:17:07.003014
• Title: Invariance Principle Meets Vicinal Risk Minimization
• Title（参考訳）: リスク最小化のための不変原理
• Authors: Yaoyao Zhu, Xiuding Cai, Yingkai Wang, Dong Miao, Zhongliang Fu, Xu Luo,
• Abstract要約: Invariant Risk Minimization (IRM)は、ドメイン不変の特徴を学習することでOODの一般化に取り組むことを目的としている。 ラベル一貫性を維持しつつデータセットの多様性を向上させるために,ドメイン共有セマンティックデータ拡張(SDA)モジュールを提案する。
• 参考スコア（独自算出の注目度）: 2.026281591452464
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Deep learning models excel in computer vision tasks but often fail to generalize to out-of-distribution (OOD) domains. Invariant Risk Minimization (IRM) aims to address OOD generalization by learning domain-invariant features. However, IRM struggles with datasets exhibiting significant diversity shifts. While data augmentation methods like Mixup and Semantic Data Augmentation (SDA) enhance diversity, they risk over-augmentation and label instability. To address these challenges, we propose a domain-shared Semantic Data Augmentation (SDA) module, a novel implementation of Variance Risk Minimization (VRM) designed to enhance dataset diversity while maintaining label consistency. We further provide a Rademacher complexity analysis, establishing a tighter generalization error bound compared to baseline methods. Extensive evaluations on OOD benchmarks, including PACS, VLCS, OfficeHome, and TerraIncognita, demonstrate consistent performance improvements over state-of-the-art domain generalization methods.
• Abstract（参考訳）: ディープラーニングモデルはコンピュータビジョンタスクに優れるが、アウト・オブ・ディストリビューション(OOD)ドメインへの一般化に失敗することが多い。 Invariant Risk Minimization (IRM)は、ドメイン不変の特徴を学習することでOODの一般化に取り組むことを目的としている。 しかし、IRMは、大きな多様性の変化を示すデータセットと苦労している。 Mixup や Semantic Data Augmentation (SDA) のようなデータ拡張手法は多様性を高めるが、過度な拡張とラベルの不安定性のリスクがある。 これらの課題に対処するために,ラベルの整合性を維持しつつデータセットの多様性を向上させるために設計された,可変リスク最小化(VRM)の新たな実装であるドメイン共有セマンティックデータ拡張(SDA)モジュールを提案する。 さらに、Radecherの複雑性解析を行い、ベースライン法よりも厳密な一般化誤差を確立する。 PACS、VLCS、OfficeHome、TerraIncognitaを含むOODベンチマークの大規模な評価では、最先端のドメイン一般化手法よりも一貫したパフォーマンス向上が示されている。

関連論文リスト

• Weight Averaging for Out-of-Distribution Generalization and Few-Shot Domain Adaptation [0.0]
  コンピュータビジョンにおけるアウト・オブ・ディストリビューションの一般化に対処する2つの手法が開発されている。 本稿では、損失正則化器として勾配類似性によってWAのモデル多様性を高めることを提案する。 また、WAとSAMを組み合わせることで、少数ショット領域適応の問題を解決することを提案する。
  論文  参考訳（メタデータ） (2025-01-14T10:04:05Z)
• Towards Robust Multimodal Sentiment Analysis with Incomplete Data [20.75292807497547]
  頑健なマルチモーダル感性分析(MSA)を実現するための言語支配型耐雑音学習ネットワーク(LNLN)を提案する。 LNLNは、支配的モダリティ補正(DMC)モジュールと支配的モダリティベースマルチモーダル学習(DMML)モジュールを備え、様々なノイズシナリオにおけるモデルの堅牢性を高める。
  論文  参考訳（メタデータ） (2024-09-30T07:14:31Z)
• Diagnosing and Rectifying Fake OOD Invariance: A Restructured Causal Approach [51.012396632595554]
  不変表現学習(IRL)は、不変因果的特徴から環境から切り離されたラベルへの予測を促進する。 最近の理論的結果は、IRLによって回復されたいくつかの因果的特徴は、訓練環境ではドメイン不変のふりをするが、目に見えない領域では失敗する。 本研究では,RS-SCMに関する条件付き相互情報に基づく手法を開発し,その効果を巧みに補正する。
  論文  参考訳（メタデータ） (2023-12-15T12:58:05Z)
• Continual Invariant Risk Minimization [46.051656238770086]
  経験的リスク最小化は、学習モデルが不変な特徴表現をキャプチャしない場合、目に見えない環境での一般化の振る舞いを損なう可能性がある。 不変リスク最小化(IRM)は環境不変表現を発見するための最近の提案である。
  論文  参考訳（メタデータ） (2023-10-21T11:44:47Z)
• On the Variance, Admissibility, and Stability of Empirical Risk Minimization [80.26309576810844]
  2乗損失を持つ経験的リスク最小化(ERM)は、極小最適誤差率に達する可能性がある。 軽微な仮定では、ERMの準最適性はばらつきよりも大きなバイアスによるものでなければならない。 また、我々の推定は、非ドンスカー類に対するCaponnetto と Rakhlin (2006) の主な結果を補完する ERM の安定性を示唆している。
  論文  参考訳（メタデータ） (2023-05-29T15:25:48Z)
• Modeling the Q-Diversity in a Min-max Play Game for Robust Optimization [61.39201891894024]
  群分布的ロバスト最適化(群 DRO)は、事前定義された群に対する最悪の損失を最小限にすることができる。 グループDROフレームワークをQ-Diversityを提案して再構築する。 インタラクティブなトレーニングモードによって特徴付けられるQ-Diversityは、アノテーションからグループ識別を緩和し、直接パラメータ化を行う。
  論文  参考訳（メタデータ） (2023-05-20T07:02:27Z)
• Source-free Domain Adaptation Requires Penalized Diversity [60.04618512479438]
  ソースデータがない場合、異なるドメイン間の知識伝達に対処するために、ソースフリードメイン適応(SFDA)が導入された。 教師なしのFDAでは、多様性はソース上の1つの仮説を学習するか、共有された特徴抽出器で複数の仮説を学習することに限定される。 本稿では,異なる特徴抽出器を用いて表現多様性を促進する新しい無教師付きSFDAアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-04-06T00:20:19Z)
• ERM++: An Improved Baseline for Domain Generalization [69.80606575323691]
  経験的リスク最小化(ERM)は、適切に調整された場合、最も複雑なドメイン一般化(DG)手法より優れている。 ERM++は以前のEMMベースラインと比較してDGのパフォーマンスを5%以上改善している。
  論文  参考訳（メタデータ） (2023-04-04T17:31:15Z)
• Learning Optimal Features via Partial Invariance [18.552839725370383]
  不変リスク最小化(IRM)は、複数の環境から堅牢なモデルを学ぶことを目的とした一般的なフレームワークである。 IRMが予測器を過度に抑制できることを示し、これを補うために、$textitpartial invariance$を介して緩和を提案する。 線形設定と、言語と画像データの両方のタスクにおけるディープニューラルネットワークの両方で実施されたいくつかの実験により、結論の検証が可能になった。
  論文  参考訳（メタデータ） (2023-01-28T02:48:14Z)
• Domain-Specific Risk Minimization for Out-of-Distribution Generalization [104.17683265084757]
  まず、適応性ギャップを明示的に考慮した一般化境界を確立する。 本稿では,目標に対するより良い仮説の選択を導くための効果的なギャップ推定法を提案する。 もう1つの方法は、オンラインターゲットサンプルを用いてモデルパラメータを適応させることにより、ギャップを最小化することである。
  論文  参考訳（メタデータ） (2022-08-18T06:42:49Z)
• Regularizing Variational Autoencoder with Diversity and Uncertainty Awareness [61.827054365139645]
  変分オートエンコーダ(VAE)は、償却変分推論に基づいて潜伏変数の後部を近似する。 よりディバースで不確実な潜在空間を学習するための代替モデルDU-VAEを提案する。
  論文  参考訳（メタデータ） (2021-10-24T07:58:13Z)
• Learning Invariant Representation with Consistency and Diversity for Semi-supervised Source Hypothesis Transfer [46.68586555288172]
  本稿では,SSHT(Semi-supervised Source hypothesis Transfer)という新たなタスクを提案する。 本研究では、ランダムに拡張された2つの未ラベルデータ間の予測整合性を容易にし、SSHTの簡易かつ効果的なフレームワークである一貫性と多様性の学習(CDL)を提案する。 実験の結果,本手法は,DomainNet,Office-Home,Office-31データセット上で,既存のSSDA手法や教師なしモデル適応手法よりも優れていた。
  論文  参考訳（メタデータ） (2021-07-07T04:14:24Z)
• The Power of Sampling: Dimension-free Risk Bounds in Private ERM [25.676350220943274]
  本アルゴリズムは,ゼロ次オラクルのみを用いて,非平滑凸対象に対するランク依存的リスクバウンダリを実現することができることを示す。 これは、差分プライバシーにおけるサンプリングのパワーを強調します。
  論文  参考訳（メタデータ） (2021-05-28T07:28:24Z)
• Heterogeneous Risk Minimization [25.5458915855661]
  分散一般化のための不変学習法は、複数の学習環境を利用して不変関係を見つけることによって提案されている。 現代のデータセットは、明示的なソースラベルなしで複数のソースからのデータをマージすることで組み立てられる。 不均一リスク最小化(HRM: Heterogeneous Risk Minimization)フレームワークを提案し、データと不変関係間の潜在不均質性の共同学習を実現する。
  論文  参考訳（メタデータ） (2021-05-09T02:51:36Z)
• Meta-Learned Invariant Risk Minimization [12.6484257912092]
  経験的リスク最小化(ERM)ベースの機械学習アルゴリズムは、アウト・オブ・ディストリビューション(OOD)から得られたデータに対する弱い一般化パフォーマンスに苦しんでいる。 本稿では,IRMのためのメタラーニングに基づく新しいアプローチを提案する。 IRMv1 や IRM のすべての変種よりも OOD の一般化性能が優れているだけでなく,安定性が向上した IRMv1 の弱点にも対処できることを示す。
  論文  参考訳（メタデータ） (2021-03-24T02:52:48Z)
• Treatment Effect Estimation using Invariant Risk Minimization [32.9769365726994]
  本研究では、不変リスク最小化(IRM)の領域一般化フレームワークを用いて、因果個人治療効果(ITE)を推定する新しい手法を提案する。 対照群と治療群の間に支持重なりがほとんどない場合に治療割り当てバイアスに取り組むことを目的としたIRMベースのITE推定器を提案する。 サポートミスマッチがより顕著な設定では,ITE推定に対する古典的回帰アプローチよりも向上することを示す。
  論文  参考訳（メタデータ） (2021-03-13T20:42:04Z)
• Empirical or Invariant Risk Minimization? A Sample Complexity Perspective [49.43806345820883]
  In-variant risk generalization (IRM) が広く採用されている経験的リスク最小化(ERM)フレームワークよりも好まれるかどうかは不明である。 データ生成機構の種類によって、2つのアプローチは、非常に異なる有限サンプルと振舞いを持つ可能性がある。 さらに、OOD溶液からの距離に関して、異なる要因(環境の数、モデルの複雑さ、およびIRMのペナルティ重量)がIRMのサンプルの複雑さにどのように影響するかについても検討する。
  論文  参考訳（メタデータ） (2020-10-30T17:55:30Z)
• The Risks of Invariant Risk Minimization [52.7137956951533]
  不変リスク最小化(Invariant Risk Minimization)は、データの深い不変性を学ぶという考え方に基づく目標である。 我々は、IRMの目的に基づく分類の最初の分析と、最近提案されたこれらの代替案について、かなり自然で一般的なモデルで分析する。 IRMは、テストデータがトレーニング分布と十分に類似していない限り、破滅的に失敗する可能性がある。
  論文  参考訳（メタデータ） (2020-10-12T14:54:32Z)
• Learning Invariant Representations and Risks for Semi-supervised Domain Adaptation [109.73983088432364]
  半教師付きドメイン適応(Semi-DA)の設定の下で不変表現とリスクを同時に学習することを目的とした最初の手法を提案する。 共同で textbfLearning textbfInvariant textbfRepresentations と textbfRisks の LIRR アルゴリズムを導入する。
  論文  参考訳（メタデータ） (2020-10-09T15:42:35Z)
• Unsupervised Domain Adaptation in Person re-ID via k-Reciprocal Clustering and Large-Scale Heterogeneous Environment Synthesis [76.46004354572956]
  個人再識別のための教師なし領域適応手法を提案する。 実験結果から,ktCUDA法とSHRED法は,再同定性能において,+5.7 mAPの平均的改善を実現することがわかった。
  論文  参考訳（メタデータ） (2020-01-14T17:43:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。