論文の概要: Robust Invariant Representation Learning by Distribution Extrapolation

• arxiv url: http://arxiv.org/abs/2505.16126v1
• Date: Thu, 22 May 2025 02:03:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-23 17:12:47.972892
• Title: Robust Invariant Representation Learning by Distribution Extrapolation
• Title（参考訳）: 分布外挿によるロバスト不変表現学習
• Authors: Kotaro Yoshida, Slavakis Konstantinos,
• Abstract要約: 不変リスク最小化(IRM)は、ディープラーニングにおけるアウト・オブ・ディストリビューションの一般化を可能にすることを目的としている。 IRMv1を含む既存のアプローチでは、ペナルティベースの単一レベル近似を採用している。 合成分布シフトによるITMペナルティの増大により環境多様性を高める新しい枠組みが提案されている。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Invariant risk minimization (IRM) aims to enable out-of-distribution (OOD) generalization in deep learning by learning invariant representations. As IRM poses an inherently challenging bi-level optimization problem, most existing approaches -- including IRMv1 -- adopt penalty-based single-level approximations. However, empirical studies consistently show that these methods often fail to outperform well-tuned empirical risk minimization (ERM), highlighting the need for more robust IRM implementations. This work theoretically identifies a key limitation common to many IRM variants: their penalty terms are highly sensitive to limited environment diversity and over-parameterization, resulting in performance degradation. To address this issue, a novel extrapolation-based framework is proposed that enhances environmental diversity by augmenting the IRM penalty through synthetic distributional shifts. Extensive experiments -- ranging from synthetic setups to realistic, over-parameterized scenarios -- demonstrate that the proposed method consistently outperforms state-of-the-art IRM variants, validating its effectiveness and robustness.
• Abstract（参考訳）: 不変リスク最小化(IRM)は、不変表現を学習することで、ディープラーニングにおけるアウト・オブ・ディストリビューション(OOD)の一般化を可能にすることを目的としている。 IRMは本質的に二段階最適化の問題であり、IRMv1を含む既存のアプローチではペナルティベースの単一レベル近似を採用している。 しかしながら、実験的な研究は、これらの手法がよく調整された経験的リスク最小化(ERM)よりも優れていることを常に示しており、より堅牢なIRM実装の必要性を強調している。 この研究は理論的には、多くのIRM変種に共通する重要な制限を識別する:それらのペナルティ項は、限られた環境の多様性と過度なパラメータ化に非常に敏感であり、性能劣化をもたらす。 この問題に対処するために,IRMペナルティを合成分布シフトによって増大させることにより,環境多様性を高める新しい外挿ベースフレームワークを提案する。 人工的なセットアップから、現実的で過度にパラメータ化されたシナリオまで、広範囲にわたる実験は、提案手法が常に最先端のITMの変種を上回り、その有効性と堅牢性を検証することを実証している。

関連論文リスト

• Invariance Principle Meets Vicinal Risk Minimization [2.026281591452464]
  Invariant Risk Minimization (IRM)は、ドメイン不変の特徴を学習することでOODの一般化に取り組むことを目的としている。 ラベル一貫性を維持しつつデータセットの多様性を向上させるために,ドメイン共有セマンティックデータ拡張(SDA)モジュールを提案する。
  論文  参考訳（メタデータ） (2024-07-08T09:16:42Z)
• Continual Invariant Risk Minimization [46.051656238770086]
  経験的リスク最小化は、学習モデルが不変な特徴表現をキャプチャしない場合、目に見えない環境での一般化の振る舞いを損なう可能性がある。 不変リスク最小化(IRM)は環境不変表現を発見するための最近の提案である。
  論文  参考訳（メタデータ） (2023-10-21T11:44:47Z)
• Domain Generalization without Excess Empirical Risk [83.26052467843725]
  一般的なアプローチは、一般化を捉え、ペナルティと共同で経験的リスクを最小化するために、データ駆動の代理ペナルティを設計することである。 我々は、このレシピの重大な失敗モードは、共同最適化における誤ったペナルティや難しさによる過度なリスクであると主張している。 我々は,この問題を解消するアプローチを提案し,経験的リスクと刑罰を同時に最小化する代わりに,経験的リスクの最適性の制約の下でのペナルティを最小化する。
  論文  参考訳（メタデータ） (2023-08-30T08:46:46Z)
• What Is Missing in IRM Training and Evaluation? Challenges and Solutions [41.56612265456626]
  環境に依存しないデータ表現と予測を取得する手段として、不変リスク最小化(IRM)が注目されている。 近年の研究では、当初提案されたIRM最適化(IRM)の最適性は、実際は損なわれる可能性があることが判明している。 IRMのトレーニングと評価における3つの実践的限界を特定し,解決する。
  論文  参考訳（メタデータ） (2023-03-04T07:06:24Z)
• Pareto Invariant Risk Minimization [32.01775861630696]
  我々は、パレート不変リスク最小化(PAIR)と呼ばれる、不変リスク最小化(IRM)のための新しい最適化手法を提案する。 適切なガイダンスが提供されると、PAIRは実際のIRMのバリアを克服して、本来のIRMによる障壁を克服できることを示す。
  論文  参考訳（メタデータ） (2022-06-15T19:04:02Z)
• Trustworthy Multimodal Regression with Mixture of Normal-inverse Gamma Distributions [91.63716984911278]
  このアルゴリズムは、異なるモードの適応的統合の原理における不確かさを効率的に推定し、信頼できる回帰結果を生成する。 実世界のデータと実世界のデータの両方に対する実験結果から,多モード回帰タスクにおける本手法の有効性と信頼性が示された。
  論文  参考訳（メタデータ） (2021-11-11T14:28:12Z)
• Robust Reconfigurable Intelligent Surfaces via Invariant Risk and Causal Representations [55.50218493466906]
  本稿では,データ分布の変化に伴うロバスト再構成可能なインテリジェントサーフェス(ris)システム設計の問題について検討する。 不変リスク最小化(IRM)の概念を用いて、複数の環境にまたがる不変因果表現を用いて、予測器が各環境に対して同時に最適となるようにする。 予測器を探すためにニューラルネットワークベースのソリューションを採用し、その性能は経験的リスク最小化に基づく設計に対するシミュレーションによって検証される。
  論文  参考訳（メタデータ） (2021-05-04T21:36:31Z)
• Empirical or Invariant Risk Minimization? A Sample Complexity Perspective [49.43806345820883]
  In-variant risk generalization (IRM) が広く採用されている経験的リスク最小化(ERM)フレームワークよりも好まれるかどうかは不明である。 データ生成機構の種類によって、2つのアプローチは、非常に異なる有限サンプルと振舞いを持つ可能性がある。 さらに、OOD溶液からの距離に関して、異なる要因(環境の数、モデルの複雑さ、およびIRMのペナルティ重量)がIRMのサンプルの複雑さにどのように影響するかについても検討する。
  論文  参考訳（メタデータ） (2020-10-30T17:55:30Z)
• The Risks of Invariant Risk Minimization [52.7137956951533]
  不変リスク最小化(Invariant Risk Minimization)は、データの深い不変性を学ぶという考え方に基づく目標である。 我々は、IRMの目的に基づく分類の最初の分析と、最近提案されたこれらの代替案について、かなり自然で一般的なモデルで分析する。 IRMは、テストデータがトレーニング分布と十分に類似していない限り、破滅的に失敗する可能性がある。
  論文  参考訳（メタデータ） (2020-10-12T14:54:32Z)
• An Empirical Study of Invariant Risk Minimization [5.412466703928342]
  不変リスク最小化(invariant risk minimization)は、突発的相関に不変な予測子を学習するためのフレームワークである。 理論上の正当化にもかかわらず、IRMは様々な設定で広くテストされていない。 IRMv1は、IRMを近似的に解くために提案された最初の実用的なアルゴリズムである。
  論文  参考訳（メタデータ） (2020-04-10T12:23:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。