論文の概要: Pareto Invariant Risk Minimization

• arxiv url: http://arxiv.org/abs/2206.07766v1
• Date: Wed, 15 Jun 2022 19:04:02 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-18 20:34:13.950103
• Title: Pareto Invariant Risk Minimization
• Title（参考訳）: パレート不変リスク最小化
• Authors: Yongqiang Chen, Kaiwen Zhou, Yatao Bian, Binghui Xie, Kaili Ma, Yonggang Zhang, Han Yang, Bo Han, James Cheng
• Abstract要約: 我々は、パレート不変リスク最小化(PAIR)と呼ばれる、不変リスク最小化(IRM)のための新しい最適化手法を提案する。 適切なガイダンスが提供されると、PAIRは実際のIRMのバリアを克服して、本来のIRMによる障壁を克服できることを示す。
• 参考スコア（独自算出の注目度）: 32.01775861630696
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Despite the success of invariant risk minimization (IRM) in tackling the Out-of-Distribution generalization problem, IRM can compromise the optimality when applied in practice. The practical variants of IRM, e.g., IRMv1, have been shown to have significant gaps with IRM and thus could fail to capture the invariance even in simple problems. Moreover, the optimization procedure in IRMv1 involves two intrinsically conflicting objectives, and often requires careful tuning for the objective weights. To remedy the above issues, we reformulate IRM as a multi-objective optimization problem, and propose a new optimization scheme for IRM, called PAreto Invariant Risk Minimization (PAIR). PAIR can adaptively adjust the optimization direction under the objective conflicts. Furthermore, we show PAIR can empower the practical IRM variants to overcome the barriers with the original IRM when provided with proper guidance. We conduct experiments with ColoredMNIST to confirm our theory and the effectiveness of PAIR.
• Abstract（参考訳）: Invariant risk minimization (IRM) がアウト・オブ・ディストリビューションの一般化問題に対処することに成功したにもかかわらず、IRMは実際に適用した場合の最適性を損なうことができる。 IRMの実用的な変種(例えばIRMv1)は、IRMと大きなギャップがあることが示され、単純な問題であっても不変性を捉えられなかった。 さらに、IRMv1の最適化手順には、本質的に矛盾する2つの目的が含まれており、しばしば目標重みに対する注意深いチューニングが必要である。 上記の問題を解決するため,多目的最適化問題として IRM を再構成し,パレート不変リスク最小化 (PAIR) と呼ばれる新たな IRM 最適化手法を提案する。 PAIRは、目的の矛盾の下で最適化方向を適応的に調整することができる。 さらに,実際のirm変種に対して,適切な指導を行うことで,元のirmの障壁を克服できることを示す。 そこで我々はColoredMNISTを用いてPAIRの理論と有効性を確認する実験を行った。

関連論文リスト

• Continual Invariant Risk Minimization [46.051656238770086]
  経験的リスク最小化は、学習モデルが不変な特徴表現をキャプチャしない場合、目に見えない環境での一般化の振る舞いを損なう可能性がある。 不変リスク最小化(IRM)は環境不変表現を発見するための最近の提案である。
  論文  参考訳（メタデータ） (2023-10-21T11:44:47Z)
• Out-of-Distribution Optimality of Invariant Risk Minimization [20.389816785165333]
  不変リスク最小化(IRM)は、o.o.d.リスクを最小化するための有望なアプローチであると考えられている。 本稿では、二段階最適化問題の解が特定の条件下でのo.o.d.リスクを最小限に抑えることを厳密に証明する。
  論文  参考訳（メタデータ） (2023-07-22T03:31:15Z)
• On the Variance, Admissibility, and Stability of Empirical Risk Minimization [80.26309576810844]
  2乗損失を持つ経験的リスク最小化(ERM)は、極小最適誤差率に達する可能性がある。 軽微な仮定では、ERMの準最適性はばらつきよりも大きなバイアスによるものでなければならない。 また、我々の推定は、非ドンスカー類に対するCaponnetto と Rakhlin (2006) の主な結果を補完する ERM の安定性を示唆している。
  論文  参考訳（メタデータ） (2023-05-29T15:25:48Z)
• What Is Missing in IRM Training and Evaluation? Challenges and Solutions [41.56612265456626]
  環境に依存しないデータ表現と予測を取得する手段として、不変リスク最小化(IRM)が注目されている。 近年の研究では、当初提案されたIRM最適化(IRM)の最適性は、実際は損なわれる可能性があることが判明している。 IRMのトレーニングと評価における3つの実践的限界を特定し,解決する。
  論文  参考訳（メタデータ） (2023-03-04T07:06:24Z)
• A State-Augmented Approach for Learning Optimal Resource Management Decisions in Wireless Networks [58.720142291102135]
  マルチユーザ無線ネットワークにおける無線リソース管理(RRM)問題について考察する。 目標は、ユーザのエルゴード平均パフォーマンスに制約を受けるネットワーク全体のユーティリティ機能を最適化することである。 本稿では, RRM の制約に対応する2変数の集合を入力として, 瞬時ネットワーク状態と並行して, RRM のパラメータ化を提案する。
  論文  参考訳（メタデータ） (2022-10-28T21:24:13Z)
• The Missing Invariance Principle Found -- the Reciprocal Twin of Invariant Risk Minimization [7.6146285961466]
  リスク最小化(IRM)では、オフ・オブ・ディストリビューション(OOD)データに悪影響を与える可能性がある。 我々はMRI-v1が十分な環境下で不変な予測器を保証できることを示す。 また、MRIはIRMを強く上回り、画像ベース問題においてほぼ最適OODを実現していることを示す。
  論文  参考訳（メタデータ） (2022-05-29T00:14:51Z)
• Effective Mutation Rate Adaptation through Group Elite Selection [50.88204196504888]
  本稿では,GESMR(Group Elite Selection of Mutation Rates)アルゴリズムを提案する。 GESMRは解の集団とMRの集団を共進化させ、各MRは解群に割り当てられる。 同じ数の関数評価とオーバーヘッドのほとんどないGESMRは、以前のアプローチよりも早く、より良いソリューションに収束する。
  論文  参考訳（メタデータ） (2022-04-11T01:08:26Z)
• Meta-Learned Invariant Risk Minimization [12.6484257912092]
  経験的リスク最小化(ERM)ベースの機械学習アルゴリズムは、アウト・オブ・ディストリビューション(OOD)から得られたデータに対する弱い一般化パフォーマンスに苦しんでいる。 本稿では,IRMのためのメタラーニングに基づく新しいアプローチを提案する。 IRMv1 や IRM のすべての変種よりも OOD の一般化性能が優れているだけでなく,安定性が向上した IRMv1 の弱点にも対処できることを示す。
  論文  参考訳（メタデータ） (2021-03-24T02:52:48Z)
• The Risks of Invariant Risk Minimization [52.7137956951533]
  不変リスク最小化(Invariant Risk Minimization)は、データの深い不変性を学ぶという考え方に基づく目標である。 我々は、IRMの目的に基づく分類の最初の分析と、最近提案されたこれらの代替案について、かなり自然で一般的なモデルで分析する。 IRMは、テストデータがトレーニング分布と十分に類似していない限り、破滅的に失敗する可能性がある。
  論文  参考訳（メタデータ） (2020-10-12T14:54:32Z)
• Tilted Empirical Risk Minimization [26.87656095874882]
  経験的リスク最小化への直接的な拡張を通じて、個人の損失の影響を柔軟に調整できることを示す。 その結果, TERMはアウトリーチの影響を増大または減少させ, 公平性や堅牢性を実現することができることがわかった。 また、外れ値に同時に対処したり、公平性を促進するなど、全く新しいアプリケーションを可能にすることもできる。
  論文  参考訳（メタデータ） (2020-07-02T14:49:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。