論文の概要: Out-of-Distribution Generalization via Risk Extrapolation (REx)

• arxiv url: http://arxiv.org/abs/2003.00688v5
• Date: Thu, 25 Feb 2021 17:53:07 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-27 03:56:49.934773
• Title: Out-of-Distribution Generalization via Risk Extrapolation (REx)
• Title（参考訳）: リスク外挿(rex)によるアウト・オブ・ディストリビューション・ジェネライゼーション
• Authors: David Krueger, Ethan Caballero, Joern-Henrik Jacobsen, Amy Zhang, Jonathan Binas, Dinghuai Zhang, Remi Le Priol, Aaron Courville
• Abstract要約: トレーニング領域間でのリスクの差異を低減させることで,広範囲の極端分布シフトに対するモデルの感度を低下させることができることを示す。 我々は、このアプローチであるリスク外挿(REx)を、外挿ドメインの摂動集合に対する堅牢な最適化の一形態として動機付けている。 我々は,RExの変種がターゲットの因果的機構を回復し,入力分布の変化に頑健性をもたらすことを証明した。
• 参考スコア（独自算出の注目度）: 13.397286701438217
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Distributional shift is one of the major obstacles when transferring machine learning prediction systems from the lab to the real world. To tackle this problem, we assume that variation across training domains is representative of the variation we might encounter at test time, but also that shifts at test time may be more extreme in magnitude. In particular, we show that reducing differences in risk across training domains can reduce a model's sensitivity to a wide range of extreme distributional shifts, including the challenging setting where the input contains both causal and anti-causal elements. We motivate this approach, Risk Extrapolation (REx), as a form of robust optimization over a perturbation set of extrapolated domains (MM-REx), and propose a penalty on the variance of training risks (V-REx) as a simpler variant. We prove that variants of REx can recover the causal mechanisms of the targets, while also providing some robustness to changes in the input distribution ("covariate shift"). By appropriately trading-off robustness to causally induced distributional shifts and covariate shift, REx is able to outperform alternative methods such as Invariant Risk Minimization in situations where these types of shift co-occur.
• Abstract（参考訳）: 分散シフトは、機械学習予測システムを研究室から現実世界に転送する際の大きな障害の1つである。 この問題に取り組むために、トレーニング領域間のばらつきはテスト時に遭遇する可能性のあるばらつきの代表であると同時に、テスト時のシフトがより極端に大きいかもしれないと仮定する。 特に,訓練領域間でのリスク差の低減は,入力が因果的要素と反因果的要素の両方を含むような困難な設定を含む,広範囲の極端な分布シフトに対するモデルの感度を低減できることを示す。 本稿では,このアプローチであるリスク外挿(REx)を,外挿領域の摂動集合(MM-REx)に対する堅牢な最適化の一形態として動機付け,より単純な変種としてのトレーニングリスク(V-REx)の分散に対するペナルティを提案する。 我々は、rexの変異がターゲットの因果メカニズムを回復できると同時に、入力分布の変化("covariate shift")に対するロバスト性も提供することを証明した。 因果的に誘導される分布シフトや共変量シフトに対するロバストなトレードオフによって、Rexはこれらのシフトが共起する状況において不変リスク最小化のような代替手法より優れている。

関連論文リスト

• Proxy Methods for Domain Adaptation [78.03254010884783]
  プロキシ変数は、遅延変数を明示的にリカバリしたりモデル化したりすることなく、分散シフトへの適応を可能にする。 両設定の複雑な分散シフトに適応する2段階のカーネル推定手法を開発した。
  論文  参考訳（メタデータ） (2024-03-12T09:32:41Z)
• Invariant Anomaly Detection under Distribution Shifts: A Causal Perspective [6.845698872290768]
  異常検出(AD、Anomaly Detection)は、異常なサンプルを識別する機械学習タスクである。 分散シフトの制約の下では、トレーニングサンプルとテストサンプルが同じ分布から引き出されるという仮定が崩壊する。 我々は,異常検出モデルのレジリエンスを,異なる種類の分布シフトに高めようとしている。
  論文  参考訳（メタデータ） (2023-12-21T23:20:47Z)
• Diagnosing and Rectifying Fake OOD Invariance: A Restructured Causal Approach [51.012396632595554]
  不変表現学習(IRL)は、不変因果的特徴から環境から切り離されたラベルへの予測を促進する。 最近の理論的結果は、IRLによって回復されたいくつかの因果的特徴は、訓練環境ではドメイン不変のふりをするが、目に見えない領域では失敗する。 本研究では,RS-SCMに関する条件付き相互情報に基づく手法を開発し,その効果を巧みに補正する。
  論文  参考訳（メタデータ） (2023-12-15T12:58:05Z)
• Domain Generalisation via Risk Distribution Matching [17.334794920092577]
  本稿では,リスク分布を利用した領域一般化(DG)手法を提案する。 テストでは、同様の、あるいは潜在的に大きな、リスク分布のばらつきを観察することができる。 リスク分散マッチング(RDM)は最先端DG法よりも優れた一般化能力を示す。
  論文  参考訳（メタデータ） (2023-10-28T05:23:55Z)
• On the Connection between Invariant Learning and Adversarial Training for Out-of-Distribution Generalization [14.233038052654484]
  ディープラーニングモデルは、アウト・オブ・ディストリビューション(OOD)データに一般化されたときに壊滅的に失敗する、急激な機能に依存している。 最近の研究によると、不変リスク最小化(IRM)は特定の種類の分散シフトに対してのみ有効であり、他のケースでは失敗する。 ドメイン固有摂動による分布変化を緩和するATインスパイアされた手法であるドメインワイズ・アドバイザリアル・トレーニング(DAT)を提案する。
  論文  参考訳（メタデータ） (2022-12-18T13:13:44Z)
• Tailoring to the Tails: Risk Measures for Fine-Grained Tail Sensitivity [10.482805367361818]
  予測されるリスクアレンジメント(ERM)は、マシンラーニングシステムの中核にある。 本稿では,所望のテール感度を示すリスク対策を構築するための一般的な手法を提案する。
  論文  参考訳（メタデータ） (2022-08-05T09:51:18Z)
• Balancing Fairness and Robustness via Partial Invariance [17.291131923335918]
  不変リスク最小化(IRM)は、アウト・オブ・ディストリビューション(OOD)問題を解決するための環境セットから不変機能を学ぶことを目的としている。 障害ケースを軽減するために、部分的な不変性フレームワークを議論する。 本研究は, 一定の条件下での公正性とリスクのトレードオフを軽減するため, 部分的不変リスク最小化が可能であることを示す。
  論文  参考訳（メタデータ） (2021-12-17T06:41:47Z)
• Causally-motivated Shortcut Removal Using Auxiliary Labels [63.686580185674195]
  このようなリスク不変予測器の学習に重要な課題はショートカット学習である。 この課題に対処するために、フレキシブルで因果的なアプローチを提案する。 この因果的動機付けされた正規化スキームが堅牢な予測子を生み出すことを理論的および実証的に示す。
  論文  参考訳（メタデータ） (2021-05-13T16:58:45Z)
• The Risks of Invariant Risk Minimization [52.7137956951533]
  不変リスク最小化(Invariant Risk Minimization)は、データの深い不変性を学ぶという考え方に基づく目標である。 我々は、IRMの目的に基づく分類の最初の分析と、最近提案されたこれらの代替案について、かなり自然で一般的なモデルで分析する。 IRMは、テストデータがトレーニング分布と十分に類似していない限り、破滅的に失敗する可能性がある。
  論文  参考訳（メタデータ） (2020-10-12T14:54:32Z)
• Learning Invariant Representations and Risks for Semi-supervised Domain Adaptation [109.73983088432364]
  半教師付きドメイン適応(Semi-DA)の設定の下で不変表現とリスクを同時に学習することを目的とした最初の手法を提案する。 共同で textbfLearning textbfInvariant textbfRepresentations と textbfRisks の LIRR アルゴリズムを導入する。
  論文  参考訳（メタデータ） (2020-10-09T15:42:35Z)
• Estimating Generalization under Distribution Shifts via Domain-Invariant Representations [75.74928159249225]
  未知の真のターゲットラベルのプロキシとして、ドメイン不変の予測器のセットを使用します。 結果として生じるリスク見積の誤差は、プロキシモデルのターゲットリスクに依存する。
  論文  参考訳（メタデータ） (2020-07-06T17:21:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。