論文の概要: Learning Optimal Features via Partial Invariance
- arxiv url: http://arxiv.org/abs/2301.12067v1
- Date: Sat, 28 Jan 2023 02:48:14 GMT
- ステータス: 処理完了
- システム内更新日: 2023-01-31 19:13:35.306652
- Title: Learning Optimal Features via Partial Invariance
- Title(参考訳): 部分的不変性による最適特徴の学習
- Authors: Moulik Choraria, Ibtihal Ferwana, Ankur Mani, Lav R. Varshney
- Abstract要約: 不変リスク最小化フレームワークの緩和としての部分的不変性の概念を提案する。
問題設定では、まずIRMソリューションのサブ最適性を強調します。
次に、トレーニングドメインの分割が、ドメインに関するメタ情報へのアクセスを前提として、不変モデルの性能向上にどのように役立つかを実証する。
- 参考スコア(独自算出の注目度): 18.552839725370383
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Learning models that are robust to test-time distribution shifts is a key
concern in domain generalization, and in the wider context of their real-life
applicability. Invariant Risk Minimization (IRM) is one particular framework
that aims to learn deep invariant features from multiple domains and has
subsequently led to further variants. A key assumption for the success of these
methods requires that the underlying causal mechanisms/features remain
invariant across domains and the true invariant features be sufficient to learn
the optimal predictor. In practical problem settings, these assumptions are
often not satisfied, which leads to IRM learning a sub-optimal predictor for
that task. In this work, we propose the notion of partial invariance as a
relaxation of the IRM framework. Under our problem setting, we first highlight
the sub-optimality of the IRM solution. We then demonstrate how partitioning
the training domains, assuming access to some meta-information about the
domains, can help improve the performance of invariant models via partial
invariance. Finally, we conduct several experiments, both in linear settings as
well as with classification tasks in language and images with deep models,
which verify our conclusions.
- Abstract(参考訳): テスト時の分散シフトに堅牢な学習モデルは、ドメインの一般化と、実際の適用可能性のより広いコンテキストにおいて重要な関心事である。
不変リスク最小化(IRM、Invariant Risk Minimization)は、複数のドメインから深い不変性を学ぶことを目的とした特定のフレームワークである。
これらの手法の成功の鍵となる仮定は、基礎となる因果的メカニズムと特徴がドメイン間で不変であり、真の不変な特徴は最適な予測子を学ぶのに十分であるということである。
実際の問題設定では、これらの仮定はしばしば満たされず、irmはそのタスクの最適でない予測子を学習する。
本稿では、IRMフレームワークの緩和として部分的不変性の概念を提案する。
問題設定では、まずIRMソリューションのサブ最適性を強調します。
次に、トレーニングドメインの分割が、ドメインに関するメタ情報へのアクセスを前提として、部分的不変性を通じて不変モデルの性能を改善する方法を示す。
最後に,線形設定と言語分類タスク,深層モデルを用いた画像のいずれにおいても実験を行い,結論を検証した。
関連論文リスト
- Towards Understanding Variants of Invariant Risk Minimization through
the Lens of Calibration [0.8158530638728501]
実世界のアプリケーションでは、テスト分布はトレーニングとは異なることが多い。
不変リスク最小化(Invariant Risk Minimization)は、異なる環境間で不変な特徴を特定し、アウト・オブ・ディストリビューションを強化することを目的としている。
本研究では,これらの近似IRM手法について検討し,予測誤差(ECE)を指標として検討した。
論文 参考訳(メタデータ) (2024-01-31T02:08:43Z) - Diagnosing and Rectifying Fake OOD Invariance: A Restructured Causal
Approach [51.012396632595554]
不変表現学習(IRL)は、不変因果的特徴から環境から切り離されたラベルへの予測を促進する。
最近の理論的結果は、IRLによって回復されたいくつかの因果的特徴は、訓練環境ではドメイン不変のふりをするが、目に見えない領域では失敗する。
本研究では,RS-SCMに関する条件付き相互情報に基づく手法を開発し,その効果を巧みに補正する。
論文 参考訳(メタデータ) (2023-12-15T12:58:05Z) - The Missing Invariance Principle Found -- the Reciprocal Twin of
Invariant Risk Minimization [7.6146285961466]
リスク最小化(IRM)では、オフ・オブ・ディストリビューション(OOD)データに悪影響を与える可能性がある。
我々はMRI-v1が十分な環境下で不変な予測器を保証できることを示す。
また、MRIはIRMを強く上回り、画像ベース問題においてほぼ最適OODを実現していることを示す。
論文 参考訳(メタデータ) (2022-05-29T00:14:51Z) - Distributionally Robust Models with Parametric Likelihood Ratios [123.05074253513935]
3つの単純なアイデアにより、より広いパラメトリックな確率比のクラスを用いてDROでモデルを訓練することができる。
パラメトリック逆数を用いてトレーニングしたモデルは、他のDROアプローチと比較して、サブポピュレーションシフトに対して一貫して頑健であることがわかった。
論文 参考訳(メタデータ) (2022-04-13T12:43:12Z) - Domain-Adjusted Regression or: ERM May Already Learn Features Sufficient
for Out-of-Distribution Generalization [52.7137956951533]
既存の特徴から予測器を学習するためのよりシンプルな手法を考案することは、将来の研究にとって有望な方向である、と我々は主張する。
本稿では,線形予測器を学習するための凸目標である領域調整回帰(DARE)を紹介する。
自然モデルの下では、DARE解が制限されたテスト分布の集合に対する最小最適予測器であることを証明する。
論文 参考訳(メタデータ) (2022-02-14T16:42:16Z) - DAIR: Data Augmented Invariant Regularization [20.364846667289374]
本稿では,データ拡張不変正規化(DAIR)を提案する。
DAIRレギュレータの特定の形式は、さまざまな設定で一貫して良好に機能することを示す。
ドメインシフトを含む複数の実世界の学習問題に適用する。
論文 参考訳(メタデータ) (2021-10-21T15:30:40Z) - On Tilted Losses in Machine Learning: Theory and Applications [26.87656095874882]
指数傾き(英: Exponential tilting)は、統計学、確率、情報理論、最適化などの分野で一般的に用いられる技法である。
本研究では、指数傾斜を用いて個人損失の影響を柔軟に調整するEMMへの簡単な拡張について検討する。
フレームワークはEMMを一貫して上回り、最先端の、問題固有のアプローチと競合するパフォーマンスを提供できることが分かりました。
論文 参考訳(メタデータ) (2021-09-13T17:33:42Z) - Fairness and Robustness in Invariant Learning: A Case Study in Toxicity
Classification [13.456851070400024]
不変リスク最小化(Invariant Risk Minimization、IRM)は、因果発見にインスパイアされた手法を用いて、堅牢な予測子を見つけるドメイン一般化アルゴリズムである。
IRMは経験的リスク最小化法(ERM)よりも分布外精度と公平性を向上できることを示す。
論文 参考訳(メタデータ) (2020-11-12T16:42:14Z) - The Risks of Invariant Risk Minimization [52.7137956951533]
不変リスク最小化(Invariant Risk Minimization)は、データの深い不変性を学ぶという考え方に基づく目標である。
我々は、IRMの目的に基づく分類の最初の分析と、最近提案されたこれらの代替案について、かなり自然で一般的なモデルで分析する。
IRMは、テストデータがトレーニング分布と十分に類似していない限り、破滅的に失敗する可能性がある。
論文 参考訳(メタデータ) (2020-10-12T14:54:32Z) - Learning Diverse Representations for Fast Adaptation to Distribution
Shift [78.83747601814669]
本稿では,複数のモデルを学習する手法を提案する。
分散シフトへの迅速な適応を促進するフレームワークの能力を実証する。
論文 参考訳(メタデータ) (2020-06-12T12:23:50Z) - Learning to Learn Kernels with Variational Random Features [118.09565227041844]
メタラーニングフレームワークにランダムなフーリエ機能を持つカーネルを導入し、その強力な数ショット学習能力を活用する。
変分推論問題としてメタVRFの最適化を定式化する。
MetaVRFは、既存のメタ学習方法に比べて、はるかに優れた、少なくとも競争力のあるパフォーマンスを提供します。
論文 参考訳(メタデータ) (2020-06-11T18:05:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。