論文の概要: Learning Optimal Features via Partial Invariance
- arxiv url: http://arxiv.org/abs/2301.12067v2
- Date: Mon, 3 Apr 2023 16:05:50 GMT
- ステータス: 処理完了
- システム内更新日: 2023-04-04 21:39:42.777851
- Title: Learning Optimal Features via Partial Invariance
- Title(参考訳): 部分的不変性による最適特徴の学習
- Authors: Moulik Choraria, Ibtihal Ferwana, Ankur Mani, Lav R. Varshney
- Abstract要約: 不変リスク最小化(IRM)は、複数の環境から堅牢なモデルを学ぶことを目的とした一般的なフレームワークである。
IRMが予測器を過度に抑制できることを示し、これを補うために、$textitpartial invariance$を介して緩和を提案する。
線形設定と、言語と画像データの両方のタスクにおけるディープニューラルネットワークの両方で実施されたいくつかの実験により、結論の検証が可能になった。
- 参考スコア(独自算出の注目度): 18.552839725370383
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Learning models that are robust to distribution shifts is a key concern in
the context of their real-life applicability. Invariant Risk Minimization (IRM)
is a popular framework that aims to learn robust models from multiple
environments. The success of IRM requires an important assumption: the
underlying causal mechanisms/features remain invariant across environments.
When not satisfied, we show that IRM can over-constrain the predictor and to
remedy this, we propose a relaxation via $\textit{partial invariance}$. In this
work, we theoretically highlight the sub-optimality of IRM and then demonstrate
how learning from a partition of training domains can help improve invariant
models. Several experiments, conducted both in linear settings as well as with
deep neural networks on tasks over both language and image data, allow us to
verify our conclusions.
- Abstract(参考訳): 分散シフトに頑健な学習モデルは、実際の適用可能性のコンテキストにおいて重要な関心事である。
不変リスク最小化(IRM)は、複数の環境から堅牢なモデルを学ぶことを目的とした一般的なフレームワークである。
IRMの成功には重要な前提が必要であり、根底にある因果的メカニズムや特徴は環境全体にわたって不変である。
満足しない場合には、IRMが予測子を過度に抑制できることを示し、これを緩和するために、$\textit{partial invariance}$ による緩和を提案する。
本研究では、IRMの準最適性を理論的に強調し、トレーニング領域の分割から学習することで不変モデルを改善する方法を示す。
線形な設定と、言語と画像データの両方のタスク上のディープニューラルネットワークの両方で実施した実験によって、結論の検証が可能になった。
関連論文リスト
- Towards Understanding Variants of Invariant Risk Minimization through
the Lens of Calibration [0.8158530638728501]
実世界のアプリケーションでは、テスト分布はトレーニングとは異なることが多い。
不変リスク最小化(Invariant Risk Minimization)は、異なる環境間で不変な特徴を特定し、アウト・オブ・ディストリビューションを強化することを目的としている。
本研究では,これらの近似IRM手法について検討し,予測誤差(ECE)を指標として検討した。
論文 参考訳(メタデータ) (2024-01-31T02:08:43Z) - Diagnosing and Rectifying Fake OOD Invariance: A Restructured Causal
Approach [51.012396632595554]
不変表現学習(IRL)は、不変因果的特徴から環境から切り離されたラベルへの予測を促進する。
最近の理論的結果は、IRLによって回復されたいくつかの因果的特徴は、訓練環境ではドメイン不変のふりをするが、目に見えない領域では失敗する。
本研究では,RS-SCMに関する条件付き相互情報に基づく手法を開発し,その効果を巧みに補正する。
論文 参考訳(メタデータ) (2023-12-15T12:58:05Z) - The Missing Invariance Principle Found -- the Reciprocal Twin of
Invariant Risk Minimization [7.6146285961466]
リスク最小化(IRM)では、オフ・オブ・ディストリビューション(OOD)データに悪影響を与える可能性がある。
我々はMRI-v1が十分な環境下で不変な予測器を保証できることを示す。
また、MRIはIRMを強く上回り、画像ベース問題においてほぼ最適OODを実現していることを示す。
論文 参考訳(メタデータ) (2022-05-29T00:14:51Z) - Distributionally Robust Models with Parametric Likelihood Ratios [123.05074253513935]
3つの単純なアイデアにより、より広いパラメトリックな確率比のクラスを用いてDROでモデルを訓練することができる。
パラメトリック逆数を用いてトレーニングしたモデルは、他のDROアプローチと比較して、サブポピュレーションシフトに対して一貫して頑健であることがわかった。
論文 参考訳(メタデータ) (2022-04-13T12:43:12Z) - Domain-Adjusted Regression or: ERM May Already Learn Features Sufficient
for Out-of-Distribution Generalization [52.7137956951533]
既存の特徴から予測器を学習するためのよりシンプルな手法を考案することは、将来の研究にとって有望な方向である、と我々は主張する。
本稿では,線形予測器を学習するための凸目標である領域調整回帰(DARE)を紹介する。
自然モデルの下では、DARE解が制限されたテスト分布の集合に対する最小最適予測器であることを証明する。
論文 参考訳(メタデータ) (2022-02-14T16:42:16Z) - DAIR: Data Augmented Invariant Regularization [20.364846667289374]
本稿では,データ拡張不変正規化(DAIR)を提案する。
DAIRレギュレータの特定の形式は、さまざまな設定で一貫して良好に機能することを示す。
ドメインシフトを含む複数の実世界の学習問題に適用する。
論文 参考訳(メタデータ) (2021-10-21T15:30:40Z) - On Tilted Losses in Machine Learning: Theory and Applications [26.87656095874882]
指数傾き(英: Exponential tilting)は、統計学、確率、情報理論、最適化などの分野で一般的に用いられる技法である。
本研究では、指数傾斜を用いて個人損失の影響を柔軟に調整するEMMへの簡単な拡張について検討する。
フレームワークはEMMを一貫して上回り、最先端の、問題固有のアプローチと競合するパフォーマンスを提供できることが分かりました。
論文 参考訳(メタデータ) (2021-09-13T17:33:42Z) - Fairness and Robustness in Invariant Learning: A Case Study in Toxicity
Classification [13.456851070400024]
不変リスク最小化(Invariant Risk Minimization、IRM)は、因果発見にインスパイアされた手法を用いて、堅牢な予測子を見つけるドメイン一般化アルゴリズムである。
IRMは経験的リスク最小化法(ERM)よりも分布外精度と公平性を向上できることを示す。
論文 参考訳(メタデータ) (2020-11-12T16:42:14Z) - The Risks of Invariant Risk Minimization [52.7137956951533]
不変リスク最小化(Invariant Risk Minimization)は、データの深い不変性を学ぶという考え方に基づく目標である。
我々は、IRMの目的に基づく分類の最初の分析と、最近提案されたこれらの代替案について、かなり自然で一般的なモデルで分析する。
IRMは、テストデータがトレーニング分布と十分に類似していない限り、破滅的に失敗する可能性がある。
論文 参考訳(メタデータ) (2020-10-12T14:54:32Z) - Learning Diverse Representations for Fast Adaptation to Distribution
Shift [78.83747601814669]
本稿では,複数のモデルを学習する手法を提案する。
分散シフトへの迅速な適応を促進するフレームワークの能力を実証する。
論文 参考訳(メタデータ) (2020-06-12T12:23:50Z) - Learning to Learn Kernels with Variational Random Features [118.09565227041844]
メタラーニングフレームワークにランダムなフーリエ機能を持つカーネルを導入し、その強力な数ショット学習能力を活用する。
変分推論問題としてメタVRFの最適化を定式化する。
MetaVRFは、既存のメタ学習方法に比べて、はるかに優れた、少なくとも競争力のあるパフォーマンスを提供します。
論文 参考訳(メタデータ) (2020-06-11T18:05:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。