論文の概要: Learning Optimal Features via Partial Invariance

• arxiv url: http://arxiv.org/abs/2301.12067v1
• Date: Sat, 28 Jan 2023 02:48:14 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-31 19:13:35.306652
• Title: Learning Optimal Features via Partial Invariance
• Title（参考訳）: 部分的不変性による最適特徴の学習
• Authors: Moulik Choraria, Ibtihal Ferwana, Ankur Mani, Lav R. Varshney
• Abstract要約: 不変リスク最小化フレームワークの緩和としての部分的不変性の概念を提案する。 問題設定では、まずIRMソリューションのサブ最適性を強調します。 次に、トレーニングドメインの分割が、ドメインに関するメタ情報へのアクセスを前提として、不変モデルの性能向上にどのように役立つかを実証する。
• 参考スコア（独自算出の注目度）: 18.552839725370383
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Learning models that are robust to test-time distribution shifts is a key concern in domain generalization, and in the wider context of their real-life applicability. Invariant Risk Minimization (IRM) is one particular framework that aims to learn deep invariant features from multiple domains and has subsequently led to further variants. A key assumption for the success of these methods requires that the underlying causal mechanisms/features remain invariant across domains and the true invariant features be sufficient to learn the optimal predictor. In practical problem settings, these assumptions are often not satisfied, which leads to IRM learning a sub-optimal predictor for that task. In this work, we propose the notion of partial invariance as a relaxation of the IRM framework. Under our problem setting, we first highlight the sub-optimality of the IRM solution. We then demonstrate how partitioning the training domains, assuming access to some meta-information about the domains, can help improve the performance of invariant models via partial invariance. Finally, we conduct several experiments, both in linear settings as well as with classification tasks in language and images with deep models, which verify our conclusions.
• Abstract（参考訳）: テスト時の分散シフトに堅牢な学習モデルは、ドメインの一般化と、実際の適用可能性のより広いコンテキストにおいて重要な関心事である。 不変リスク最小化(IRM、Invariant Risk Minimization)は、複数のドメインから深い不変性を学ぶことを目的とした特定のフレームワークである。 これらの手法の成功の鍵となる仮定は、基礎となる因果的メカニズムと特徴がドメイン間で不変であり、真の不変な特徴は最適な予測子を学ぶのに十分であるということである。 実際の問題設定では、これらの仮定はしばしば満たされず、irmはそのタスクの最適でない予測子を学習する。 本稿では、IRMフレームワークの緩和として部分的不変性の概念を提案する。 問題設定では、まずIRMソリューションのサブ最適性を強調します。 次に、トレーニングドメインの分割が、ドメインに関するメタ情報へのアクセスを前提として、部分的不変性を通じて不変モデルの性能を改善する方法を示す。 最後に,線形設定と言語分類タスク,深層モデルを用いた画像のいずれにおいても実験を行い,結論を検証した。

関連論文リスト

• Invariant Risk Minimization Is A Total Variation Model [3.000494957386027]
  不変リスク最小化(英: Invariant risk minimization、IRM)とは、機械学習において、不変の機能を様々な環境に一般化する手法である。 IRMは本質的に学習リスクのL2$(TV-$ell$)に基づく総変動であることを示す。 本稿では,TV-$ell$モデルに基づく新しいIRMフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-05-02T15:34:14Z)
• MetaRM: Shifted Distributions Alignment via Meta-Learning [52.94381279744458]
  言語モデルアライメントにおけるヒューマンフィードバック(RLHF)からの強化学習は、報酬モデル(RM)の能力に依存している メタラーニングを利用したメタRMを導入し,その環境分布とRMを整合させる手法を提案する。 大規模な実験により、MetaRMは反復RLHF最適化におけるRMの識別能力を大幅に改善することが示された。
  論文  参考訳（メタデータ） (2024-05-01T10:43:55Z)
• Counterfactual Fairness through Transforming Data Orthogonal to Bias [7.109458605736819]
  我々は新しいデータ前処理アルゴリズムOrthogonal to Bias (OB)を提案する。 OBは、連続的な敏感な変数群の影響を排除し、機械学習アプリケーションにおける反ファクトフェアネスを促進するように設計されている。 OBはモデルに依存しないため、幅広い機械学習モデルやタスクに適用できる。
  論文  参考訳（メタデータ） (2024-03-26T16:40:08Z)
• Towards Understanding Variants of Invariant Risk Minimization through the Lens of Calibration [0.6906005491572401]
  本稿では,Information BottleneckをベースとしたITMが,異なる環境における一貫したキャリブレーションを実現することを示す。 私たちの経験的証拠は、環境全体にわたって一貫した校正を示すモデルも十分に校正されていることを示している。
  論文  参考訳（メタデータ） (2024-01-31T02:08:43Z)
• Distributionally Robust Models with Parametric Likelihood Ratios [123.05074253513935]
  3つの単純なアイデアにより、より広いパラメトリックな確率比のクラスを用いてDROでモデルを訓練することができる。 パラメトリック逆数を用いてトレーニングしたモデルは、他のDROアプローチと比較して、サブポピュレーションシフトに対して一貫して頑健であることがわかった。
  論文  参考訳（メタデータ） (2022-04-13T12:43:12Z)
• Domain-Adjusted Regression or: ERM May Already Learn Features Sufficient for Out-of-Distribution Generalization [52.7137956951533]
  既存の特徴から予測器を学習するためのよりシンプルな手法を考案することは、将来の研究にとって有望な方向である、と我々は主張する。 本稿では,線形予測器を学習するための凸目標である領域調整回帰(DARE)を紹介する。 自然モデルの下では、DARE解が制限されたテスト分布の集合に対する最小最適予測器であることを証明する。
  論文  参考訳（メタデータ） (2022-02-14T16:42:16Z)
• DAIR: Data Augmented Invariant Regularization [20.364846667289374]
  本稿では,データ拡張不変正規化(DAIR)を提案する。 DAIRレギュレータの特定の形式は、さまざまな設定で一貫して良好に機能することを示す。 ドメインシフトを含む複数の実世界の学習問題に適用する。
  論文  参考訳（メタデータ） (2021-10-21T15:30:40Z)
• Fairness and Robustness in Invariant Learning: A Case Study in Toxicity Classification [13.456851070400024]
  不変リスク最小化(Invariant Risk Minimization、IRM)は、因果発見にインスパイアされた手法を用いて、堅牢な予測子を見つけるドメイン一般化アルゴリズムである。 IRMは経験的リスク最小化法(ERM)よりも分布外精度と公平性を向上できることを示す。
  論文  参考訳（メタデータ） (2020-11-12T16:42:14Z)
• The Risks of Invariant Risk Minimization [52.7137956951533]
  不変リスク最小化(Invariant Risk Minimization)は、データの深い不変性を学ぶという考え方に基づく目標である。 我々は、IRMの目的に基づく分類の最初の分析と、最近提案されたこれらの代替案について、かなり自然で一般的なモデルで分析する。 IRMは、テストデータがトレーニング分布と十分に類似していない限り、破滅的に失敗する可能性がある。
  論文  参考訳（メタデータ） (2020-10-12T14:54:32Z)
• Learning Diverse Representations for Fast Adaptation to Distribution Shift [78.83747601814669]
  本稿では,複数のモデルを学習する手法を提案する。 分散シフトへの迅速な適応を促進するフレームワークの能力を実証する。
  論文  参考訳（メタデータ） (2020-06-12T12:23:50Z)
• Learning to Learn Kernels with Variational Random Features [118.09565227041844]
  メタラーニングフレームワークにランダムなフーリエ機能を持つカーネルを導入し、その強力な数ショット学習能力を活用する。 変分推論問題としてメタVRFの最適化を定式化する。 MetaVRFは、既存のメタ学習方法に比べて、はるかに優れた、少なくとも競争力のあるパフォーマンスを提供します。
  論文  参考訳（メタデータ） (2020-06-11T18:05:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。