論文の概要: Weighted Risk Invariance: Domain Generalization under Invariant Feature Shift

• arxiv url: http://arxiv.org/abs/2407.18428v1
• Date: Thu, 25 Jul 2024 23:27:10 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-29 14:49:32.071976
• Title: Weighted Risk Invariance: Domain Generalization under Invariant Feature Shift
• Title（参考訳）: 重み付きリスク不変性:不変特徴シフト下における領域一般化
• Authors: Gina Wong, Joshua Gleason, Rama Chellappa, Yoav Wald, Anqi Liu,
• Abstract要約: 複数の環境下で予測が不変な学習モデルは、有望なアプローチである。 学習不変モデルは特定の条件下では不十分であることを示す。 本稿では,モデルパラメータと$p(X_textinv)の相関関係を同時に学習し,WRIを実装する実践的手法を提案する。
• 参考スコア（独自算出の注目度）: 41.60879054101201
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Learning models whose predictions are invariant under multiple environments is a promising approach for out-of-distribution generalization. Such models are trained to extract features $X_{\text{inv}}$ where the conditional distribution $Y \mid X_{\text{inv}}$ of the label given the extracted features does not change across environments. Invariant models are also supposed to generalize to shifts in the marginal distribution $p(X_{\text{inv}})$ of the extracted features $X_{\text{inv}}$, a type of shift we call an $\textit{invariant covariate shift}$. However, we show that proposed methods for learning invariant models underperform under invariant covariate shift, either failing to learn invariant models$\unicode{x2014}$even for data generated from simple and well-studied linear-Gaussian models$\unicode{x2014}$or having poor finite-sample performance. To alleviate these problems, we propose $\textit{weighted risk invariance}$ (WRI). Our framework is based on imposing invariance of the loss across environments subject to appropriate reweightings of the training examples. We show that WRI provably learns invariant models, i.e. discards spurious correlations, in linear-Gaussian settings. We propose a practical algorithm to implement WRI by learning the density $p(X_{\text{inv}})$ and the model parameters simultaneously, and we demonstrate empirically that WRI outperforms previous invariant learning methods under invariant covariate shift.
• Abstract（参考訳）: 複数の環境下で予測が不変な学習モデルは、アウト・オブ・ディストリビューションの一般化に有望なアプローチである。 このようなモデルは、条件分布$Y \mid X_{\text{inv}}$で抽出された特徴が環境によって変化しないような、特徴を抽出するために訓練される。 不変モデルは、抽出された特徴のうち、$X_{\text{inv}}$は、$\textit{invariant covariate shift}$と呼ばれるシフトの種類である。 しかし、単純かつよく研究された線形ガウスモデル$\unicode{x2014}$または有限サンプル性能が劣るデータに対して、不変モデルの学習方法が不変な共変変量シフトの下で実行され、不変モデルの学習に失敗することを示す。 これらの問題を緩和するために、$\textit{weighted risk invariance}$ (WRI)を提案する。 我々のフレームワークは、トレーニング例の適切な再重み付けを受ける環境間の損失の分散を示唆することに基づいている。 We show that WRI provably learns invariant model, i。 我々は,密度$p(X_{\text{inv}})$とモデルパラメータを同時に学習することで,WRIを実装する実用的なアルゴリズムを提案する。

関連論文リスト

• Self-Ensembling Gaussian Splatting for Few-shot Novel View Synthesis [55.561961365113554]
  3D Gaussian Splatting (3DGS) は新規ビュー合成(NVS)に顕著な効果を示した しかし、3DGSモデルはスパースポーズのビューで訓練すると過度に適合する傾向にあり、より広いポーズのバリエーションに対して一般化能力を制限する。 オーバーフィッティング問題を緩和するために, 自己理解型ガウススプラッティング (SE-GS) アプローチを導入する。
  論文  参考訳（メタデータ） (2024-10-31T18:43:48Z)
• Winning Prize Comes from Losing Tickets: Improve Invariant Learning by Exploring Variant Parameters for Out-of-Distribution Generalization [76.27711056914168]
  Out-of-Distribution (OOD) 一般化は、分散固有の特徴に適合することなく、様々な環境によく適応する堅牢なモデルを学ぶことを目的としている。 LTH(Lottery Ticket hypothesis)に基づく最近の研究は、学習目標を最小化し、タスクに重要なパラメータのいくつかを見つけることでこの問題に対処している。 Invariant Learning (EVIL) における変数探索手法を提案する。
  論文  参考訳（メタデータ） (2023-10-25T06:10:57Z)
• Probabilistic Invariant Learning with Randomized Linear Classifiers [24.485477981244593]
  表現的かつ不変だがリソースが少ないランダム性と設計モデルをどのように活用するかを示す。 ランダム化アルゴリズムに着想を得て,Randomized Linears (RLC) と呼ばれる二進分類モデルを提案する。
  論文  参考訳（メタデータ） (2023-08-08T17:18:04Z)
• Conformalization of Sparse Generalized Linear Models [2.1485350418225244]
  等角予測法は、任意の有限サンプルサイズに対して有効である$y_n+1$の信頼セットを推定する。 魅力的ではあるが、そのような集合の計算は多くの回帰問題において計算不可能である。 経路追従アルゴリズムが共形予測集合を正確に近似する方法を示す。
  論文  参考訳（メタデータ） (2023-07-11T08:36:12Z)
• Statistical Learning under Heterogeneous Distribution Shift [71.8393170225794]
  ground-truth predictor is additive $mathbbE[mathbfz mid mathbfx,mathbfy] = f_star(mathbfx) +g_star(mathbfy)$.
  論文  参考訳（メタデータ） (2023-02-27T16:34:21Z)
• A Relational Intervention Approach for Unsupervised Dynamics Generalization in Model-Based Reinforcement Learning [113.75991721607174]
  同じ環境に属する2つの推定$hatz_i, hatz_j$の確率を推定するための介入予測モジュールを導入する。 提案手法により推定される$hatZ$は,従来の方法よりも冗長な情報が少ないことを実証的に示す。
  論文  参考訳（メタデータ） (2022-06-09T15:01:36Z)
• PAC Generalization via Invariant Representations [41.02828564338047]
  有限標本集合における$epsilon$-approximate不変性の概念を考える。 PAC学習にインスパイアされ、有限サンプルのアウト・オブ・ディストリビューション一般化保証を得る。 この結果から, 介入部位が非次境界ノードの一定サイズの部分集合内にある場合に, 周囲次元でスケールしない境界を示す。
  論文  参考訳（メタデータ） (2022-05-30T15:50:14Z)
• Improving the Sample-Complexity of Deep Classification Networks with Invariant Integration [77.99182201815763]
  変換によるクラス内分散に関する事前知識を活用することは、ディープニューラルネットワークのサンプル複雑性を改善するための強力な方法である。 そこで本研究では,アプリケーションの複雑な問題に対処するために,プルーニング法に基づく新しい単項選択アルゴリズムを提案する。 本稿では,Rotated-MNIST,SVHN,CIFAR-10データセットにおけるサンプルの複雑さの改善について述べる。
  論文  参考訳（メタデータ） (2022-02-08T16:16:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。