論文の概要: Scalable Out-of-distribution Robustness in the Presence of Unobserved Confounders

• arxiv url: http://arxiv.org/abs/2411.19923v1
• Date: Fri, 29 Nov 2024 18:38:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-02 20:28:08.110654
• Title: Scalable Out-of-distribution Robustness in the Presence of Unobserved Confounders
• Title（参考訳）: 非保守的共同設立者の存在下でのスケーラブルなアウト・オブ・ディストリビューションロバスト性
• Authors: Parjanya Prashant, Seyedeh Baharan Khatami, Bruno Ribeiro, Babak Salimi,
• Abstract要約: 我々は、配当シフトが観測されていない共同設立者(Z$)による、配当外配当(OOD)一般化の課題を考える。 我々の研究は、予測を著しく単純化し、結果としてエレガントな単純さが既存のアプローチより優れているという、識別可能性の仮定を調査する。
• 参考スコア（独自算出の注目度）: 11.127206986936367
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: We consider the task of out-of-distribution (OOD) generalization, where the distribution shift is due to an unobserved confounder ($Z$) affecting both the covariates ($X$) and the labels ($Y$). In this setting, traditional assumptions of covariate and label shift are unsuitable due to the confounding, which introduces heterogeneity in the predictor, i.e., $\hat{Y} = f_Z(X)$. OOD generalization differs from traditional domain adaptation by not assuming access to the covariate distribution ($X^\text{te}$) of the test samples during training. These conditions create a challenging scenario for OOD robustness: (a) $Z^\text{tr}$ is an unobserved confounder during training, (b) $P^\text{te}{Z} \neq P^\text{tr}{Z}$, (c) $X^\text{te}$ is unavailable during training, and (d) the posterior predictive distribution depends on $P^\text{te}(Z)$, i.e., $\hat{Y} = E_{P^\text{te}(Z)}[f_Z(X)]$. In general, accurate predictions are unattainable in this scenario, and existing literature has proposed complex predictors based on identifiability assumptions that require multiple additional variables. Our work investigates a set of identifiability assumptions that tremendously simplify the predictor, whose resulting elegant simplicity outperforms existing approaches.
• Abstract（参考訳）: 流通の一般化(OOD)の課題を考えると、流通のシフトは、共変量(X$)とラベル(Y$)の両方に影響を及ぼす、観測されていない共同設立者(Z$)によるものである。 この設定では、共変量とラベルシフトの伝統的な仮定は、予測子における不均一性(すなわち$\hat{Y} = f_Z(X)$)をもたらす共変量によって不適当である。 OOD一般化は、訓練中のテストサンプルの共変量分布(X^\text{te}$)へのアクセスを仮定しないことで、従来のドメイン適応とは異なる。 これらの条件は、OODの堅牢性に挑戦的なシナリオを生み出します。 (a)$Z^\text{tr}$は、トレーニング中の観測されていない共同創設者である。 (b) $P^\text{te}{Z} \neq P^\text{tr}{Z}$, (c) $X^\text{te}$はトレーニング中に利用できなくなり、 (d) 後続の予測分布は$P^\text{te}(Z)$、すなわち$\hat{Y} = E_{P^\text{te}(Z)}[f_Z(X)]$に依存する。 一般に、このシナリオでは正確な予測は達成不可能であり、既存の文献では複数の追加変数を必要とする識別可能性仮定に基づく複雑な予測器が提案されている。 我々の研究は、予測を著しく単純化し、結果としてエレガントな単純さが既存のアプローチより優れているという、識別可能性の仮定を調査する。

関連論文リスト

• Optimal Prediction-Augmented Algorithms for Testing Independence of Distributions [4.200594864147057]
  複数の確率変数に対して$p$の独立性をテストする問題に対処する。 補助的だが信頼できない、予測可能な情報を組み込んだテスタを設計します。 我々のフレームワークは、予測の品質に関わらず、テスターが堅牢で、最悪のケースの妥当性を維持することを保証します。
  論文  参考訳（メタデータ） (2026-03-04T21:55:08Z)
• Optimal Unconstrained Self-Distillation in Ridge Regression: Strict Improvements, Precise Asymptotics, and One-Shot Tuning [61.07540493350384]
  自己蒸留(英: Self-distillation, SD)とは、教師自身の予測と地道の混合で学生を訓練する過程である。 任意の予測リスクに対して、各正規化レベルにおいて、最適に混合された学生がリッジ教師に改善されることが示される。 本稿では,グリッド探索やサンプル分割,再構成なしに$star$を推定する一貫したワンショットチューニング手法を提案する。
  論文  参考訳（メタデータ） (2026-02-19T17:21:15Z)
• Regression-Based Estimation of Causal Effects in the Presence of Selection Bias and Confounding [52.1068936424622]
  治療が介入によって設定された場合、対象変数$Y$に対して、予測因果効果$E[Y|do(X)]$を推定する問題を考える。 選択バイアスや欠点のない設定では、$E[Y|do(X)] = E[Y|X]$ となる。 選択バイアスとコンバウンディングの両方を組み込んだフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-03-26T13:43:37Z)
• Computational-Statistical Tradeoffs at the Next-Token Prediction Barrier: Autoregressive and Imitation Learning under Misspecification [50.717692060500696]
  対数損失を伴う次のトーケン予測は自己回帰シーケンスモデリングの基盤となる。 次トーケン予測は、適度な誤差増幅を表す$C=tilde O(H)$を達成するために堅牢にすることができる。 C=e(log H)1-Omega(1)$。
  論文  参考訳（メタデータ） (2025-02-18T02:52:00Z)
• Complexity Analysis of Normalizing Constant Estimation: from Jarzynski Equality to Annealed Importance Sampling and beyond [28.931489333515618]
  非正規化確率密度 $piproptomathrme-V$ が与えられたとき、正規化定数 $Z=int_mathbbRdmathrme-V(x)mathrmdx$ または自由エネルギー $F=-log Z$ はベイズ統計学、統計力学、機械学習において重要な問題である。 本稿では,逆拡散型サンプリング器に基づく新しい正規化定数推定アルゴリズムを提案し,その複雑さを解析するための枠組みを確立する。
  論文  参考訳（メタデータ） (2025-02-07T00:05:28Z)
• Cross-validating causal discovery via Leave-One-Variable-Out [11.891940572224783]
  私たちは"Leave-One-Variable-Out (LOVO)"予測を使い、$Y$は$X$から推論されるが、$X$と$Y$は共同で観測されることはない。 Acyclic Directed Mixed Graphs (ADMGs) という形で、2つの部分集合上の因果モデルが、しばしば$X$ と $Y$ の依存関係に関する結論を導くことを示した。 この予測誤差は、$P(X, Y)$が利用可能であると仮定され、$X$と$Y$がfalの目的のために省略されているため推定できる。
  論文  参考訳（メタデータ） (2024-11-08T15:15:34Z)
• Rejection via Learning Density Ratios [50.91522897152437]
  拒絶による分類は、モデルを予測しないことを許容する学習パラダイムとして現れます。 そこで我々は,事前学習したモデルの性能を最大化する理想的なデータ分布を求める。 私たちのフレームワークは、クリーンでノイズの多いデータセットで実証的にテストされます。
  論文  参考訳（メタデータ） (2024-05-29T01:32:17Z)
• Mind the Gap: A Causal Perspective on Bias Amplification in Prediction & Decision-Making [58.06306331390586]
  本稿では,閾値演算による予測値がS$変化の程度を測るマージン補数の概念を導入する。 適切な因果仮定の下では、予測スコア$S$に対する$X$の影響は、真の結果$Y$に対する$X$の影響に等しいことを示す。
  論文  参考訳（メタデータ） (2024-05-24T11:22:19Z)
• Towards Better Understanding of In-Context Learning Ability from In-Context Uncertainty Quantification [7.869708570399577]
  条件付き期待値 $mathbbE[Y|X]$ と条件付き分散 Var$(Y|X)$ の両方を予測する双目的予測タスクを考える。 理論的には、トレーニングされたトランスフォーマーがベイズ最適付近に到達し、トレーニング分布の情報の利用が示唆される。
  論文  参考訳（メタデータ） (2024-05-24T00:08:55Z)
• TIC-TAC: A Framework for Improved Covariance Estimation in Deep Heteroscedastic Regression [109.69084997173196]
  奥行き回帰は、予測分布の平均と共分散を負の対数類似度を用いて共同最適化する。 近年の研究では, 共分散推定に伴う課題により, 準最適収束が生じる可能性が示唆されている。 1)予測共分散は予測平均のランダム性を真に捉えているか? その結果, TICは共分散を正確に学習するだけでなく, 負の対数類似性の収束性の向上も促進することがわかった。
  論文  参考訳（メタデータ） (2023-10-29T09:54:03Z)
• Adaptive Data Analysis in a Balanced Adversarial Model [26.58630744414181]
  適応データ解析において、メカニズムは未知の分布から$n$、すなわち$D$のサンプルを取得し、正確な推定を行う必要がある。 我々は、それぞれが2つの分離されたアルゴリズムから構成されるアンフバランスドと呼ばれる、より制限された敵を考える。 これらの強い硬さの仮定は、計算的に有界なアンフバランス逆元が公開鍵暗号の存在を示唆するという意味では避けられないことを示す。
  論文  参考訳（メタデータ） (2023-05-24T15:08:05Z)
• Statistical Learning under Heterogeneous Distribution Shift [71.8393170225794]
  ground-truth predictor is additive $mathbbE[mathbfz mid mathbfx,mathbfy] = f_star(mathbfx) +g_star(mathbfy)$.
  論文  参考訳（メタデータ） (2023-02-27T16:34:21Z)
• Revealing Unobservables by Deep Learning: Generative Element Extraction Networks (GEEN) [5.3028918247347585]
  本稿では,ランダムサンプル中の潜伏変数$X*$を推定する新しい手法を提案する。 我々の知る限りでは、この論文は観測においてそのような識別を初めて提供するものである。
  論文  参考訳（メタデータ） (2022-10-04T01:09:05Z)
• Predicting Out-of-Domain Generalization with Neighborhood Invariance [59.05399533508682]
  局所変換近傍における分類器の出力不変性の尺度を提案する。 私たちの測度は計算が簡単で、テストポイントの真のラベルに依存しません。 画像分類,感情分析,自然言語推論のベンチマーク実験において,我々の測定値と実際のOOD一般化との間に強い相関関係を示す。
  論文  参考訳（メタデータ） (2022-07-05T14:55:16Z)
• CARD: Classification and Regression Diffusion Models [51.0421331214229]
  本稿では,条件生成モデルと事前学習条件平均推定器を組み合わせた分類と回帰拡散(CARD)モデルを提案する。 おもちゃの例と実世界のデータセットを用いて条件分布予測におけるCARDの卓越した能力を示す。
  論文  参考訳（メタデータ） (2022-06-15T03:30:38Z)
• Metric Entropy Duality and the Sample Complexity of Outcome Indistinguishability [7.727052811126007]
  結果の不一致性において、目標は、ターゲット予測子と区別できない予測子を出力することである。 結果の不一致性のサンプル複雑性は、$P$ w.r.tの計量エントロピーによって特徴づけられる。 この同値性は凸幾何学における長年の計量エントロピー双対性予想と興味深い関係を持つ。
  論文  参考訳（メタデータ） (2022-03-09T06:02:31Z)
• Robust Linear Regression for General Feature Distribution [21.0709900887309]
  本研究では, 不正な相手によってデータが汚染されるような頑健な線形回帰について検討する。 必ずしもその機能が中心であるとは限らない。 特徴が中心ならば、標準収束率を得ることができる。
  論文  参考訳（メタデータ） (2022-02-04T11:22:13Z)
• The Sample Complexity of Robust Covariance Testing [56.98280399449707]
  i. i. d. 形式 $Z = (1-epsilon) X + epsilon B$ の分布からのサンプル。ここで $X$ はゼロ平均で未知の共分散である Gaussian $mathcalN(0, Sigma)$ である。 汚染がない場合、事前の研究は、$O(d)$サンプルを使用するこの仮説テストタスクの単純なテスターを与えた。 サンプル複雑性の上限が $omega(d2)$ for $epsilon$ an arbitrarily small constant and $gamma であることを証明します。
  論文  参考訳（メタデータ） (2020-12-31T18:24:41Z)
• Sample Complexity of Asynchronous Q-Learning: Sharper Analysis and Variance Reduction [63.41789556777387]
  非同期Q-ラーニングはマルコフ決定過程(MDP)の最適行動値関数(またはQ-関数)を学習することを目的としている。 Q-関数の入出力$varepsilon$-正確な推定に必要なサンプルの数は、少なくとも$frac1mu_min (1-gamma)5varepsilon2+ fract_mixmu_min (1-gamma)$の順である。
  論文  参考訳（メタデータ） (2020-06-04T17:51:00Z)
• Weighted Empirical Risk Minimization: Sample Selection Bias Correction based on Importance Sampling [2.599882743586164]
  トレーニング観測値の分布$P'$が、最小化を目指すリスクに関わる分布$Z'_i$と異なる場合、統計的学習問題を考察する。 実際に頻繁に遭遇する様々な状況において、単純な形式を採り、$Phi(z)$から直接推定できることが示される。 次に、上記のアプローチのキャパシティ一般化が、その結果の$Phi(Z'_i)$'sを重み付き経験的リスクにプラグインするときに保持されることを示す。
  論文  参考訳（メタデータ） (2020-02-12T18:42:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。