論文の概要: Learning When the Concept Shifts: Confounding, Invariance, and Dimension Reduction
- arxiv url: http://arxiv.org/abs/2406.15904v1
- Date: Sat, 22 Jun 2024 17:43:08 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-25 19:53:14.190901
- Title: Learning When the Concept Shifts: Confounding, Invariance, and Dimension Reduction
- Title（参考訳）: 概念が変わるときの学習 - 定義、不変性、次元削減
- Authors: Kulunu Dharmakeerthi, YoonHaeng Hur, Tengyuan Liang,
- Abstract要約: 観測データでは、分布シフトは観測されていない共起因子によって駆動されることが多い。
このことは、観測データを用いた領域適応問題の研究を動機付けます。
学習した低次元部分空間を用いて、ターゲットとソースのリスクの間にほぼ理想的なギャップを生じさせるモデルを示す。
- 参考スコア（独自算出の注目度）: 5.38274042816001
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Practitioners often deploy a learned prediction model in a new environment where the joint distribution of covariate and response has shifted. In observational data, the distribution shift is often driven by unobserved confounding factors lurking in the environment, with the underlying mechanism unknown. Confounding can obfuscate the definition of the best prediction model (concept shift) and shift covariates to domains yet unseen (covariate shift). Therefore, a model maximizing prediction accuracy in the source environment could suffer a significant accuracy drop in the target environment. This motivates us to study the domain adaptation problem with observational data: given labeled covariate and response pairs from a source environment, and unlabeled covariates from a target environment, how can one predict the missing target response reliably? We root the adaptation problem in a linear structural causal model to address endogeneity and unobserved confounding. We study the necessity and benefit of leveraging exogenous, invariant covariate representations to cure concept shifts and improve target prediction. This further motivates a new representation learning method for adaptation that optimizes for a lower-dimensional linear subspace and, subsequently, a prediction model confined to that subspace. The procedure operates on a non-convex objective-that naturally interpolates between predictability and stability/invariance-constrained on the Stiefel manifold. We study the optimization landscape and prove that, when the regularization is sufficient, nearly all local optima align with an invariant linear subspace resilient to both concept and covariate shift. In terms of predictability, we show a model that uses the learned lower-dimensional subspace can incur a nearly ideal gap between target and source risk. Three real-world data sets are investigated to validate our method and theory.
- Abstract（参考訳）: 実践者は、共変量と応答の共分散がシフトした新しい環境で、学習した予測モデルをデプロイすることが多い。
観測データでは、分布シフトは環境に潜む観測されていない共起因子によって駆動され、基礎となるメカニズムは未知である。
コンバウンディングは、最良の予測モデル(概念シフト)の定義を曖昧にし、共変分をまだ見えない領域(共変分数シフト)にシフトすることができる。
したがって、ソース環境における予測精度を最大化するモデルは、ターゲット環境においてかなりの精度低下を被る可能性がある。
これは、ソース環境からラベル付き共変量と応答ペアが与えられたり、ターゲット環境からラベル付き共変量がある場合、欠落したターゲット応答を確実に予測するにはどうすればよいかという、観察データによるドメイン適応問題の研究を動機付けます。
線形構造因果モデルに適応問題を根付き、内在性と観測不能な共起に対処する。
本研究では,外因性で不変な共変量表現を活用して概念シフトを修復し,目標予測を改善する必要性とメリットについて検討する。
これはさらに、低次元の線形部分空間に最適化する適応のための新しい表現学習法を動機付け、その後、その部分空間に限定した予測モデルを生み出す。
この手順は、スティーフェル多様体上での予測可能性と安定性/不変性の間に自然に補間する非凸客観的関数で作用する。
最適化のランドスケープを研究し、正規化が十分であれば、ほとんどすべての局所最適化は、概念と共変量シフトの両方にレジリエントな不変線型部分空間と整合することを示す。
予測可能性の観点からは,学習した低次元部分空間を用いて,目標とソースリスクのほぼ理想的なギャップを生じさせるモデルを示す。
提案手法と理論を検証するために,実世界の3つのデータセットについて検討した。
関連論文リスト
- Optimal Aggregation of Prediction Intervals under Unsupervised Domain Shift [9.387706860375461]
分散シフトは、基礎となるデータ生成プロセスが変化したときに発生し、モデルの性能のずれにつながる。
予測間隔は、その基礎となる分布によって引き起こされる不確実性を特徴づける重要なツールとして機能する。
予測区間を集約し,最小の幅と対象領域を適切にカバーする手法を提案する。
論文 参考訳（メタデータ） (2024-05-16T17:55:42Z) - Collaborative Heterogeneous Causal Inference Beyond Meta-analysis [68.4474531911361]
異種データを用いた因果推論のための協調的逆確率スコア推定器を提案する。
異質性の増加に伴うメタアナリシスに基づく手法に対して,本手法は有意な改善を示した。
論文 参考訳（メタデータ） (2024-04-24T09:04:36Z) - Source-Free Unsupervised Domain Adaptation with Hypothesis Consolidation
of Prediction Rationale [53.152460508207184]
Source-Free Unsupervised Domain Adaptation (SFUDA)は、モデルがターゲットのドメインラベルやソースドメインデータにアクセスせずに新しいドメインに適応する必要がある、という課題である。
本稿では,各サンプルについて複数の予測仮説を考察し,各仮説の背景にある理論的根拠について考察する。
最適性能を達成するために,モデル事前適応,仮説統合,半教師付き学習という3段階の適応プロセスを提案する。
論文 参考訳（メタデータ） (2024-02-02T05:53:22Z) - Causality-oriented robustness: exploiting general additive interventions [3.871660145364189]
本稿では因果性指向のロバスト性に着目し,不変勾配(DRIG)を用いた分布ロバスト性を提案する。
線形環境では、DRIGがデータ依存の分布シフトのクラスの中で頑健な予測を得られることを証明している。
我々は、予測性能をさらに向上させるために、半教師付きドメイン適応設定にアプローチを拡張した。
論文 参考訳（メタデータ） (2023-07-18T16:22:50Z) - Prediction under Latent Subgroup Shifts with High-Dimensional
Observations [30.433078066683848]
遅延シフト適応を用いたグラフィカルモデルにおける新しい予測手法を提案する。
RPMの新規な形態は、ソース環境における因果潜伏構造を特定し、ターゲットの予測に適切に適応する。
論文 参考訳（メタデータ） (2023-06-23T12:26:24Z) - Adapting to Latent Subgroup Shifts via Concepts and Proxies [82.01141290360562]
最適ターゲット予測器は、ソースドメインでのみ利用できる概念とプロキシ変数の助けを借りて、非パラメトリックに識別可能であることを示す。
本研究では,データ生成プロセスに特有の潜在変数モデルを提案する。
論文 参考訳（メタデータ） (2022-12-21T18:30:22Z) - Domain-Specific Risk Minimization for Out-of-Distribution Generalization [104.17683265084757]
まず、適応性ギャップを明示的に考慮した一般化境界を確立する。
本稿では,目標に対するより良い仮説の選択を導くための効果的なギャップ推定法を提案する。
もう1つの方法は、オンラインターゲットサンプルを用いてモデルパラメータを適応させることにより、ギャップを最小化することである。
論文 参考訳（メタデータ） (2022-08-18T06:42:49Z) - Uncertainty-guided Source-free Domain Adaptation [77.3844160723014]
ソースフリードメイン適応(SFDA)は、事前訓練されたソースモデルのみを使用することで、未ラベルのターゲットデータセットに分類器を適応させることを目的としている。
本稿では、ソースモデル予測の不確実性を定量化し、ターゲット適応の導出に利用することを提案する。
論文 参考訳（メタデータ） (2022-08-16T08:03:30Z) - Causal Discovery in Heterogeneous Environments Under the Sparse
Mechanism Shift Hypothesis [7.895866278697778]
機械学習のアプローチは、一般に独立で同一に分散されたデータ(すなわち、d)の仮定に依存する。
実際、この仮定は環境間の分散シフトによってほとんど常に破られる。
そこで我々は,様々な経験的推定器に適用可能なスコアベースアプローチであるメカニズムシフトスコア(MSS)を提案する。
論文 参考訳（メタデータ） (2022-06-04T15:39:30Z) - HYPER: Learned Hybrid Trajectory Prediction via Factored Inference and
Adaptive Sampling [27.194900145235007]
本稿では,汎用的で表現力豊かなハイブリッド予測フレームワークHYPERを紹介する。
トラヒックエージェントをハイブリッドな離散連続システムとしてモデル化することにより、我々のアプローチは時間とともに離散的な意図の変化を予測することができる。
我々は、Argoverseデータセット上でモデルをトレーニングし、検証し、その効果を包括的アブレーション研究と最先端モデルとの比較を通して実証する。
論文 参考訳（メタデータ） (2021-10-05T20:20:10Z) - Unlabelled Data Improves Bayesian Uncertainty Calibration under
Covariate Shift [100.52588638477862]
後続正則化に基づく近似ベイズ推定法を開発した。
前立腺癌の予後モデルを世界規模で導入する上で,本手法の有用性を実証する。
論文 参考訳（メタデータ） (2020-06-26T13:50:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。