論文の概要: Semi-supervised Regression Analysis with Model Misspecification and High-dimensional Data
- arxiv url: http://arxiv.org/abs/2406.13906v1
- Date: Thu, 20 Jun 2024 00:34:54 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-21 17:56:21.975865
- Title: Semi-supervised Regression Analysis with Model Misspecification and High-dimensional Data
- Title(参考訳): モデルミス種別と高次元データを用いた半教師付き回帰分析
- Authors: Ye Tian, Peng Wu, Zhiqiang Tan,
- Abstract要約: 条件付き平均モデルにおける回帰係数を推定するための推論フレームワークを提案する。
提案手法は,正規化推定器を適応度スコア(PS)と結果回帰(OR)モデルの両方に用い,拡張逆確率重み付き(AIPW)法を開発した。
我々の理論的な知見は、広範囲なシミュレーション研究と実世界のデータ応用を通して検証される。
- 参考スコア(独自算出の注目度): 8.619243141968886
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The accessibility of vast volumes of unlabeled data has sparked growing interest in semi-supervised learning (SSL) and covariate shift transfer learning (CSTL). In this paper, we present an inference framework for estimating regression coefficients in conditional mean models within both SSL and CSTL settings, while allowing for the misspecification of conditional mean models. We develop an augmented inverse probability weighted (AIPW) method, employing regularized calibrated estimators for both propensity score (PS) and outcome regression (OR) nuisance models, with PS and OR models being sequentially dependent. We show that when the PS model is correctly specified, the proposed estimator achieves consistency, asymptotic normality, and valid confidence intervals, even with possible OR model misspecification and high-dimensional data. Moreover, by suppressing detailed technical choices, we demonstrate that previous methods can be unified within our AIPW framework. Our theoretical findings are verified through extensive simulation studies and a real-world data application.
- Abstract(参考訳): 大量のラベルのないデータのアクセシビリティは、半教師付き学習(SSL)と共変量移行学習(CSTL)への関心が高まっている。
本稿では,SSLおよびCSTL設定の条件付き平均モデルの回帰係数を推定するフレームワークを提案する。
我々は,PSとORモデルの両方に正規化キャリブレーションを用いた回帰逆確率重み付け法(AIPW)を開発し,PSとORモデルに逐次依存する。
我々は,PSモデルが正しく特定された場合,提案した推定器は,ORモデルの誤特定や高次元データであっても,整合性,漸近正規性,有効信頼区間を達成できることを示す。
さらに,詳細な技術選択を抑えることで,従来の手法をAIPWフレームワークに統合できることを実証する。
我々の理論的な知見は、広範囲なシミュレーション研究と実世界のデータ応用を通して検証される。
関連論文リスト
- On conditional diffusion models for PDE simulations [53.01911265639582]
スパース観測の予測と同化のためのスコアベース拡散モデルについて検討した。
本稿では,予測性能を大幅に向上させる自動回帰サンプリング手法を提案する。
また,条件付きスコアベースモデルに対する新たなトレーニング戦略を提案する。
論文 参考訳(メタデータ) (2024-10-21T18:31:04Z) - Towards Theoretical Understandings of Self-Consuming Generative Models [56.84592466204185]
本稿では,自己消費ループ内で生成モデルを訓練する新たな課題に取り組む。
我々は,このトレーニングが将来のモデルで学習したデータ分布に与える影響を厳格に評価するための理論的枠組みを構築した。
カーネル密度推定の結果は,混合データトレーニングがエラー伝播に与える影響など,微妙な洞察を与える。
論文 参考訳(メタデータ) (2024-02-19T02:08:09Z) - Online Variational Sequential Monte Carlo [49.97673761305336]
我々は,計算効率が高く正確なモデルパラメータ推定とベイジアン潜在状態推定を提供する変分連続モンテカルロ法(VSMC)を構築した。
オンラインVSMCは、パラメータ推定と粒子提案適応の両方を効率よく、完全にオンザフライで実行することができる。
論文 参考訳(メタデータ) (2023-12-19T21:45:38Z) - A PAC-Bayesian Perspective on the Interpolating Information Criterion [54.548058449535155]
補間系の性能に影響を及ぼす要因を特徴付ける一般モデルのクラスに対して,PAC-Bayes境界がいかに得られるかを示す。
オーバーパラメータ化モデルに対するテスト誤差が、モデルとパラメータの初期化スキームの組み合わせによって課される暗黙の正規化の品質に依存するかの定量化を行う。
論文 参考訳(メタデータ) (2023-11-13T01:48:08Z) - Kalman Filter for Online Classification of Non-Stationary Data [101.26838049872651]
オンライン連続学習(OCL)では、学習システムはデータのストリームを受け取り、予測とトレーニングの手順を順次実行する。
本稿では,線形予測量に対するニューラル表現と状態空間モデルを用いた確率ベイズオンライン学習モデルを提案する。
多クラス分類の実験では、モデルの予測能力と非定常性を捉える柔軟性を示す。
論文 参考訳(メタデータ) (2023-06-14T11:41:42Z) - Benign-Overfitting in Conditional Average Treatment Effect Prediction
with Linear Regression [14.493176427999028]
線形回帰モデルを用いて条件平均処理効果(CATE)の予測における良性過剰適合理論について検討した。
一方,IPW-learnerは確率スコアが分かっていればリスクをゼロに収束させるが,T-learnerはランダムな割り当て以外の一貫性を達成できないことを示す。
論文 参考訳(メタデータ) (2022-02-10T18:51:52Z) - Optimal regularizations for data generation with probabilistic graphical
models [0.0]
経験的に、よく調和された正規化スキームは、推論されたモデルの品質を劇的に改善する。
生成的ペアワイドグラフィカルモデルの最大Aポストエリオーリ(MAP)推論におけるL2とL1の正規化について検討する。
論文 参考訳(メタデータ) (2021-12-02T14:45:16Z) - Identification of Latent Variables From Graphical Model Residuals [0.0]
本稿では,推定モデルの残差から遅延空間のプロキシを反復的に導出することにより,DAGを推定する際に潜伏空間を制御する新しい手法を提案する。
結果の予測の改善は本質的にカプセル化されており,既成モデルと比較して一定の限界を超えないことを示す。
論文 参考訳(メタデータ) (2021-01-07T02:28:49Z) - Learning Consistent Deep Generative Models from Sparse Data via
Prediction Constraints [16.48824312904122]
我々は変分オートエンコーダやその他の深層生成モデルを学ぶための新しいフレームワークを開発する。
これら2つのコントリビューション -- 予測制約と一貫性制約 -- が,画像分類性能の有望な向上につながることを示す。
論文 参考訳(メタデータ) (2020-12-12T04:18:50Z) - Autoregressive Score Matching [113.4502004812927]
自動回帰条件スコアモデル(AR-CSM)を提案する。
AR-CSMモデルでは、このデータ分布とモデル分布のばらつきを効率的に計算し、最適化することができ、高価なサンプリングや対向訓練を必要としない。
本研究では,合成データに対する密度推定,画像生成,画像復調,暗黙エンコーダを用いた潜在変数モデルの訓練に応用できることを示す。
論文 参考訳(メタデータ) (2020-10-24T07:01:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。