論文の概要: Online Instrumental Variable Regression: Regret Analysis and Bandit
Feedback
- arxiv url: http://arxiv.org/abs/2302.09357v1
- Date: Sat, 18 Feb 2023 15:02:10 GMT
- ステータス: 処理完了
- システム内更新日: 2023-02-21 19:05:39.464821
- Title: Online Instrumental Variable Regression: Regret Analysis and Bandit
Feedback
- Title(参考訳): オンラインインストゥルメンタル変数回帰:後悔分析とバンディットフィードバック
- Authors: Riccardo Della Vecchia, Debabrota Basu
- Abstract要約: インストゥルメンタル変数(IV)回帰のオンライン設定について検討し,内在性に対処するために経済学で広く利用されている。
内在性のあるデータセットに対しては,オンライン線形回帰と線形帯域設定の両面において,O2SLSとOFUL-IVが最先端のアルゴリズムよりも後悔の少ないことを実験的に実証した。
- 参考スコア(独自算出の注目度): 4.964737844687583
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The independence of noise and covariates is a standard assumption in online
linear regression and linear bandit literature. This assumption and the
following analysis are invalid in the case of endogeneity, i.e., when the noise
and covariates are correlated. In this paper, we study the online setting of
instrumental variable (IV) regression, which is widely used in economics to
tackle endogeneity. Specifically, we analyse and upper bound regret of
Two-Stage Least Squares (2SLS) approach to IV regression in the online setting.
Our analysis shows that Online 2SLS (O2SLS) achieves $O(d^2 \log^2 T)$ regret
after $T$ interactions, where d is the dimension of covariates. Following that,
we leverage the O2SLS as an oracle to design OFUL-IV, a linear bandit
algorithm. OFUL-IV can tackle endogeneity and achieves $O(d \sqrt{T} \log T)$
regret. For datasets with endogeneity, we experimentally demonstrate that O2SLS
and OFUL-IV incur lower regrets than the state-of-the-art algorithms for both
the online linear regression and linear bandit settings.
- Abstract(参考訳): ノイズと共変量の独立性はオンライン線形回帰と線形バンディット文学における標準的な仮定である。
この仮定と以下の分析は、内在性の場合、すなわち、雑音と共変量が相関している場合に無効である。
本稿では,楽器変数(IV)回帰のオンライン設定について検討する。
具体的には、オンライン環境でのIV回帰に対する2段階最小二乗法(2SLS)アプローチを分析・上界後悔する。
分析の結果,オンライン2SLS (O2SLS) が$O(d^2 \log^2 T)$ regret, $T$インタラクションの後, d は共変量次元であることがわかった。
その後、O2SLSをオラクルとして活用し、線形帯域幅アルゴリズム OFUL-IV を設計する。
OFUL-IV は内在性に取り組み、$O(d \sqrt{T} \log T)$ regret を達成する。
内在性のあるデータセットに対しては,オンライン線形回帰と線形帯域設定の両面において,O2SLSとOFUL-IVが最先端のアルゴリズムよりも後悔度が低いことを示す。
関連論文リスト
- Retire: Robust Expectile Regression in High Dimensions [3.9391041278203978]
ペナル化量子化法と期待回帰法は、高次元データの異方性検出に有用な手段を提供する。
我々は,頑健な期待回帰(退職)を提案し,研究する。
提案手法は半平滑なニュートン座標降下アルゴリズムにより効率よく解けることを示す。
論文 参考訳(メタデータ) (2022-12-11T18:03:12Z) - How Does Pseudo-Labeling Affect the Generalization Error of the
Semi-Supervised Gibbs Algorithm? [73.80001705134147]
擬似ラベル付き半教師付き学習(SSL)におけるGibsアルゴリズムによる予測一般化誤差(ゲンエラー)を正確に評価する。
ゲンエラーは、出力仮説、擬ラベルデータセット、ラベル付きデータセットの間の対称性付きKL情報によって表現される。
論文 参考訳(メタデータ) (2022-10-15T04:11:56Z) - (Nearly) Optimal Private Linear Regression via Adaptive Clipping [22.639650869444395]
固定されたガウス型分布から各データ点をサンプリングする微分プライベート線形回帰問題について検討する。
本稿では,各イテレーションの点を置換せずにサンプリングする1パスのミニバッチ勾配勾配法(DP-AMBSSGD)を提案し,解析する。
論文 参考訳(メタデータ) (2022-07-11T08:04:46Z) - Optimal Online Generalized Linear Regression with Stochastic Noise and
Its Application to Heteroscedastic Bandits [88.6139446295537]
一般化線形モデルの設定におけるオンライン一般化線形回帰の問題について検討する。
ラベルノイズに対処するため、古典的追従正規化リーダ(FTRL)アルゴリズムを鋭く解析する。
本稿では,FTRLに基づくアルゴリズムを提案する。
論文 参考訳(メタデータ) (2022-02-28T08:25:26Z) - Online nonparametric regression with Sobolev kernels [99.12817345416846]
我々は、ソボレフ空間のクラス上の後悔の上限を$W_pbeta(mathcalX)$, $pgeq 2, beta>fracdp$ とする。
上界は minimax regret analysis で支えられ、$beta> fracd2$ または $p=infty$ の場合、これらの値は(本質的に)最適である。
論文 参考訳(メタデータ) (2021-02-06T15:05:14Z) - Computationally and Statistically Efficient Truncated Regression [36.3677715543994]
計算的かつ統計的に効率的な線形回帰の古典的問題に対する推定器を提供する。
提案手法では, トランキャット標本の負の対数類似度に代わることなく, プロジェクテッド・Descent Gradient (PSGD) を用いて推定する。
本稿では,SGDが単一層ニューラルネットワークの雑音活性化関数のパラメータを学習することを示す。
論文 参考訳(メタデータ) (2020-10-22T19:31:30Z) - Linear-Sample Learning of Low-Rank Distributions [56.59844655107251]
ktimes k$, rank-r$, matrices to normalized $L_1$ distance requires $Omega(frackrepsilon2)$ sample。
我々は、$cal O(frackrepsilon2log2fracepsilon)$ sample, a number linear in the high dimension, and almost linear in the matrices, usually low, rank proofs.というアルゴリズムを提案する。
論文 参考訳(メタデータ) (2020-09-30T19:10:32Z) - Optimal Robust Linear Regression in Nearly Linear Time [97.11565882347772]
学習者が生成モデル$Y = langle X,w* rangle + epsilon$から$n$のサンプルにアクセスできるような高次元頑健な線形回帰問題について検討する。
i) $X$ is L4-L2 hypercontractive, $mathbbE [XXtop]$ has bounded condition number and $epsilon$ has bounded variance, (ii) $X$ is sub-Gaussian with identity second moment and $epsilon$ is
論文 参考訳(メタデータ) (2020-07-16T06:44:44Z) - Preventing Posterior Collapse with Levenshtein Variational Autoencoder [61.30283661804425]
我々は,エビデンス・ロー・バウンド(ELBO)を最適化し,後部崩壊を防止できる新しい目的に置き換えることを提案する。
本稿では,Levenstein VAEが後方崩壊防止のための代替手法よりも,より情報的な潜伏表現を生成することを示す。
論文 参考訳(メタデータ) (2020-04-30T13:27:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。