論文の概要: Stochastic Online Instrumental Variable Regression: Regrets for
Endogeneity and Bandit Feedback
- arxiv url: http://arxiv.org/abs/2302.09357v3
- Date: Sun, 25 Feb 2024 11:55:12 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-27 19:48:29.139346
- Title: Stochastic Online Instrumental Variable Regression: Regrets for
Endogeneity and Bandit Feedback
- Title(参考訳): 確率的オンライン機器可変回帰:内在性と帯域フィードバックの回帰
- Authors: Riccardo Della Vecchia, Debabrota Basu
- Abstract要約: 本稿では,O2SLSのオンライン版であるO2SLS(O2SLS)を提案する。
O2SLS は $mathcal O(d_x$ および $d_z$)$ ID と $widetildemathcal O(sqrtd_zT)$ regret を示す。
内在性を持つ異なるデータセットに対しては、実験的に
- 参考スコア(独自算出の注目度): 10.377650972462654
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Endogeneity, i.e. the dependence of noise and covariates, is a common
phenomenon in real data due to omitted variables, strategic behaviours,
measurement errors etc. In contrast, the existing analyses of stochastic online
linear regression with unbounded noise and linear bandits depend heavily on
exogeneity, i.e. the independence of noise and covariates. Motivated by this
gap, we study the over- and just-identified Instrumental Variable (IV)
regression, specifically Two-Stage Least Squares, for stochastic online
learning, and propose to use an online variant of Two-Stage Least Squares,
namely O2SLS. We show that O2SLS achieves $\mathcal O(d_{x}d_{z}\log^2 T)$
identification and $\widetilde{\mathcal O}(\gamma \sqrt{d_{z} T})$ oracle
regret after $T$ interactions, where $d_{x}$ and $d_{z}$ are the dimensions of
covariates and IVs, and $\gamma$ is the bias due to endogeneity. For
$\gamma=0$, i.e. under exogeneity, O2SLS exhibits $\mathcal O(d_{x}^2 \log^2
T)$ oracle regret, which is of the same order as that of the stochastic online
ridge. Then, we leverage O2SLS as an oracle to design OFUL-IV, a stochastic
linear bandit algorithm to tackle endogeneity. OFUL-IV yields
$\widetilde{\mathcal O}(\sqrt{d_{x}d_{z}T})$ regret that matches the regret
lower bound under exogeneity. For different datasets with endogeneity, we
experimentally show efficiencies of O2SLS and OFUL-IV.
- Abstract(参考訳): 内在性(英: Endogeneity)、すなわちノイズと共変量の依存は、省略変数、戦略的挙動、測定誤差などによる実データに共通する現象である。
対照的に、非有界雑音と線形帯域を持つ確率的オンライン線形回帰の既存の分析は、異種性、すなわちノイズと共変量の独立性に大きく依存している。
このギャップに触発された我々は、確率的オンライン学習のために、過度に同定された器用変数(IV)レグレッション(特に2段階の最小広場)を研究し、オンライン版である2段階の最小広場(O2SLS)を提案する。
o2sls は $\mathcal o(d_{x}d_{z}\log^2 t)$ id と $\widetilde{\mathcal o}(\gamma \sqrt{d_{z} t})$ oracle regret after $t$ interaction、ここで $d_{x}$ と $d_{z}$ は covariates と ivs の次元であり、$\gamma$ は内在性によるバイアスである。
O2SLS はexogeneity の下で$\gamma=0$ に対して $\mathcal O(d_{x}^2 \log^2T)$ oracle regret を示し、これは確率的オンラインリッジと同じ順序である。
次に,o2slsをoracleとして,確率線形バンディットアルゴリズムoful-ivを設計し,内在性に取り組む。
oful-iv は、exgeneity の下での後悔の下限に一致する $\widetilde{\mathcal o}(\sqrt{d_{x}d_{z}t})$ を与える。
内在性を持つ異なるデータセットに対して,O2SLSとOFUL-IVの有効性を実験的に示す。
関連論文リスト
- Learning with Norm Constrained, Over-parameterized, Two-layer Neural Networks [54.177130905659155]
近年の研究では、再生カーネル空間(RKHS)がニューラルネットワークによる関数のモデル化に適した空間ではないことが示されている。
有界ノルムを持つオーバーパラメータ化された2層ニューラルネットワークに適した関数空間について検討する。
我々は、$epsilon$-covering up $mathcalO(epsilon-frac2dd+2)$に対する計量エントロピーの改善結果を得る。
論文 参考訳(メタデータ) (2024-04-29T15:04:07Z) - Retire: Robust Expectile Regression in High Dimensions [3.9391041278203978]
ペナル化量子化法と期待回帰法は、高次元データの異方性検出に有用な手段を提供する。
我々は,頑健な期待回帰(退職)を提案し,研究する。
提案手法は半平滑なニュートン座標降下アルゴリズムにより効率よく解けることを示す。
論文 参考訳(メタデータ) (2022-12-11T18:03:12Z) - How Does Pseudo-Labeling Affect the Generalization Error of the
Semi-Supervised Gibbs Algorithm? [73.80001705134147]
擬似ラベル付き半教師付き学習(SSL)におけるGibsアルゴリズムによる予測一般化誤差(ゲンエラー)を正確に評価する。
ゲンエラーは、出力仮説、擬ラベルデータセット、ラベル付きデータセットの間の対称性付きKL情報によって表現される。
論文 参考訳(メタデータ) (2022-10-15T04:11:56Z) - (Nearly) Optimal Private Linear Regression via Adaptive Clipping [22.639650869444395]
固定されたガウス型分布から各データ点をサンプリングする微分プライベート線形回帰問題について検討する。
本稿では,各イテレーションの点を置換せずにサンプリングする1パスのミニバッチ勾配勾配法(DP-AMBSSGD)を提案し,解析する。
論文 参考訳(メタデータ) (2022-07-11T08:04:46Z) - Optimal Online Generalized Linear Regression with Stochastic Noise and
Its Application to Heteroscedastic Bandits [88.6139446295537]
一般化線形モデルの設定におけるオンライン一般化線形回帰の問題について検討する。
ラベルノイズに対処するため、古典的追従正規化リーダ(FTRL)アルゴリズムを鋭く解析する。
本稿では,FTRLに基づくアルゴリズムを提案する。
論文 参考訳(メタデータ) (2022-02-28T08:25:26Z) - Online nonparametric regression with Sobolev kernels [99.12817345416846]
我々は、ソボレフ空間のクラス上の後悔の上限を$W_pbeta(mathcalX)$, $pgeq 2, beta>fracdp$ とする。
上界は minimax regret analysis で支えられ、$beta> fracd2$ または $p=infty$ の場合、これらの値は(本質的に)最適である。
論文 参考訳(メタデータ) (2021-02-06T15:05:14Z) - Computationally and Statistically Efficient Truncated Regression [36.3677715543994]
計算的かつ統計的に効率的な線形回帰の古典的問題に対する推定器を提供する。
提案手法では, トランキャット標本の負の対数類似度に代わることなく, プロジェクテッド・Descent Gradient (PSGD) を用いて推定する。
本稿では,SGDが単一層ニューラルネットワークの雑音活性化関数のパラメータを学習することを示す。
論文 参考訳(メタデータ) (2020-10-22T19:31:30Z) - Optimal Robust Linear Regression in Nearly Linear Time [97.11565882347772]
学習者が生成モデル$Y = langle X,w* rangle + epsilon$から$n$のサンプルにアクセスできるような高次元頑健な線形回帰問題について検討する。
i) $X$ is L4-L2 hypercontractive, $mathbbE [XXtop]$ has bounded condition number and $epsilon$ has bounded variance, (ii) $X$ is sub-Gaussian with identity second moment and $epsilon$ is
論文 参考訳(メタデータ) (2020-07-16T06:44:44Z) - Preventing Posterior Collapse with Levenshtein Variational Autoencoder [61.30283661804425]
我々は,エビデンス・ロー・バウンド(ELBO)を最適化し,後部崩壊を防止できる新しい目的に置き換えることを提案する。
本稿では,Levenstein VAEが後方崩壊防止のための代替手法よりも,より情報的な潜伏表現を生成することを示す。
論文 参考訳(メタデータ) (2020-04-30T13:27:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。