論文の概要: Online Instrumental Variable Regression: Regret Analysis and Bandit
Feedback
- arxiv url: http://arxiv.org/abs/2302.09357v2
- Date: Mon, 26 Jun 2023 08:51:58 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-27 23:39:43.441146
- Title: Online Instrumental Variable Regression: Regret Analysis and Bandit
Feedback
- Title（参考訳）: オンラインインストゥルメンタル変数回帰:後悔分析とバンディットフィードバック
- Authors: Riccardo Della Vecchia, Debabrota Basu
- Abstract要約: オンライン学習における内在性に取り組むために,2段階の最小二乗法,すなわちO2SLSのオンライン版を提案する。
異なるデータセットに対して,O2SLSとOFUL-IVの有効性を,後悔の観点から実験的に示す。
- 参考スコア（独自算出の注目度）: 4.964737844687583
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Endogeneity, i.e. the dependence between noise and covariates, is a common
phenomenon in real data due to omitted variables, strategic behaviours,
measurement errors etc. In contrast, the existing analyses of stochastic online
linear regression with unbounded noise and linear bandits depend heavily on
exogeneity, i.e. the independence between noise and covariates. Motivated by
this gap, we study the over-and just-identified Instrumental Variable (IV)
regression for stochastic online learning. IV regression and the Two-Stage
Least Squares approach to it are widely deployed in economics and causal
inference to identify the underlying model from an endogenous dataset. Thus, we
propose to use an online variant of Two-Stage Least Squares approach, namely
O2SLS, to tackle endogeneity in stochastic online learning. Our analysis shows
that O2SLS achieves $\mathcal{O}\left(d_x d_z \log ^2 T\right)$ identification
and $\tilde{\mathcal{O}}\left(\gamma \sqrt{d_x T}\right)$ oracle regret after
$T$ interactions, where $d_x$ and $d_z$ are the dimensions of covariates and
IVs, and $\gamma$ is the bias due to endogeneity. For $\gamma=0$, i.e. under
exogeneity, O2SLS achieves $\mathcal{O}\left(d_x^2 \log ^2 T\right)$ oracle
regret, which is of the same order as that of the stochastic online ridge.
Then, we leverage O2SLS as an oracle to design OFUL-IV, a stochastic linear
bandit algorithm that can tackle endogeneity and achieves
$\widetilde{\mathcal{O}}\left(\sqrt{d_x d_z T}\right)$ regret. For different
datasets with endogeneity, we experimentally show efficiencies of O2SLS and
OFUL-IV in terms of regrets.
- Abstract（参考訳）: 内在性、すなわちノイズと共変量の間の依存性は、変数の省略、戦略的な振る舞い、測定誤差などによる実データで一般的な現象である。
対照的に、非有界雑音と線形帯域を持つ確率的オンライン線形回帰の既存の分析は、異種性、すなわちノイズと共変量の独立性に大きく依存している。
このギャップに動機づけられ、確率的オンライン学習のための過剰かつ正当なインストゥルメンタル変数(iv)回帰を研究した。
IV回帰と2段階のLast Squaresアプローチは、内因性データセットから基礎モデルを特定するために、経済学や因果推論において広く展開されている。
そこで本稿では,確率的オンライン学習における内在性に対処するために,オンラインの2段階Last SquaresアプローチであるO2SLSを提案する。
解析の結果、o2sls は $\mathcal{o}\left(d_x d_z \log ^2 t\right)$ id と $\tilde{\mathcal{o}}\left(\gamma \sqrt{d_x t}\right)$ oracle regret after $t$ 相互作用(ここで $d_x$ と $d_z$ は共変量と ivs の次元であり、$\gamma$ は内在性によるバイアスである。
o2slsは$\mathcal{o}\left(d_x^2 \log ^2 t\right)$ oracle regret(確率的オンラインリッジと同じ順序)を達成する。
次に、O2SLSをオラクルとして利用して、内在性に対処し、$\widetilde{\mathcal{O}}\left(\sqrt{d_x d_z T}\right)を後悔する確率線形バンドリットアルゴリズム OFUL-IVを設計する。
内在性のある異なるデータセットに対して,O2SLSとOFUL-IVの効率を後悔の観点から実験的に示す。
関連論文リスト
- Agnostic Smoothed Online Learning [5.167069404528051]
本稿では,$mu$の事前知識を必要とせずに,オンライン学習を円滑に行うためのサブ線形後悔を保証するアルゴリズムを提案する。
R-Coverは、次元$d$を持つ関数クラスに対して、適応的後悔$tilde O(sqrtdT/sigma)$を持つ。
論文 参考訳（メタデータ） (2024-10-07T15:25:21Z) - Scaling Laws in Linear Regression: Compute, Parameters, and Data [86.48154162485712]
無限次元線形回帰セットアップにおけるスケーリング法則の理論について検討する。
テストエラーの再現可能な部分は$Theta(-(a-1) + N-(a-1)/a)$であることを示す。
我々の理論は経験的ニューラルスケーリング法則と一致し、数値シミュレーションによって検証される。
論文 参考訳（メタデータ） (2024-06-12T17:53:29Z) - Stochastic Optimization Algorithms for Instrumental Variable Regression with Streaming Data [17.657917523817243]
この問題を条件付き最適化問題とみなして,器用変分回帰のためのアルゴリズムを開発し,解析する。
最小二乗変数回帰の文脈では、我々のアルゴリズムは行列逆転やミニバッチを必要としない。
任意の$iota>0$に対して$mathcalO(log T/T)$と$mathcalO(1/T1-iota)$の順の収束率を導出する。
論文 参考訳（メタデータ） (2024-05-29T19:21:55Z) - Learning with Norm Constrained, Over-parameterized, Two-layer Neural Networks [54.177130905659155]
近年の研究では、再生カーネルヒルベルト空間(RKHS)がニューラルネットワークによる関数のモデル化に適した空間ではないことが示されている。
本稿では,有界ノルムを持つオーバーパラメータ化された2層ニューラルネットワークに適した関数空間について検討する。
論文 参考訳（メタデータ） (2024-04-29T15:04:07Z) - Retire: Robust Expectile Regression in High Dimensions [3.9391041278203978]
ペナル化量子化法と期待回帰法は、高次元データの異方性検出に有用な手段を提供する。
我々は,頑健な期待回帰(退職)を提案し,研究する。
提案手法は半平滑なニュートン座標降下アルゴリズムにより効率よく解けることを示す。
論文 参考訳（メタデータ） (2022-12-11T18:03:12Z) - Optimal Online Generalized Linear Regression with Stochastic Noise and
Its Application to Heteroscedastic Bandits [88.6139446295537]
一般化線形モデルの設定におけるオンライン一般化線形回帰の問題について検討する。
ラベルノイズに対処するため、古典的追従正規化リーダ(FTRL)アルゴリズムを鋭く解析する。
本稿では,FTRLに基づくアルゴリズムを提案する。
論文 参考訳（メタデータ） (2022-02-28T08:25:26Z) - Online nonparametric regression with Sobolev kernels [99.12817345416846]
我々は、ソボレフ空間のクラス上の後悔の上限を$W_pbeta(mathcalX)$, $pgeq 2, beta>fracdp$ とする。
上界は minimax regret analysis で支えられ、$beta> fracd2$ または $p=infty$ の場合、これらの値は(本質的に)最適である。
論文 参考訳（メタデータ） (2021-02-06T15:05:14Z) - Computationally and Statistically Efficient Truncated Regression [36.3677715543994]
計算的かつ統計的に効率的な線形回帰の古典的問題に対する推定器を提供する。
提案手法では, トランキャット標本の負の対数類似度に代わることなく, プロジェクテッド・Descent Gradient (PSGD) を用いて推定する。
本稿では,SGDが単一層ニューラルネットワークの雑音活性化関数のパラメータを学習することを示す。
論文 参考訳（メタデータ） (2020-10-22T19:31:30Z) - Optimal Robust Linear Regression in Nearly Linear Time [97.11565882347772]
学習者が生成モデル$Y = langle X,w* rangle + epsilon$から$n$のサンプルにアクセスできるような高次元頑健な線形回帰問題について検討する。
i) $X$ is L4-L2 hypercontractive, $mathbbE [XXtop]$ has bounded condition number and $epsilon$ has bounded variance, (ii) $X$ is sub-Gaussian with identity second moment and $epsilon$ is
論文 参考訳（メタデータ） (2020-07-16T06:44:44Z) - Preventing Posterior Collapse with Levenshtein Variational Autoencoder [61.30283661804425]
我々は,エビデンス・ロー・バウンド(ELBO)を最適化し,後部崩壊を防止できる新しい目的に置き換えることを提案する。
本稿では,Levenstein VAEが後方崩壊防止のための代替手法よりも,より情報的な潜伏表現を生成することを示す。
論文 参考訳（メタデータ） (2020-04-30T13:27:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。