論文の概要: Causal Gradient Boosting: Boosted Instrumental Variable Regression
- arxiv url: http://arxiv.org/abs/2101.06078v1
- Date: Fri, 15 Jan 2021 11:54:25 GMT
- ステータス: 処理完了
- システム内更新日: 2021-03-28 11:16:12.443250
- Title: Causal Gradient Boosting: Boosted Instrumental Variable Regression
- Title（参考訳）: Causal Gradient Boosting: Boosted Instrumental Variable Regression
- Authors: Edvard Bakhitov and Amandeep Singh
- Abstract要約: 本稿では,従来の勾配押し上げアルゴリズムに基づいて内在性バイアスを補正するBoostIVというアルゴリズムを提案する。
私たちのアプローチはデータ駆動です。つまり、研究者はターゲット関数の近似や楽器の選択の形でもスタンスを作らなくてもよいのです。
boostIVは既存の方法と同等に最悪であり、平均するとそれらの方法よりもはるかに優れています。
- 参考スコア（独自算出の注目度）: 2.831053006774813
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recent advances in the literature have demonstrated that standard supervised
learning algorithms are ill-suited for problems with endogenous explanatory
variables. To correct for the endogeneity bias, many variants of nonparameteric
instrumental variable regression methods have been developed. In this paper, we
propose an alternative algorithm called boostIV that builds on the traditional
gradient boosting algorithm and corrects for the endogeneity bias. The
algorithm is very intuitive and resembles an iterative version of the standard
2SLS estimator. Moreover, our approach is data driven, meaning that the
researcher does not have to make a stance on neither the form of the target
function approximation nor the choice of instruments. We demonstrate that our
estimator is consistent under mild conditions. We carry out extensive Monte
Carlo simulations to demonstrate the finite sample performance of our algorithm
compared to other recently developed methods. We show that boostIV is at worst
on par with the existing methods and on average significantly outperforms them.
- Abstract（参考訳）: 文献の最近の進歩は、標準教師付き学習アルゴリズムが内因性説明変数の問題に不適であることを証明している。
内在性バイアスを補正するために、非パラメータの機器変数回帰法の多くの変種が開発された。
本稿では,従来の勾配ブースティングアルゴリズムを基盤とし,内在性バイアスを補正するboostivと呼ばれる代替アルゴリズムを提案する。
アルゴリズムは非常に直感的で、標準的な2SLS推定器の反復バージョンに似ている。
さらに,本手法はデータ駆動型であり,対象関数近似の形式や楽器の選択にスタンスを取らなくてもよい。
温和な条件下では, 推定値が一定であることを示す。
モンテカルロシミュレーションを行い,本アルゴリズムの有限サンプル性能を,最近開発された他の手法と比較した。
boostIVは既存の方法と同等に最悪であり、平均するとそれらの方法よりもはるかに優れています。
関連論文リスト
- Accelerated zero-order SGD under high-order smoothness and overparameterized regime [79.85163929026146]
凸最適化問題を解くための新しい勾配のないアルゴリズムを提案する。
このような問題は医学、物理学、機械学習で発生する。
両種類の雑音下で提案アルゴリズムの収束保証を行う。
論文 参考訳（メタデータ） (2024-11-21T10:26:17Z) - Improved Differentially Private Regression via Gradient Boosting [38.09948758699131]
勾配向上に基づく線形回帰法を新たに提案する。
包括的な実験に加えて、この振る舞いを説明する理論的洞察を与える。
論文 参考訳（メタデータ） (2023-03-06T19:20:52Z) - Training Discrete Deep Generative Models via Gapped Straight-Through
Estimator [72.71398034617607]
再サンプリングのオーバーヘッドを伴わずに分散を低減するため, GST (Gapped Straight-Through) 推定器を提案する。
この推定子は、Straight-Through Gumbel-Softmaxの本質的な性質に着想を得たものである。
実験により,提案したGST推定器は,2つの離散的な深部生成モデリングタスクの強いベースラインと比較して,優れた性能を享受できることが示された。
論文 参考訳（メタデータ） (2022-06-15T01:46:05Z) - A Boosting Approach to Reinforcement Learning [59.46285581748018]
複雑度が状態数に依存しない意思決定プロセスにおける強化学習のための効率的なアルゴリズムについて検討する。
このような弱い学習手法の精度を向上させることができる効率的なアルゴリズムを提供する。
論文 参考訳（メタデータ） (2021-08-22T16:00:45Z) - Robust Regression Revisited: Acceleration and Improved Estimation Rates [25.54653340884806]
強い汚染モデルの下で, 統計的回帰問題に対する高速アルゴリズムについて検討する。
目的は、逆向きに破損したサンプルを与えられた一般化線形モデル(GLM)を概ね最適化することである。
実行時や推定保証が改善された頑健な回帰問題に対して,ほぼ直線的な時間アルゴリズムを提案する。
論文 参考訳（メタデータ） (2021-06-22T17:21:56Z) - Robust Regression via Model Based Methods [13.300549123177705]
モデルベース最適化 (MBO) [35, 36] に着想を得たアルゴリズムを提案し, 非対象を凸モデル関数に置き換える。
これをロバスト回帰に適用し、MBOの内部最適化を解くために、オンライン乗算器のオンライン交互方向法(OOADM) [50] の関数 SADM を提案する。
最後に、(a)アウトレーヤに対するl_pノルムのロバスト性、(b)オートエンコーダ法とマルチターゲット回帰法と比較して、提案したモデルベースアルゴリズムの効率性を実験的に実証した。
論文 参考訳（メタデータ） (2021-06-20T21:45:35Z) - Meta-Regularization: An Approach to Adaptive Choice of the Learning Rate
in Gradient Descent [20.47598828422897]
第一次下降法における学習率の適応的選択のための新しいアプローチであるtextit-Meta-Regularizationを提案する。
本手法は,正規化項を追加して目的関数を修正し,共同処理パラメータをキャストする。
論文 参考訳（メタデータ） (2021-04-12T13:13:34Z) - Variance-Reduced Off-Policy Memory-Efficient Policy Search [61.23789485979057]
政治政策の最適化は強化学習において難しい問題である。
オフポリシーアルゴリズムはメモリ効率が高く、オフポリシーサンプルから学ぶことができる。
論文 参考訳（メタデータ） (2020-09-14T16:22:46Z) - A spectral algorithm for robust regression with subgaussian rates [0.0]
本研究では, 試料の分布に強い仮定がない場合の線形回帰に対する2次時間に対する新しい線形アルゴリズムについて検討する。
目的は、データが有限モーメントしか持たなくても最適な準ガウス誤差を達成できる手順を設計することである。
論文 参考訳（メタデータ） (2020-07-12T19:33:50Z) - Instability, Computational Efficiency and Statistical Accuracy [101.32305022521024]
我々は,人口レベルでのアルゴリズムの決定論的収束率と,$n$サンプルに基づく経験的対象に適用した場合の(不安定性)の間の相互作用に基づいて,統計的精度を得るフレームワークを開発する。
本稿では,ガウス混合推定,非線形回帰モデル,情報的非応答モデルなど,いくつかの具体的なモデルに対する一般結果の応用について述べる。
論文 参考訳（メタデータ） (2020-05-22T22:30:52Z) - Variance Reduction with Sparse Gradients [82.41780420431205]
SVRGやSpiderBoostのような分散還元法では、大きなバッチ勾配と小さなバッチ勾配が混在している。
我々は、新しい空間演算子:ランダムトップk演算子を導入する。
我々のアルゴリズムは、画像分類、自然言語処理、スパース行列分解など様々なタスクにおいて、一貫してSpiderBoostより優れています。
論文 参考訳（メタデータ） (2020-01-27T08:23:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。