論文の概要: Machine learning the first stage in 2SLS: Practical guidance from bias decomposition and simulation

• arxiv url: http://arxiv.org/abs/2505.13422v1
• Date: Mon, 19 May 2025 17:53:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-20 14:57:11.792059
• Title: Machine learning the first stage in 2SLS: Practical guidance from bias decomposition and simulation
• Title（参考訳）: 2SLSの第1段階の機械学習:バイアス分解とシミュレーションによる実践的ガイダンス
• Authors: Connor Lennon, Edward Rubin, Glen Waddell,
• Abstract要約: 機械学習(ML)は予測問題を解くために進化した。 2段階最小(2SL)の第1段階は予測問題である。 MLが2SL$2014または3段階支援を支援するかを検討する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Machine learning (ML) primarily evolved to solve "prediction problems." The first stage of two-stage least squares (2SLS) is a prediction problem, suggesting potential gains from ML first-stage assistance. However, little guidance exists on when ML helps 2SLS$\unicode{x2014}$or when it hurts. We investigate the implications of inserting ML into 2SLS, decomposing the bias into three informative components. Mechanically, ML-in-2SLS procedures face issues common to prediction and causal-inference settings$\unicode{x2014}$and their interaction. Through simulation, we show linear ML methods (e.g., post-Lasso) work well, while nonlinear methods (e.g., random forests, neural nets) generate substantial bias in second-stage estimates$\unicode{x2014}$potentially exceeding the bias of endogenous OLS.
• Abstract（参考訳）: 機械学習(ML)は主に「予測問題」を解決するために進化した。 2段最小二乗法 (2SLS) の第1段階は予測問題であり、ML第一段補助法による潜在的な利得を示唆している。 しかし、MLが2SLS$\unicode{x2014}$orを助ける場合のガイダンスはほとんどない。 本稿では,MLを2SLSに挿入することの意味を考察し,バイアスを3つの情報成分に分解する。 機械的には、ML-in-2SLSプロシージャは、予測と因果推論設定に共通する問題に直面します。 シミュレーションにより、線形ML手法(例:ポストラッソ)がうまく機能し、非線形手法(例:ランダムフォレスト、ニューラルネット)が第二段階推定においてかなりのバイアスを発生させ、内因性OLSのバイアスを潜在的に超越することを示した。

関連論文リスト

• Predicting Emergent Capabilities by Finetuning [98.9684114851891]
  微調整された言語モデルでは,出現頻度の低いモデルに展開するスケーリングのポイントをシフトできることがわかった。 提案手法は4つの標準NLPベンチマークを用いて検証する。 いくつかのケースでは、最大4倍の計算でトレーニングされたモデルが出現したかどうかを正確に予測できる。
  論文  参考訳（メタデータ） (2024-11-25T01:48:09Z)
• BSL: Understanding and Improving Softmax Loss for Recommendation [13.10440836605245]
  ソフトマックス・ロス (SL) は, 精度は高いが, 堅牢性や公正性も向上する。 本稿では, SL の利点を正と負の両面に拡張する新たな損失関数としてバイラテラル・ソフトマックス・ロス (BSL) を提案する。 BSLは単純で実装が容易で、SLと比較して1行追加のコードしか必要ありません。
  論文  参考訳（メタデータ） (2023-12-20T09:46:42Z)
• Local Convergence of Approximate Newton Method for Two Layer Nonlinear Regression [21.849997443967705]
  2層回帰問題は先行研究でよく研究されている。 第1の層はReLUユニットで活性化され、第2の層はソフトマックスユニットで活性化される。 ヘッセン行列の損失関数は正定値であり、ある仮定の下でリプシッツが連続であることを証明する。
  論文  参考訳（メタデータ） (2023-11-26T19:19:02Z)
• From Good to Best: Two-Stage Training for Cross-lingual Machine Reading Comprehension [51.953428342923885]
  モデル性能を向上させるための2段階のアプローチを開発する。 我々は、トップk予測が正確な答えを含む確率を最大化するために、ハードラーニング(HL)アルゴリズムを設計する。 第2段階では, 正解と他の候補との微妙な違いを学習するために, 解答を意識したコントラスト学習機構が開発された。
  論文  参考訳（メタデータ） (2021-12-09T07:31:15Z)
• LeanML: A Design Pattern To Slash Avoidable Wastes in Machine Learning Projects [0.5330240017302619]
  機械学習プロジェクトへのリーン方法論の最初の応用を紹介します。 我々は、リーン機械学習(LeanML)が、商用機械学習プロジェクトで回避可能な無駄を大幅に削減できると主張している。
  論文  参考訳（メタデータ） (2021-07-16T18:16:48Z)
• Counterfactual Explanations for Machine Learning: Challenges Revisited [6.939768185086755]
  対実的説明(CFE)は、機械学習(ML)モデルの解釈可能性の傘の下に生まれたテクニックである。 入力データポイントが$x$ではなく$x’$であれば、MLモデルの出力は$y’$ではなく$y’$になる。
  論文  参考訳（メタデータ） (2021-06-14T20:56:37Z)
• Understanding self-supervised Learning Dynamics without Contrastive Pairs [72.1743263777693]
  自己監視学習(SSL)に対する対照的アプローチは、同じデータポイントの2つの拡張ビュー間の距離を最小限にすることで表現を学習する。 BYOLとSimSiamは、負のペアなしで素晴らしいパフォーマンスを示す。 単純線形ネットワークにおける非コントラストSSLの非線形学習ダイナミクスについて検討する。
  論文  参考訳（メタデータ） (2021-02-12T22:57:28Z)
• Language Model Prior for Low-Resource Neural Machine Translation [85.55729693003829]
  ニューラル翻訳モデル (TM) において, LM を事前に組み込む新しい手法を提案する。 正規化項を追加し、TMの出力分布をLMの下で予測可能とする。 2つの低リソース機械翻訳データセットの結果は、限られたモノリンガルデータであっても明らかな改善を示している。
  論文  参考訳（メタデータ） (2020-04-30T16:29:56Z)
• An Information-Theoretic Approach to Personalized Explainable Machine Learning [92.53970625312665]
  本稿では,予測とユーザ知識のための簡易確率モデルを提案する。 説明と予測の間の条件付き相互情報による説明の効果を定量化する。
  論文  参考訳（メタデータ） (2020-03-01T13:06:29Z)
• Randomized Exploration in Generalized Linear Bandits [56.05007606177762]
  一般化線形帯域に対する2つのランダム化アルゴリズムについて検討する。 最初のGLM-TSLは、ラプラス近似から後方分布への一般化線形モデル(GLM)をサンプリングする。 第2のGLM-FPLは、過去の報酬のランダムな摂動履歴にGLMを適合させる。
  論文  参考訳（メタデータ） (2019-06-21T04:57:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。