論文の概要: Double and Single Descent in Causal Inference with an Application to High-Dimensional Synthetic Control

• arxiv url: http://arxiv.org/abs/2305.00700v2
• Date: Mon, 21 Aug 2023 18:43:29 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-23 14:46:29.042070
• Title: Double and Single Descent in Causal Inference with an Application to High-Dimensional Synthetic Control
• Title（参考訳）: 因果推論における二重・単一降下と高次元合成制御への応用
• Authors: Jann Spiess, Guido Imbens, Amar Venugopal
• Abstract要約: 機械学習では、非常に多くの自由パラメータがあり、モデルがトレーニングデータに完全に適合する。 多数の制御ユニットを有する高次元合成制御推定器の性能について述べる。 制御ユニットの追加は, 処理前適合が完璧である点を超えても, 計算性能の向上に有効であることがわかった。
• 参考スコア（独自算出の注目度）: 2.3173485093942943
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Motivated by a recent literature on the double-descent phenomenon in machine learning, we consider highly over-parameterized models in causal inference, including synthetic control with many control units. In such models, there may be so many free parameters that the model fits the training data perfectly. We first investigate high-dimensional linear regression for imputing wage data and estimating average treatment effects, where we find that models with many more covariates than sample size can outperform simple ones. We then document the performance of high-dimensional synthetic control estimators with many control units. We find that adding control units can help improve imputation performance even beyond the point where the pre-treatment fit is perfect. We provide a unified theoretical perspective on the performance of these high-dimensional models. Specifically, we show that more complex models can be interpreted as model-averaging estimators over simpler ones, which we link to an improvement in average performance. This perspective yields concrete insights into the use of synthetic control when control units are many relative to the number of pre-treatment periods.
• Abstract（参考訳）: 機械学習における二重発色現象に関する最近の文献に触発され、多くの制御ユニットによる合成制御を含む、因果推論における高度に過度なパラメータ化モデルを考える。 このようなモデルでは、多くの自由パラメータが存在するため、モデルは完全にトレーニングデータに適合する。 まず,賃金データを示唆する高次元線形回帰と平均治療効果の推定を行い,サンプルサイズよりも多くの共変量を持つモデルが単純なモデルを上回ることを見出した。 次に,多数の制御ユニットを有する高次元合成制御推定器の性能を文書化する。 制御ユニットの追加は, 処理前適合が完璧である点を超えても, 計算性能の向上に有効であることがわかった。 これらの高次元モデルの性能に関する統一的な理論的視点を提供する。 具体的には,より単純なモデルよりも複雑なモデルの方が,平均性能の向上に結びついていることを示す。 この視点は、制御ユニットが前処理期間の数に対して多くの場合、合成制御の使用に関する具体的な洞察を与える。

関連論文リスト

• SMILE: Zero-Shot Sparse Mixture of Low-Rank Experts Construction From Pre-Trained Foundation Models [85.67096251281191]
  我々は、ゼロショットスパースミクチャー(SMILE)と呼ばれるモデル融合に対する革新的なアプローチを提案する。 SMILEは、余分なデータやさらなるトレーニングなしに、ソースモデルをMoEモデルにアップスケーリングできる。 画像分類やテキスト生成タスクなど,さまざまなシナリオに対して,フル微調整とLoRA微調整を用いて広範な実験を行う。
  論文  参考訳（メタデータ） (2024-08-19T17:32:15Z)
• EMR-Merging: Tuning-Free High-Performance Model Merging [55.03509900949149]
  Elect, Mask & Rescale-Merging (EMR-Merging) は既存のマージ手法と比較して優れた性能を示した。 EMR-Mergingはチューニング不要なので、データアベイラビリティや追加のトレーニングは必要ありません。
  論文  参考訳（メタデータ） (2024-05-23T05:25:45Z)
• Data-driven Nonlinear Model Reduction using Koopman Theory: Integrated Control Form and NMPC Case Study [56.283944756315066]
  そこで本研究では,遅延座標符号化と全状態復号化を組み合わせた汎用モデル構造を提案し,Koopmanモデリングと状態推定を統合した。 ケーススタディでは,本手法が正確な制御モデルを提供し,高純度極低温蒸留塔のリアルタイム非線形予測制御を可能にすることを実証している。
  論文  参考訳（メタデータ） (2024-01-09T11:54:54Z)
• Model-agnostic Body Part Relevance Assessment for Pedestrian Detection [4.405053430046726]
  歩行者検出のための身体部分関連性評価によるコンピュータビジョンコンテキストにおけるサンプリングに基づく説明モデルを用いたフレームワークを提案する。 我々は,KernelSHAPに類似した新しいサンプリングベース手法を導入し,サンプリングサイズを小さくするために,より堅牢性を示し,大規模データセットにおける説明可能性解析に有効であることを示す。
  論文  参考訳（メタデータ） (2023-11-27T10:10:25Z)
• QualEval: Qualitative Evaluation for Model Improvement [82.73561470966658]
  モデル改善のための手段として,自動定性評価による定量的スカラー指標を付加するQualEvalを提案する。 QualEvalは強力なLCM推論器と新しいフレキシブルリニアプログラミングソルバを使用して、人間の読みやすい洞察を生成する。 例えば、その洞察を活用することで、Llama 2モデルの絶対性能が最大15%向上することを示す。
  論文  参考訳（メタデータ） (2023-11-06T00:21:44Z)
• Understanding Parameter Sharing in Transformers [53.75988363281843]
  トランスフォーマーに関するこれまでの研究は、異なるレイヤでパラメータを共有することに集中しており、モデルの深さを増大させることで、限られたパラメータを持つモデルの性能を向上させることができる。 このアプローチの成功は, モデル複雑性の増加により, ごく一部に過ぎず, 収束性の向上に大きく寄与することを示す。 8つの機械翻訳タスクの実験結果から,パラメータ共有モデルのモデル複雑性を半分に抑えて,我々のモデルが競合性能を達成することが示された。
  論文  参考訳（メタデータ） (2023-06-15T10:48:59Z)
• Learning a model is paramount for sample efficiency in reinforcement learning control of PDEs [5.488334211013093]
  RLエージェントの訓練と並行して動作モデルを学ぶことで,実システムからサンプリングしたデータ量を大幅に削減できることを示す。 また、RLトレーニングのバイアスを避けるために、モデルを反復的に更新することが重要であることも示している。
  論文  参考訳（メタデータ） (2023-02-14T16:14:39Z)
• End-to-End Learning of Hybrid Inverse Dynamics Models for Precise and Compliant Impedance Control [16.88250694156719]
  剛体力学モデルの物理的に一貫した慣性パラメータを同定できる新しいハイブリッドモデルの定式化を提案する。 7自由度マニピュレータ上での最先端の逆動力学モデルに対する我々のアプローチを比較した。
  論文  参考訳（メタデータ） (2022-05-27T07:39:28Z)
• MoEfication: Conditional Computation of Transformer Models for Efficient Inference [66.56994436947441]
  トランスフォーマーベースの事前学習言語モデルは、パラメータ容量が大きいため、ほとんどのNLPタスクにおいて優れた性能を実現することができるが、計算コストも大きい。 スパースアクティベーション現象に基づく条件計算により,大規模モデル推論を高速化する。 そこで本研究では,モデルサイズが等しいMoE(Mix-of-experts)バージョン,すなわちMoEficationに変換することを提案する。
  論文  参考訳（メタデータ） (2021-10-05T02:14:38Z)
• A Semiparametric Approach to Interpretable Machine Learning [9.87381939016363]
  機械学習におけるブラックボックスモデルは、複雑な問題と高次元設定において優れた予測性能を示した。 透明性と解釈可能性の欠如は、重要な意思決定プロセスにおけるそのようなモデルの適用性を制限します。 半パラメトリック統計学のアイデアを用いて予測モデルにおける解釈可能性と性能のトレードオフを行う新しい手法を提案する。
  論文  参考訳（メタデータ） (2020-06-08T16:38:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。