論文の概要: Linked shrinkage to improve estimation of interaction effects in
regression models
- arxiv url: http://arxiv.org/abs/2309.13998v1
- Date: Mon, 25 Sep 2023 10:03:39 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-26 16:10:23.316386
- Title: Linked shrinkage to improve estimation of interaction effects in
regression models
- Title（参考訳）: 回帰モデルにおける相互作用効果推定のためのリンク収縮
- Authors: Mark A. van de Wiel, Matteo Amestoy, Jeroen Hoogland
- Abstract要約: 回帰モデルにおける双方向相互作用項によく適応する推定器を開発する。
我々は,選択戦略では難しい推論モデルの可能性を評価する。
私たちのモデルは、かなり大きなサンプルサイズであっても、ランダムな森林のような、より高度な機械学習者に対して非常に競争力があります。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We address a classical problem in statistics: adding two-way interaction
terms to a regression model. As the covariate dimension increases
quadratically, we develop an estimator that adapts well to this increase, while
providing accurate estimates and appropriate inference. Existing strategies
overcome the dimensionality problem by only allowing interactions between
relevant main effects. Building on this philosophy, we implement a softer link
between the two types of effects using a local shrinkage model. We empirically
show that borrowing strength between the amount of shrinkage for main effects
and their interactions can strongly improve estimation of the regression
coefficients. Moreover, we evaluate the potential of the model for inference,
which is notoriously hard for selection strategies. Large-scale cohort data are
used to provide realistic illustrations and evaluations. Comparisons with other
methods are provided. The evaluation of variable importance is not trivial in
regression models with many interaction terms. Therefore, we derive a new
analytical formula for the Shapley value, which enables rapid assessment of
individual-specific variable importance scores and their uncertainties.
Finally, while not targeting for prediction, we do show that our models can be
very competitive to a more advanced machine learner, like random forest, even
for fairly large sample sizes. The implementation of our method in RStan is
fairly straightforward, allowing for adjustments to specific needs.
- Abstract（参考訳）: 統計学における古典的な問題である回帰モデルに双方向相互作用項を追加する。
共変次元が二次的に増加すると、我々は正確な推定と適切な推論を提供しながら、この増加にうまく適応する推定器を開発する。
既存の戦略は、関連する主効果間の相互作用のみを許すことで次元問題を克服する。
この哲学に基づいて、局所収縮モデルを用いて2種類の効果の間のよりソフトなリンクを実装する。
主効果の収縮量とその相互作用の間の借り受け強度が回帰係数の推定を強く改善できることを実証的に示す。
さらに,選択戦略では難しい推論モデルの可能性を評価する。
大規模なコホートデータは、現実的なイラストや評価を提供するために使用される。
他の方法と比較する。
変数の重要性の評価は、多くの相互作用項を持つ回帰モデルでは自明ではない。
そこで我々は,個別変数の重要度スコアとその不確かさの迅速評価を可能にする,シェープリー値の新しい解析式を導出する。
最後に、予測の対象にはなっていないが、我々のモデルは、かなり大きなサンプルサイズであっても、ランダムフォレストのようなより高度な機械学習者に対して非常に競争力があることを示します。
RStanにおける本手法の実装は比較的単純であり,特定のニーズに適応できる。
関連論文リスト
- Structured Radial Basis Function Network: Modelling Diversity for
Multiple Hypotheses Prediction [51.82628081279621]
多重モード回帰は非定常過程の予測や分布の複雑な混合において重要である。
構造的放射基底関数ネットワークは回帰問題に対する複数の仮説予測器のアンサンブルとして提示される。
この構造モデルにより, このテッセルレーションを効率よく補間し, 複数の仮説対象分布を近似することが可能であることが証明された。
論文 参考訳（メタデータ） (2023-09-02T01:27:53Z) - Advancing Counterfactual Inference through Nonlinear Quantile Regression [77.28323341329461]
ニューラルネットワークで実装された効率的かつ効果的な対実的推論のためのフレームワークを提案する。
提案手法は、推定された反事実結果から見つからないデータまでを一般化する能力を高める。
複数のデータセットで実施した実証実験の結果は、我々の理論的な主張に対する説得力のある支持を提供する。
論文 参考訳（メタデータ） (2023-06-09T08:30:51Z) - Errors-in-variables Fr\'echet Regression with Low-rank Covariate
Approximation [2.1756081703276]
Fr'echet回帰は、非ユークリッド応答変数を含む回帰分析のための有望なアプローチとして登場した。
提案手法は,大域的Fr'echet回帰と主成分回帰の概念を組み合わせて,回帰推定器の効率と精度を向上させることを目的とする。
論文 参考訳（メタデータ） (2023-05-16T08:37:54Z) - Mining the Factor Zoo: Estimation of Latent Factor Models with
Sufficient Proxies [29.737081616352913]
我々は2つのアプローチを潜在因子モデル推定にブリッジすることを提案する。
我々は、潜在因子モデルの推定を堅牢で、柔軟で、統計的により正確にする。
ボーナスとして、要素数の増加も認められている。
論文 参考訳（メタデータ） (2022-12-25T03:10:44Z) - Factorized Structured Regression for Large-Scale Varying Coefficient
Models [1.3282354370017082]
スケーラブルな可変係数モデルのためのファStR(Factized Structured Regression)を提案する。
FaStRは、ニューラルネットワークベースのモデル実装において、構造化された追加回帰と分解のアプローチを組み合わせることで、大規模データの一般的な回帰モデルの制限を克服する。
実験結果から, 提案手法の各種係数の推定は, 最先端の回帰手法と同等であることが確認された。
論文 参考訳（メタデータ） (2022-05-25T23:12:13Z) - Benign-Overfitting in Conditional Average Treatment Effect Prediction
with Linear Regression [14.493176427999028]
線形回帰モデルを用いて条件平均処理効果(CATE)の予測における良性過剰適合理論について検討した。
一方,IPW-learnerは確率スコアが分かっていればリスクをゼロに収束させるが,T-learnerはランダムな割り当て以外の一貫性を達成できないことを示す。
論文 参考訳（メタデータ） (2022-02-10T18:51:52Z) - X-model: Improving Data Efficiency in Deep Learning with A Minimax Model [78.55482897452417]
ディープラーニングにおける分類と回帰設定の両面でのデータ効率の向上を目標とする。
両世界の力を生かすために,我々は新しいX-モデルを提案する。
X-モデルは、特徴抽出器とタスク固有のヘッドの間でミニマックスゲームを行う。
論文 参考訳（メタデータ） (2021-10-09T13:56:48Z) - Regression Bugs Are In Your Model! Measuring, Reducing and Analyzing
Regressions In NLP Model Updates [68.09049111171862]
この研究は、NLPモデル更新における回帰エラーの定量化、低減、分析に重点を置いている。
回帰フリーモデル更新を制約付き最適化問題に定式化する。
モデルアンサンブルが回帰を減らす方法を実証的に分析します。
論文 参考訳（メタデータ） (2021-05-07T03:33:00Z) - Double Robust Representation Learning for Counterfactual Prediction [68.78210173955001]
そこで本稿では, 対実予測のための2次ロバスト表現を学習するための, スケーラブルな新しい手法を提案する。
我々は、個々の治療効果と平均的な治療効果の両方に対して、堅牢で効率的な対実的予測を行う。
このアルゴリズムは,実世界の最先端技術と合成データとの競合性能を示す。
論文 参考訳（メタデータ） (2020-10-15T16:39:26Z) - A Locally Adaptive Interpretable Regression [7.4267694612331905]
線形回帰は最も解釈可能な予測モデルの一つである。
本稿では,局所適応型解釈型回帰(LoAIR)を導入する。
我々のモデルは、他の最先端のベースラインと同等またはより良い予測性能を達成する。
論文 参考訳（メタデータ） (2020-05-07T09:26:14Z) - Machine learning for causal inference: on the use of cross-fit
estimators [77.34726150561087]
より優れた統計特性を得るために、二重ローバストなクロスフィット推定器が提案されている。
平均因果効果(ACE)に対する複数の推定器の性能評価のためのシミュレーション研究を行った。
機械学習で使用する場合、二重確率のクロスフィット推定器は、バイアス、分散、信頼区間のカバレッジで他のすべての推定器よりも大幅に優れていた。
論文 参考訳（メタデータ） (2020-04-21T23:09:55Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。