論文の概要: Marginal Effects for Non-Linear Prediction Functions
- arxiv url: http://arxiv.org/abs/2201.08837v1
- Date: Fri, 21 Jan 2022 18:47:38 GMT
- ステータス: 処理完了
- システム内更新日: 2022-01-24 14:33:59.728287
- Title: Marginal Effects for Non-Linear Prediction Functions
- Title(参考訳): 非線形予測関数の限界効果
- Authors: Christian A. Scholbeck, Giuseppe Casalicchio, Christoph Molnar, Bernd
Bischl, Christian Heumann
- Abstract要約: 我々は、前縁効果と呼ばれる新しい限界効果のクラスを導入する。
平均辺効果のような単一計量における非線形予測関数の特徴効果の要約に反対する。
- 参考スコア(独自算出の注目度): 0.7349727826230864
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Beta coefficients for linear regression models represent the ideal form of an
interpretable feature effect. However, for non-linear models and especially
generalized linear models, the estimated coefficients cannot be interpreted as
a direct feature effect on the predicted outcome. Hence, marginal effects are
typically used as approximations for feature effects, either in the shape of
derivatives of the prediction function or forward differences in prediction due
to a change in a feature value. While marginal effects are commonly used in
many scientific fields, they have not yet been adopted as a model-agnostic
interpretation method for machine learning models. This may stem from their
inflexibility as a univariate feature effect and their inability to deal with
the non-linearities found in black box models. We introduce a new class of
marginal effects termed forward marginal effects. We argue to abandon
derivatives in favor of better-interpretable forward differences. Furthermore,
we generalize marginal effects based on forward differences to multivariate
changes in feature values. To account for the non-linearity of prediction
functions, we introduce a non-linearity measure for marginal effects. We argue
against summarizing feature effects of a non-linear prediction function in a
single metric such as the average marginal effect. Instead, we propose to
partition the feature space to compute conditional average marginal effects on
feature subspaces, which serve as conditional feature effect estimates.
- Abstract(参考訳): 線形回帰モデルのベータ係数は、解釈可能な特徴効果の理想的な形を表す。
しかし、非線形モデル、特に一般化線形モデルでは、推定係数は予測結果に対する直接的な特徴効果とは解釈できない。
したがって、限界効果は典型的には特徴効果の近似として、予測関数の微分の形状や特徴値の変化による予測の前方差のいずれにおいても用いられる。
限界効果は多くの科学分野で一般的に用いられるが、機械学習モデルのモデル非依存解釈法としてはまだ採用されていない。
これは、一変量の特徴効果としての柔軟性と、ブラックボックスモデルに見られる非線形性に対処できないことに起因する。
我々は、前縁効果と呼ばれる新しい限界効果のクラスを導入する。
我々は、より良い解釈可能な前方の差異に有利な微分を放棄することを議論する。
さらに,特徴値の多変量変化に対する前方差に基づく限界効果を一般化する。
予測関数の非線形性を考慮するために,限界効果に対する非線形測度を導入する。
平均辺効果のような単一計量における非線形予測関数の特徴効果の要約に反対する。
代わりに、特徴空間を分割し、条件付き特徴効果推定として機能部分空間に対する条件付き平均限界効果を計算することを提案する。
関連論文リスト
- Double Machine Learning for Static Panel Models with Fixed Effects [0.0]
コンバウンド回帰器の非線形効果を考慮したパネルデータから政策介入の推定器を開発する。
3つのよく知られた機械学習アルゴリズムを用いて,これらの推定器の性能について検討する。
英国における国民最低賃金導入の影響を例示する。
論文 参考訳(メタデータ) (2023-12-13T14:34:12Z) - Optimal Nonlinearities Improve Generalization Performance of Random
Features [0.9790236766474201]
非線形活性化関数を持つランダム特徴モデルは、訓練および一般化誤差の観点からガウスモデルと実演的に等価であることが示されている。
ガウスモデルから取得したパラメータが最適非線形性の集合を定義できることを示す。
最適化された非線形性はReLUのような広く使われている非線形関数よりも優れた一般化性能が得られることを示す。
論文 参考訳(メタデータ) (2023-09-28T20:55:21Z) - Graph Neural Networks for Forecasting Multivariate Realized Volatility
with Spillover Effects [16.260673340556135]
提案モデルでは, マルチホップ近傍からの流出効果を取り入れ, 非線形関係を捉え, 損失関数の異なるフレキシブルなトレーニングを行う。
この結果から,擬似的損失によるトレーニングがモデル性能の大幅な向上につながることが示唆された。
論文 参考訳(メタデータ) (2023-08-01T14:39:03Z) - Monotonicity and Double Descent in Uncertainty Estimation with Gaussian
Processes [52.92110730286403]
限界確率はクロスバリデーションの指標を思い起こさせるべきであり、どちらもより大きな入力次元で劣化すべきである、と一般的に信じられている。
我々は,ハイパーパラメータをチューニングすることにより,入力次元と単調に改善できることを証明した。
また、クロスバリデーションの指標は、二重降下の特徴である質的に異なる挙動を示すことも証明した。
論文 参考訳(メタデータ) (2022-10-14T08:09:33Z) - Data-Driven Influence Functions for Optimization-Based Causal Inference [105.5385525290466]
統計的汎関数に対するガトー微分を有限差分法で近似する構成的アルゴリズムについて検討する。
本研究では,確率分布を事前知識がないが,データから推定する必要がある場合について検討する。
論文 参考訳(メタデータ) (2022-08-29T16:16:22Z) - Improving Generalization via Uncertainty Driven Perturbations [107.45752065285821]
トレーニングデータポイントの不確実性による摂動について考察する。
損失駆動摂動とは異なり、不確実性誘導摂動は決定境界を越えてはならない。
線形モデルにおいて,UDPがロバスト性マージン決定を達成することが保証されていることを示す。
論文 参考訳(メタデータ) (2022-02-11T16:22:08Z) - LQF: Linear Quadratic Fine-Tuning [114.3840147070712]
本稿では,非線形微調整に匹敵する性能を実現する事前学習モデルの線形化手法を提案する。
LQFはアーキテクチャの単純な変更、損失関数、そして一般的に分類に使用される最適化で構成されている。
論文 参考訳(メタデータ) (2020-12-21T06:40:20Z) - Non-parametric Models for Non-negative Functions [48.7576911714538]
同じ良い線形モデルから非負関数に対する最初のモデルを提供する。
我々は、それが表現定理を認め、凸問題に対する効率的な二重定式化を提供することを証明した。
論文 参考訳(メタデータ) (2020-07-08T07:17:28Z) - Slice Sampling for General Completely Random Measures [74.24975039689893]
本稿では, 後続推定のためのマルコフ連鎖モンテカルロアルゴリズムについて, 補助スライス変数を用いてトランケーションレベルを適応的に設定する。
提案アルゴリズムの有効性は、いくつかの一般的な非パラメトリックモデルで評価される。
論文 参考訳(メタデータ) (2020-06-24T17:53:53Z) - Assumption-lean inference for generalised linear model parameters [0.0]
主効果推定と効果修正推定の非パラメトリックな定義を提案する。
これらのモデルが正しく指定されたとき、一般化された線形モデルにおける標準の主効果と効果の修正パラメータに還元される。
これらの推定値に対する仮定リーン推論を実現する。
論文 参考訳(メタデータ) (2020-06-15T13:49:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。