論文の概要: Analyzing Error Sources in Global Feature Effect Estimation

• arxiv url: http://arxiv.org/abs/2603.15057v2
• Date: Tue, 17 Mar 2026 10:23:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-18 13:19:43.957162
• Title: Analyzing Error Sources in Global Feature Effect Estimation
• Title（参考訳）: 大域的特徴量効果推定における誤差源の解析
• Authors: Timo Heiß, Coco Bögel, Bernd Bischl, Giuseppe Casalicchio,
• Abstract要約: 部分依存(PD)や累積局所効果(ALE)プロットのようなグローバルな特徴効果はブラックボックスモデルの解釈に広く用いられている。 グローバルな特徴効果の人気にもかかわらず、エラーソースはほとんど探索されていない。 PDとALLのバイアスと分散の源をアンタングルする系統的,推定器レベルの分析を行う。
• 参考スコア（独自算出の注目度）: 11.864330844302403
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Global feature effects such as partial dependence (PD) and accumulated local effects (ALE) plots are widely used to interpret black-box models. However, they are only estimates of true underlying effects, and their reliability depends on multiple sources of error. Despite the popularity of global feature effects, these error sources are largely unexplored. In particular, the practically relevant question of whether to use training or holdout data to estimate feature effects remains unanswered. We address this gap by providing a systematic, estimator-level analysis that disentangles sources of bias and variance for PD and ALE. To this end, we derive a mean-squared-error decomposition that separates model bias, estimation bias, model variance, and estimation variance, and analyze their dependence on model characteristics, data selection, and sample size. We validate our theoretical findings through an extensive simulation study across multiple data-generating processes, learners, estimation strategies (training data, validation data, and cross-validation), and sample sizes. Our results reveal that, while using holdout data is theoretically the cleanest, potential biases arising from the training data are empirically negligible and dominated by the impact of the usually higher sample size. The estimation variance depends on both the presence of interactions and the sample size, with ALE being particularly sensitive to the latter. Cross-validation-based estimation is a promising approach that reduces the model variance component, particularly for overfitting models. Our analysis provides a principled explanation of the sources of error in feature effect estimates and offers concrete guidance on choosing estimation strategies when interpreting machine learning models.
• Abstract（参考訳）: 部分依存(PD)や累積局所効果(ALE)プロットのようなグローバルな特徴効果はブラックボックスモデルの解釈に広く用いられている。 しかし、それらは真の基礎となる効果を見積もるだけであり、その信頼性は複数のエラー源に依存する。 グローバルな特徴効果の人気にもかかわらず、これらのエラー源はほとんど探索されていない。 特に、特徴効果を見積もるためにトレーニングやホールドアウトデータを使うべきかという現実的な疑問は未解決のままである。 我々は,PDとALEのバイアスと分散の源をアンハングルする系統的,推定器レベルの分析を提供することにより,このギャップに対処する。 この目的のために、モデルバイアス、推定バイアス、モデル分散、推定分散を分離する平均二乗誤差分解を導出し、モデル特性、データ選択、サンプルサイズへの依存性を分析する。 我々は,複数のデータ生成プロセス,学習者,推定戦略(トレーニングデータ,検証データ,クロスバリデーション),サンプルサイズに関する広範なシミュレーション研究を通じて,理論的な知見を検証した。 以上の結果から, ホルドアウトデータが最もクリーンである一方, トレーニングデータから生じる潜在的なバイアスは, 経験的に無視可能であり, 通常より高いサンプルサイズの影響が支配的であることが明らかとなった。 推定分散は相互作用の存在とサンプルサイズの両方に依存し、ALEは後者に特に敏感である。 クロスバリデーションに基づく推定は、特に過適合モデルにおいて、モデルの分散成分を減少させる有望なアプローチである。 本分析では,特徴効果推定における誤差源の原理的説明と,機械学習モデルの解釈における推定方法の選択に関する具体的なガイダンスを提供する。

関連論文リスト

• Proxy-Guided Measurement Calibration [7.842603902533572]
  結果の誤校正の問題について検討し,提案手法をプロキシ変数で導いた,系統的な誤りを推定・修正するためのフレームワークを提案する。 因果グラフを用いてデータ生成過程をモデル化し,真の結果を誘導する潜時コンテンツ変数と系統的エラーを誘発する潜時バイアス変数とを分離する。
  論文  参考訳（メタデータ） (2026-03-10T07:15:02Z)
• Nonparametric Data Attribution for Diffusion Models [57.820618036556084]
  生成モデルのデータ属性は、個々のトレーニング例がモデル出力に与える影響を定量化する。 生成画像とトレーニング画像のパッチレベルの類似性によって影響を測定する非パラメトリック属性法を提案する。
  論文  参考訳（メタデータ） (2025-10-16T03:37:16Z)
• Influence Functions for Scalable Data Attribution in Diffusion Models [52.92223039302037]
  拡散モデルは、生成的モデリングに大きな進歩をもたらした。 しかし、彼らの普及はデータ属性と解釈可能性に関する課題を引き起こす。 これらの課題に対処するための影響関数フレームワークを開発する。
  論文  参考訳（メタデータ） (2024-10-17T17:59:02Z)
• The Mirrored Influence Hypothesis: Efficient Data Influence Estimation by Harnessing Forward Passes [30.30769701138665]
  我々は、訓練データとテストデータの間の相互影響を浮き彫りにして、ミラーレッド影響仮説を導入し、探求する。 具体的には、テスト予測に対するトレーニングデータの影響を評価することは、等価だが逆問題として再定義することができることを示唆している。 トレーニングポイント毎に前方パスとペアを組むことで,特定のテストサンプルの勾配を計算し,トレーニングデータの影響を推定する新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-02-14T03:43:05Z)
• Provable Detection of Propagating Sampling Bias in Prediction Models [1.7709344190822935]
  本稿では,データバイアスの特定の形式である差分サンプリングバイアスが,データステージから予測ステージにどのように伝播するかを理論的に分析する。 妥当な仮定の下では、モデル予測におけるバイアスの量が、データの差分サンプリングバイアスの量の関数としてどのように変化するかを定量化する。 仮定が緩和された場合でも理論的な結果が実際に成り立つことを実証する。
  論文  参考訳（メタデータ） (2023-02-13T23:39:35Z)
• Empirical Analysis of Model Selection for Heterogeneous Causal Effect Estimation [24.65301562548798]
  本研究では,因果推論におけるモデル選択の問題,特に条件付き平均処理効果(CATE)の推定について検討する。 本研究では,本研究で導入されたサロゲートモデル選択指標と,本研究で導入された新しい指標のベンチマークを行う。
  論文  参考訳（メタデータ） (2022-11-03T16:26:06Z)
• Selecting the suitable resampling strategy for imbalanced data classification regarding dataset properties [62.997667081978825]
  医学、情報検索、サイバーセキュリティ、ソーシャルメディアなどの多くのアプリケーションドメインでは、分類モデルの導入に使用されるデータセットは、各クラスのインスタンスの不平等な分布を持つことが多い。 この状況は不均衡データ分類と呼ばれ、少数民族の例では予測性能が低い。 オーバーサンプリングとアンダーサンプリングの技術は、各クラスの例の数とバランスをとることでこの問題に対処する、よく知られた戦略である。
  論文  参考訳（メタデータ） (2021-12-15T18:56:39Z)
• On the Benefits of Invariance in Neural Networks [56.362579457990094]
  データ拡張によるトレーニングは、リスクとその勾配をよりよく見積もることを示し、データ拡張でトレーニングされたモデルに対して、PAC-Bayes一般化を提供する。 また,データ拡張と比べ,平均化は凸損失を伴う場合の一般化誤差を低減し,PAC-Bayes境界を狭めることを示した。
  論文  参考訳（メタデータ） (2020-05-01T02:08:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。