論文の概要: Analyzing Error Sources in Global Feature Effect Estimation

• arxiv url: http://arxiv.org/abs/2603.15057v1
• Date: Mon, 16 Mar 2026 10:12:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-17 18:28:58.005204
• Title: Analyzing Error Sources in Global Feature Effect Estimation
• Title（参考訳）: 大域的特徴量効果推定における誤差源の解析
• Abstract要約: PDやALEプロットのようなグローバルな特徴効果はブラックボックスモデルの解釈に広く用いられている。 グローバルな特徴効果の人気にもかかわらず、エラーソースはほとんど探索されていない。 PDとALLのバイアスと分散の源をアンタングルする系統的,推定器レベルの分析を行う。
• 参考スコア（独自算出の注目度）: 11.864330844302403
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Global feature effects such as PD and ALE plots are widely used to interpret black-box models. However, they are only estimates of true underlying effects, and their reliability depends on multiple sources of error. Despite the popularity of global feature effects, these error sources are largely unexplored. In particular, the practically relevant question of whether to use training or holdout data to estimate feature effects remains unanswered. We address this gap by providing a systematic, estimator-level analysis that disentangles sources of bias and variance for PD and ALE. To this end, we derive a mean-squared-error decomposition that separates model bias, estimation bias, model variance, and estimation variance, and analyze their dependence on model characteristics, data selection, and sample size. We validate our theoretical findings through an extensive simulation study across multiple data-generating processes, learners, estimation strategies (training data, validation data, and cross-validation), and sample sizes. Our results reveal that, while using holdout data is theoretically the cleanest, potential biases arising from the training data are empirically negligible and dominated by the impact of the usually higher sample size. The estimation variance depends on both the presence of interactions and the sample size, with ALE being particularly sensitive to the latter. Cross-validation-based estimation is a promising approach that reduces the model variance component, particularly for overfitting models. Our analysis provides a principled explanation of the sources of error in feature effect estimates and offers concrete guidance on choosing estimation strategies when interpreting machine learning models.
• Abstract（参考訳）: PDやALEプロットのようなグローバルな特徴効果はブラックボックスモデルの解釈に広く用いられている。 しかし、それらは真の基礎となる効果を見積もるだけであり、その信頼性は複数のエラー源に依存する。 グローバルな特徴効果の人気にもかかわらず、これらのエラー源はほとんど探索されていない。 特に、特徴効果を見積もるためにトレーニングやホールドアウトデータを使うべきかという現実的な疑問は未解決のままである。 我々は,PDとALEのバイアスと分散の源をアンハングルする系統的,推定器レベルの分析を提供することにより,このギャップに対処する。 この目的のために、モデルバイアス、推定バイアス、モデル分散、推定分散を分離する平均二乗誤差分解を導出し、モデル特性、データ選択、サンプルサイズへの依存性を分析する。 我々は,複数のデータ生成プロセス,学習者,推定戦略(トレーニングデータ,検証データ,クロスバリデーション),サンプルサイズに関する広範なシミュレーション研究を通じて,理論的な知見を検証した。 以上の結果から, ホルドアウトデータが最もクリーンである一方, トレーニングデータから生じる潜在的なバイアスは, 経験的に無視可能であり, 通常より高いサンプルサイズの影響が支配的であることが明らかとなった。 推定分散は相互作用の存在とサンプルサイズの両方に依存し、ALEは後者に特に敏感である。 クロスバリデーションに基づく推定は、特に過適合モデルにおいて、モデルの分散成分を減少させる有望なアプローチである。 本分析では,特徴効果推定における誤差源の原理的説明と,機械学習モデルの解釈における推定方法の選択に関する具体的なガイダンスを提供する。

関連論文リスト

• Proxy-Guided Measurement Calibration [7.842603902533572]
  結果の誤校正の問題について検討し,提案手法をプロキシ変数で導いた,系統的な誤りを推定・修正するためのフレームワークを提案する。 因果グラフを用いてデータ生成過程をモデル化し,真の結果を誘導する潜時コンテンツ変数と系統的エラーを誘発する潜時バイアス変数とを分離する。
  論文  参考訳（メタデータ） (2026-03-10T07:15:02Z)
• Nonparametric Data Attribution for Diffusion Models [57.820618036556084]
  生成モデルのデータ属性は、個々のトレーニング例がモデル出力に与える影響を定量化する。 生成画像とトレーニング画像のパッチレベルの類似性によって影響を測定する非パラメトリック属性法を提案する。
  論文  参考訳（メタデータ） (2025-10-16T03:37:16Z)
• Influence Functions for Scalable Data Attribution in Diffusion Models [52.92223039302037]
  拡散モデルは、生成的モデリングに大きな進歩をもたらした。 しかし、彼らの普及はデータ属性と解釈可能性に関する課題を引き起こす。 これらの課題に対処するための影響関数フレームワークを開発する。
  論文  参考訳（メタデータ） (2024-10-17T17:59:02Z)
• The Mirrored Influence Hypothesis: Efficient Data Influence Estimation by Harnessing Forward Passes [30.30769701138665]
  我々は、訓練データとテストデータの間の相互影響を浮き彫りにして、ミラーレッド影響仮説を導入し、探求する。 具体的には、テスト予測に対するトレーニングデータの影響を評価することは、等価だが逆問題として再定義することができることを示唆している。 トレーニングポイント毎に前方パスとペアを組むことで,特定のテストサンプルの勾配を計算し,トレーニングデータの影響を推定する新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-02-14T03:43:05Z)
• Data Attribution for Diffusion Models: Timestep-induced Bias in Influence Estimation [53.27596811146316]
  拡散モデルは、以前の文脈における瞬間的な入出力関係ではなく、一連のタイムステップで操作する。 本稿では、この時間的ダイナミクスを取り入れた拡散トラクInについて、サンプルの損失勾配ノルムが時間ステップに大きく依存していることを確認する。 そこで我々はDiffusion-ReTracを再正規化適応として導入し、興味のあるサンプルを対象にしたトレーニングサンプルの検索を可能にする。
  論文  参考訳（メタデータ） (2024-01-17T07:58:18Z)
• Stubborn Lexical Bias in Data and Models [50.79738900885665]
  我々は、データに基づいてトレーニングされたモデルに、データのスプリアスパターンが現れるかどうかを調べるために、新しい統計手法を用いる。 トレーニングデータに*reweight*に最適化アプローチを適用し、数千のスプリアス相関を低減します。 驚くべきことに、この方法ではトレーニングデータの語彙バイアスを低減できますが、トレーニングされたモデルで対応するバイアスの強い証拠がまだ見つかっていません。
  論文  参考訳（メタデータ） (2023-06-03T20:12:27Z)
• Provable Detection of Propagating Sampling Bias in Prediction Models [1.7709344190822935]
  本稿では,データバイアスの特定の形式である差分サンプリングバイアスが,データステージから予測ステージにどのように伝播するかを理論的に分析する。 妥当な仮定の下では、モデル予測におけるバイアスの量が、データの差分サンプリングバイアスの量の関数としてどのように変化するかを定量化する。 仮定が緩和された場合でも理論的な結果が実際に成り立つことを実証する。
  論文  参考訳（メタデータ） (2023-02-13T23:39:35Z)
• Empirical Analysis of Model Selection for Heterogeneous Causal Effect Estimation [24.65301562548798]
  本研究では,因果推論におけるモデル選択の問題,特に条件付き平均処理効果(CATE)の推定について検討する。 本研究では,本研究で導入されたサロゲートモデル選択指標と,本研究で導入された新しい指標のベンチマークを行う。
  論文  参考訳（メタデータ） (2022-11-03T16:26:06Z)
• Understanding Influence Functions and Datamodels via Harmonic Analysis [36.86262318584668]
  個々のデータポイントがテストデータに対するモデルの予測に与える影響を推定する。 それらは、データ中毒の検出、有用で有害な例の検出、データポイントのグループの影響などに使われる。 近年、Ilyasら[2022]は、データモデルと呼ばれる線形回帰手法を導入し、テストデータに対するトレーニングポイントの効果を予測した。 本稿では,このような興味深い経験的現象の理論的理解を深めることを目的とする。
  論文  参考訳（メタデータ） (2022-10-03T16:45:33Z)
• Bias-inducing geometries: an exactly solvable data model with fairness implications [12.532003449620607]
  我々は、正確に解決可能なデータ不均衡の高次元モデルを導入する。 この合成フレームワークで訓練された学習モデルの典型的特性を解析的に解き放つ。 フェアネス評価によく用いられる観測対象の正確な予測値を得る。
  論文  参考訳（メタデータ） (2022-05-31T16:27:57Z)
• Selecting the suitable resampling strategy for imbalanced data classification regarding dataset properties [62.997667081978825]
  医学、情報検索、サイバーセキュリティ、ソーシャルメディアなどの多くのアプリケーションドメインでは、分類モデルの導入に使用されるデータセットは、各クラスのインスタンスの不平等な分布を持つことが多い。 この状況は不均衡データ分類と呼ばれ、少数民族の例では予測性能が低い。 オーバーサンプリングとアンダーサンプリングの技術は、各クラスの例の数とバランスをとることでこの問題に対処する、よく知られた戦略である。
  論文  参考訳（メタデータ） (2021-12-15T18:56:39Z)
• On the Benefits of Invariance in Neural Networks [56.362579457990094]
  データ拡張によるトレーニングは、リスクとその勾配をよりよく見積もることを示し、データ拡張でトレーニングされたモデルに対して、PAC-Bayes一般化を提供する。 また,データ拡張と比べ,平均化は凸損失を伴う場合の一般化誤差を低減し,PAC-Bayes境界を狭めることを示した。
  論文  参考訳（メタデータ） (2020-05-01T02:08:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。