論文の概要: Mathematical Theory of Collinearity Effects on Machine Learning Variable Importance Measures

• arxiv url: http://arxiv.org/abs/2510.00557v1
• Date: Wed, 01 Oct 2025 06:18:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-03 16:59:20.416213
• Title: Mathematical Theory of Collinearity Effects on Machine Learning Variable Importance Measures
• Title（参考訳）: 機械学習の可変重要度尺度におけるコリナリティ効果の数学的理論
• Authors: Kelvyn K. Bladen, D. Richard Cutler, Alan Wisler,
• Abstract要約: 2つのアプローチは、検証セット内の機能をランダムに置換するPermute-and-Predict(PaP)と、トレーニング機能の変更後にモデルをトレーニングするLeave-One-Co-Out(LOCO)である。 この研究は経験的証拠と理論を橋渡しし、可変重要度尺度の解釈可能性と適用性を高めた。
• 参考スコア（独自算出の注目度）: 0.45880283710344066
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In many machine learning problems, understanding variable importance is a central concern. Two common approaches are Permute-and-Predict (PaP), which randomly permutes a feature in a validation set, and Leave-One-Covariate-Out (LOCO), which retrains models after permuting a training feature. Both methods deem a variable important if predictions with the original data substantially outperform those with permutations. In linear regression, empirical studies have linked PaP to regression coefficients and LOCO to $t$-statistics, but a formal theory has been lacking. We derive closed-form expressions for both measures, expressed using square-root transformations. PaP is shown to be proportional to the coefficient and predictor variability: $\text{PaP}_i = \beta_i \sqrt{2\operatorname{Var}(\mathbf{x}^v_i)}$, while LOCO is proportional to the coefficient but dampened by collinearity (captured by $\Delta$): $\text{LOCO}_i = \beta_i (1 -\Delta)\sqrt{1 + c}$. These derivations explain why PaP is largely unaffected by multicollinearity, whereas LOCO is highly sensitive to it. Monte Carlo simulations confirm these findings across varying levels of collinearity. Although derived for linear regression, we also show that these results provide reasonable approximations for models like Random Forests. Overall, this work establishes a theoretical basis for two widely used importance measures, helping analysts understand how they are affected by the true coefficients, dimension, and covariance structure. This work bridges empirical evidence and theory, enhancing the interpretability and application of variable importance measures.
• Abstract（参考訳）: 多くの機械学習問題において、変数の重要性を理解することが中心的な関心事である。 2つの一般的なアプローチは、検証セット内の機能をランダムに置換するPermute-and-Predict(PaP)と、トレーニング機能の変更後にモデルをトレーニングするLeave-One-Covariate-Out(LOCO)である。 どちらのメソッドも、元のデータによる予測が置換による予測よりも大幅に優れていた場合、変数を重要とみなす。 線形回帰において、実験的な研究はPaPを回帰係数に、LOCOを$t$-statisticsに関連付けてきたが、公式な理論は欠落している。 両測度に対して閉形式表現を導出し、平方根変換を用いて表現する。 PaP は係数と予測変数に比例する: $\text{PaP}_i = \beta_i \sqrt{2\operatorname{Var}(\mathbf{x}^v_i)}$, 一方 LOCO は係数に比例するが、コリニアリティ($\Delta$)により減衰する($\text{LOCO}_i = \beta_i (1 -\Delta)\sqrt{1 + c}$)。 これらの導出は、PaPが多結晶性に大きく影響しない理由を説明しているが、LOCOはそれに対して非常に敏感である。 モンテカルロシミュレーションは、これらの発見を様々なレベルのコリニアリティで確認している。 線形回帰は導出されるが、これらの結果はランダムフォレストのようなモデルに対して妥当な近似を与えることを示す。 全体として、この研究は2つの広く使われる重要度尺度の理論的基盤を確立し、それらが真の係数、次元、共分散構造によってどのように影響を受けるかを理解するのに役立つ。 この研究は経験的証拠と理論を橋渡しし、可変重要度尺度の解釈可能性と適用性を高めた。

関連論文リスト

• Disentangled Feature Importance [0.0]
  本稿では,古典的$R2$分解の非パラメトリックな一般化であるemphDisentangled Feature Importance (DFI)を紹介する。 DFIは, 相関歪みを排除したトランスポートマップを用いて, 独立潜伏変数に相関した特徴を持つ。 DFIは、潜在加法モデルに対する総予測変数に匹敵する重要度スコアの原理的な分解を提供する。
  論文  参考訳（メタデータ） (2025-06-30T20:54:48Z)
• Multiply-Robust Causal Change Attribution [15.501106533308798]
  我々は,各因果メカニズムの貢献度を定量化するために,回帰法と再重み付け法を組み合わせた新しい推定方法を開発した。 本手法はモンテカルロシミュレーションにおいて優れた性能を示し,その有効性を示す。
  論文  参考訳（メタデータ） (2024-04-12T22:57:01Z)
• TIC-TAC: A Framework for Improved Covariance Estimation in Deep Heteroscedastic Regression [109.69084997173196]
  奥行き回帰は、予測分布の平均と共分散を負の対数類似度を用いて共同最適化する。 近年の研究では, 共分散推定に伴う課題により, 準最適収束が生じる可能性が示唆されている。 1)予測共分散は予測平均のランダム性を真に捉えているか? その結果, TICは共分散を正確に学習するだけでなく, 負の対数類似性の収束性の向上も促進することがわかった。
  論文  参考訳（メタデータ） (2023-10-29T09:54:03Z)
• Understanding Augmentation-based Self-Supervised Representation Learning via RKHS Approximation and Regression [53.15502562048627]
  最近の研究は、自己教師付き学習とグラフラプラシアン作用素のトップ固有空間の近似との関係を構築している。 この研究は、増強に基づく事前訓練の統計的分析に発展する。
  論文  参考訳（メタデータ） (2023-06-01T15:18:55Z)
• Dual-sPLS: a family of Dual Sparse Partial Least Squares regressions for feature selection and prediction with tunable sparsity; evaluation on simulated and near-infrared (NIR) data [1.6099403809839032]
  この論文で示された変種であるDual-sPLSは、古典的なPLS1アルゴリズムを一般化する。 正確な予測と効率的な解釈のバランスを提供する。 コードはRでオープンソースパッケージとして提供される。
  論文  参考訳（メタデータ） (2023-01-17T21:50:35Z)
• On the Strong Correlation Between Model Invariance and Generalization [54.812786542023325]
  一般化は、見えないデータを分類するモデルの能力をキャプチャする。 不変性はデータの変換におけるモデル予測の一貫性を測定する。 データセット中心の視点から、あるモデルの精度と不変性は異なるテストセット上で線形に相関している。
  論文  参考訳（メタデータ） (2022-07-14T17:08:25Z)
• Understanding the Under-Coverage Bias in Uncertainty Estimation [58.03725169462616]
  量子レグレッションは、現実の望ましいカバレッジレベルよりもアンファンダーカバー(enmphunder-cover)する傾向がある。 我々は、量子レグレッションが固有のアンダーカバーバイアスに悩まされていることを証明している。 我々の理論は、この過大被覆バイアスが特定の高次元パラメータ推定誤差に起因することを明らかにしている。
  論文  参考訳（メタデータ） (2021-06-10T06:11:55Z)
• Counterfactual Invariance to Spurious Correlations: Why and How to Pass Stress Tests [87.60900567941428]
  素早い相関」とは、アナリストが重要とすべきでないと考える入力データのある側面に対するモデルの依存である。 機械学習では、これらにはノウ・イ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ・ウ」という特徴がある。 因果推論ツールを用いたストレステストについて検討した。
  論文  参考訳（メタデータ） (2021-05-31T14:39:38Z)
• What causes the test error? Going beyond bias-variance via ANOVA [21.359033212191218]
  現代の機械学習手法は、しばしば過度にパラメータ化され、細かいレベルでのデータへの適応を可能にする。 最近の研究は、なぜ過度なパラメータ化が一般化に役立つのかをより深く理解することを目的としている。 本研究では, 差分解析(ANOVA)を用いて, テスト誤差の分散を対称的に分解する手法を提案する。
  論文  参考訳（メタデータ） (2020-10-11T05:21:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。