論文の概要: Asymptotic Theory and Phase Transitions for Variable Importance in Quantile Regression Forests
- arxiv url: http://arxiv.org/abs/2511.23212v1
- Date: Fri, 28 Nov 2025 14:18:05 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-12-01 19:47:55.923741
- Title: Asymptotic Theory and Phase Transitions for Variable Importance in Quantile Regression Forests
- Title（参考訳）: 針葉樹林における多変量の重要性に関する漸近理論と相転移
- Authors: Tomoshige Nakamura, Hiroshi Shiraishi,
- Abstract要約: ピンボール損失リスクの差として定義される変数内在的重要性の理論を考案する。
偏差支配体制(約1/2$)では、推定器がゼロ平均正規分布ではなく決定論的偏差定数に収束すると、標準推論は崩壊する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Quantile Regression Forests (QRF) are widely used for non-parametric conditional quantile estimation, yet statistical inference for variable importance measures remains challenging due to the non-smoothness of the loss function and the complex bias-variance trade-off. In this paper, we develop a asymptotic theory for variable importance defined as the difference in pinball loss risks. We first establish the asymptotic normality of the QRF estimator by handling the non-differentiable pinball loss via Knight's identity. Second, we uncover a "phase transition" phenomenon governed by the subsampling rate $β$ (where $s \asymp n^β$). We prove that in the bias-dominated regime ($β\ge 1/2$), which corresponds to large subsample sizes typically favored in practice to maximize predictive accuracy, standard inference breaks down as the estimator converges to a deterministic bias constant rather than a zero-mean normal distribution. Finally, we derive the explicit analytic form of this asymptotic bias and discuss the theoretical feasibility of restoring valid inference via analytic bias correction. Our results highlight a fundamental trade-off between predictive performance and inferential validity, providing a theoretical foundation for understanding the intrinsic limitations of random forest inference in high-dimensional settings.
- Abstract（参考訳）: 量的回帰フォレスト(QRF)は、非パラメトリックな条件付き量子的推定に広く用いられているが、損失関数の非滑らかさと複雑なバイアス分散トレードオフのため、変動重要度測定の統計的推測は依然として困難である。
本稿では,ピンボール損失リスクの差として定義される変動重要度に関する漸近理論を開発する。
本研究はまず,ナイトの同一性を介して非微分不可能なピンボール損失を処理し,QRF推定器の漸近正規性を確立する。
次に、サブサンプリングレート$β$(ここで$s \asymp n^β$)で支配される「相転移」現象を明らかにする。
予測精度を最大化するために実際に好まれる大きなサブサンプルサイズに対応するバイアス支配型(β\ge 1/2$)では、推定器がゼロ平均正規分布ではなく決定論的バイアス定数に収束すると、標準推論は崩壊する。
最後に、この漸近バイアスの明示的な分析形式を導出し、分析バイアス補正を通じて有効な推論を復元する理論的可能性について議論する。
以上の結果から,予測性能と推論妥当性の基本的なトレードオフが浮かび上がっており,高次元環境下でのランダムな森林推定の本質的な限界を理解するための理論的基盤となっている。
関連論文リスト
- Learning bounds for doubly-robust covariate shift adaptation [8.24901041136559]
トレーニングドメインとテストドメイン間の分散シフトは、マシンラーニングにとって重要な課題である。
Doubly-robust (DR) 推定器は、密度比推定とパイロット回帰モデルを組み合わせる。
本稿では,DR推定器の非漸近学習境界を初めて確立する。
論文 参考訳（メタデータ） (2025-11-14T06:46:23Z) - Understanding Robust Machine Learning for Nonparametric Regression with Heavy-Tailed Noise [10.844819221753042]
我々は、Tikhonov-regularized risk minimizationのクローズアップ例として、Huberレグレッションを使用している。
i)弱モーメント仮定下での標準濃度ツールの分解と,(ii)非有界仮説空間によってもたらされる解析的困難に対処する。
我々の研究は、原則化されたルールを提供し、ハマーを超えて他の堅牢な損失に拡張し、頑健な学習を分析するための基本的なレンズとして、過剰なリスクではなく予測エラーを強調します。
論文 参考訳（メタデータ） (2025-10-10T21:57:18Z) - Disentangled Feature Importance [0.0]
本稿では,古典的$R2$分解の非パラメトリックな一般化であるemphDisentangled Feature Importance (DFI)を紹介する。
DFIは, 相関歪みを排除したトランスポートマップを用いて, 独立潜伏変数に相関した特徴を持つ。
DFIは、潜在加法モデルに対する総予測変数に匹敵する重要度スコアの原理的な分解を提供する。
論文 参考訳（メタデータ） (2025-06-30T20:54:48Z) - A Unified Analysis for Finite Weight Averaging [50.75116992029417]
Gradient Descent(SGD)の平均イテレーションは、SWA(Weight Averaging)、EMA(Exponential moving Average)、LAWA(Latest Weight Averaging)といったディープラーニングモデルのトレーニングにおいて、経験的な成功を収めている。
本稿では、LAWAを有限重み平均化(FWA)として一般化し、最適化と一般化の観点からSGDと比較して、それらの利点を説明する。
論文 参考訳（メタデータ） (2024-11-20T10:08:22Z) - Relaxed Quantile Regression: Prediction Intervals for Asymmetric Noise [51.87307904567702]
量子レグレッション(Quantile regression)は、出力の分布における量子の実験的推定を通じてそのような間隔を得るための主要なアプローチである。
本稿では、この任意の制約を除去する量子回帰に基づく区間構成の直接的な代替として、Relaxed Quantile Regression (RQR)を提案する。
これにより、柔軟性が向上し、望ましい品質が向上することが実証された。
論文 参考訳（メタデータ） (2024-06-05T13:36:38Z) - Variational Bayesian Neural Networks via Resolution of Singularities [1.2183405753834562]
ベイズニューラルネットワーク(BNN)における変分推論の理論と実践に関連する特異学習理論(SLT)の重要性を提唱する。
本研究では, 下流予測性能, テストログ予測密度, 変動目標との相違点を取り巻く混乱を補う。
我々は,SLT補正形式を特異な後部分布に用いて,変分族自体の設計を知らせる。
論文 参考訳（メタデータ） (2023-02-13T00:32:49Z) - Efficient CDF Approximations for Normalizing Flows [64.60846767084877]
正規化フローの微分同相性に基づいて、閉領域上の累積分布関数(CDF)を推定する。
一般的なフローアーキテクチャとUCIデータセットに関する実験は,従来の推定器と比較して,サンプル効率が著しく向上したことを示している。
論文 参考訳（メタデータ） (2022-02-23T06:11:49Z) - Fluctuations, Bias, Variance & Ensemble of Learners: Exact Asymptotics
for Convex Losses in High-Dimension [25.711297863946193]
我々は、異なる、しかし相関のある特徴に基づいて訓練された一般化線形モデルの集合における揺らぎの研究の理論を開発する。
一般凸損失と高次元限界における正則化のための経験的リスク最小化器の結合分布の完全な記述を提供する。
論文 参考訳（メタデータ） (2022-01-31T17:44:58Z) - On the Double Descent of Random Features Models Trained with SGD [78.0918823643911]
勾配降下(SGD)により最適化された高次元におけるランダム特徴(RF)回帰特性について検討する。
本研究では, RF回帰の高精度な非漸近誤差境界を, 定常および適応的なステップサイズSGD設定の下で導出する。
理論的にも経験的にも二重降下現象を観察する。
論文 参考訳（メタデータ） (2021-10-13T17:47:39Z) - Understanding the Under-Coverage Bias in Uncertainty Estimation [58.03725169462616]
量子レグレッションは、現実の望ましいカバレッジレベルよりもアンファンダーカバー(enmphunder-cover)する傾向がある。
我々は、量子レグレッションが固有のアンダーカバーバイアスに悩まされていることを証明している。
我々の理論は、この過大被覆バイアスが特定の高次元パラメータ推定誤差に起因することを明らかにしている。
論文 参考訳（メタデータ） (2021-06-10T06:11:55Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。