論文の概要: Calibrated Derivative-Process Sensitivity for Gaussian-Process Variable Selection
- arxiv url: http://arxiv.org/abs/2609.33549v1
- Date: Sun, 27 Sep 2026 13:18:13 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-05 15:51:57.542662
- Title: Calibrated Derivative-Process Sensitivity for Gaussian-Process Variable Selection
- Title（参考訳）: ガウス変量選択のための校正導出感性
- Abstract要約: 自動妥当性決定(ARD)はガウス過程(GP)回帰における変数選択のデフォルトツールである。
微分感度 $_j = mathbbE[(partial f/partial x_j)2]$ は、適合したGPから閉じた形で利用できるが、それを選択規則に変換することは見た目よりも難しい。
- 参考スコア（独自算出の注目度）: 1.9493449206135296
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Automatic relevance determination (ARD), the default tool for variable selection in Gaussian-process (GP) regression, ranks inputs by inverse lengthscales -- which measure how fast a function varies, not how much an input contributes to prediction -- and offers no calibrated rule for deciding which inputs to keep. The prediction-centred alternative, the derivative sensitivity $ν_j = \mathbb{E}[(\partial f/\partial x_j)^2]$, is available in closed form from a fitted GP, but turning it into a selection rule is harder than it looks: at a null input the estimator is a degenerate quadratic form, so Wald and Bernstein-von Mises cutoffs are anti-conservative, and the natural residual bootstrap is mis-scaled. We show that a studentized multiplier bootstrap of the GP derivative process repairs both, prove its validity through an invariance principle for quadratic forms, and obtain asymptotic family-wise and false-discovery-rate control across inputs. Over 100 replications the rule controls FDR wherever inputs are truly null, while uncalibrated derivative rankings breach the target by up to 2x and a Bernstein-von Mises cutoff by 2.2x; at matched FDR it loses no power; it holds under a Matérn kernel and input correlation up to 0.99; on real data with planted and authentic null inputs it admits 5-12x fewer spurious inputs; it costs 5-18% of the GP fit; and a block-averaged variant retains validity at cost linear in $n$.
- Abstract（参考訳）: ガウス過程(GP)回帰における変数選択のデフォルトツールである自動妥当性決定(ARD)は、入力を逆長スケールでランク付けする。
予測中心の代替品である微分感度 $ν_j = \mathbb{E}[(\partial f/\partial x_j)^2]$ は、適合した GP から閉形式で利用可能であるが、それを選択規則に変換することは見た目よりも難しい: ヌル入力では、推定子は退化二次形式であるので、ウォルドとバーンスタインのミスのカットオフは反保存的であり、自然残留ブートストラップは誤スケールされる。
GP導出プロセスの学生化乗算ブートストラップはどちらも修復し,2次形式の不変原理を用いてその妥当性を証明し,入力間の漸近的家族性および誤発見率制御が得られることを示す。
100以上のレプリケーションでは、入力が真にヌルである場合のFDRが制御され、未分類の導出ランクはターゲットを最大2倍、ベルンシュタイン・ヴォン・ミスのカットオフは2.2倍、一致したFDRではパワーが失われ、マテランのカーネルの下に保持され、入力相関は最大0.99である。
関連論文リスト
- Robust Average-Reward Markov Decision Processes: Minimax-Optimal Learning via Plug-in Reductions [51.50375419691955]
分布的に堅牢なマルコフ決定プロセスは、モデルの不確実性の下でのシーケンシャルな意思決定のための原則化されたフレームワークを提供する。
我々は,平均回帰基準の下で,$varepsilon$-Optimal robust policyを学習するのに必要なサンプル数と十分なサンプル数について検討した。
論文 参考訳（メタデータ） (2026-08-06T19:49:48Z) - Black-Box Assisted Regression: Phase Transitions and Minimax Optimality [13.030603690976202]
ファンデーションモデルは、ラベル付きデータに制限のある下流タスクのための固定されたブラックボックス予測器としてしばしば使用される。
有限サンプルのミニマックス特徴づけを$_c(n) asymp n-/(2+d)$で表し、主要なリスクは$min2, n-2/(2+d)$である。
Safe Residual Estimatorを解析し、$f_0$あたりの補正を学習し、残留ヘッドを0で初期化し、初期予測器が$f_0$に等しいようにし、ホールドアウト選択を使用する。
論文 参考訳（メタデータ） (2026-06-24T12:11:59Z) - Is Spurious Correlation Removal Always Learnable? [56.28155520961125]
不変学習は、構造が統計的に識別可能であっても失敗することがある。
ブラックボックスサンプリング可能な教師付きスパースリカバリプリミティブの下では、実証可能な多次元環境が存在する。
合成および実際のデータセットは、予測されたギャップと遷移を示し、単純な多様性診断を動機付ける。
論文 参考訳（メタデータ） (2026-06-11T05:49:43Z) - How Neural Reward Models Learn Features for Policy Optimization: A Single-Index Analysis [53.063298916923976]
r*(x) = *(langle *, xrangle)$ と $x sim N(0, I_d)$ でガウスの単一インデックスモデルでフィードバックを研究する。
まず、報酬重み付きサンプルから隠れた方向を*$で学習し、次に重み付きリッジ回帰により読み出し層に適合する2段階のニューラル報酬モデルを分析する。
論文 参考訳（メタデータ） (2026-05-23T22:00:38Z) - When to Trust Confidence Thresholding: Calibration Diagnostics for Pseudo-Labelled Regression [1.14219428942199]
標準的なプラクティスは、信頼性カットオフで校正されたスコアをしきい値にし、ハードラベルを真実として扱うことである。
疑似ラベリングパイプラインのためのキャリブレーション対応診断装置を開発した。
我々は、下流回帰係数において信頼しきい値が誘導する減衰バイアスの閉形式式を導出する。
論文 参考訳（メタデータ） (2026-05-12T21:49:11Z) - Online Covariance Estimation in Averaged SGD: Improved Batch-Mean Rates and Minimax Optimality via Trajectory Regression [12.805268849262243]
我々はPolyak-Ruppert averaged gradient descent (SGD)のオンライン共分散行列推定について検討した。
この構造は、このボトルネックがSGDドリフトからヘッセンの情報をサブ線形に蓄積していることを明らかにする。
論文 参考訳（メタデータ） (2026-04-12T20:49:33Z) - Sparse Weak-Form Discovery of Stochastic Generators [0.0]
提案フレームワークは,SDE識別問題を2つのSINDyベース線形スパース識別問題に変換する。
このアルゴリズムを3つのSDE上で検証し、4%未満の係数誤差を持つ全ての非線形項を復元する。
論文 参考訳（メタデータ） (2026-03-21T18:28:10Z) - Optimal Unconstrained Self-Distillation in Ridge Regression: Strict Improvements, Precise Asymptotics, and One-Shot Tuning [61.07540493350384]
自己蒸留(英: Self-distillation, SD)とは、教師自身の予測と地道の混合で学生を訓練する過程である。
任意の予測リスクに対して、各正規化レベルにおいて、最適に混合された学生がリッジ教師に改善されることが示される。
本稿では,グリッド探索やサンプル分割,再構成なしに$star$を推定する一貫したワンショットチューニング手法を提案する。
論文 参考訳（メタデータ） (2026-02-19T17:21:15Z) - Learning Shrinks the Hard Tail: Training-Dependent Inference Scaling in a Solvable Linear Model [2.7074235008521246]
ニューラルネットワークのスケーリング法則を最終層微細チューニングの解法モデルで解析する。
学習がエラー分布の「ハードテール」を小さくすることを示す。
論文 参考訳（メタデータ） (2026-01-07T10:00:17Z) - Reinforcement Learning with Verifiable yet Noisy Rewards under Imperfect Verifiers [90.50039419576807]
RLVR(Reinforcement Learning with Verifiable Rewards)は、人為的なラベル付けを避けるために、自動検証に対するポリシーを訓練する。
認証ハッキングの脆弱性を軽減するため、多くのRLVRシステムはトレーニング中にバイナリ$0,1$の報酬を破棄する。
この選択にはコストがかかる:textitfalse negatives(正しい回答、FNを拒絶)とtextitfalse positives(間違った回答、FPを受け入れる)を導入する。
論文 参考訳（メタデータ） (2025-10-01T13:56:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。