論文の概要: SelectPFN: Amortized Bayesian Variable Selection for Sparse Nonlinear Regression with Prior-Data Fitted Networks

• arxiv url: http://arxiv.org/abs/2610.21950v1
• Date: Thu, 15 Oct 2026 14:18:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-17 06:09:33.124352
• Title: SelectPFN: Amortized Bayesian Variable Selection for Sparse Nonlinear Regression with Prior-Data Fitted Networks
• Title（参考訳）: SelectPFN:事前データフィットネットワークによる疎非線形回帰に対するアモータイズベイズ可変選択
• Abstract要約: 先行データ適合ネットワーク(PFN)に基づくタブラル基礎モデルは、単一のフォワードパスに設定された新しいデータセットを予測する。 疎非線形回帰に対してベイズ変数の選択と予測を共同で行うPFNであるSelectPFNを提案する。 p から 500 までの事前非線形設計では、SelectPFN はラッソ、BART、DART、LassoNet とグループペン化されたスパースニューラルネットワーク上で精度-リコール曲線の下での面積を 0.23-0.28 改善している。
• 参考スコア（独自算出の注目度）: 7.879683181764309
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Tabular foundation models based on prior-data fitted networks (PFNs) predict on a new data set in a single forward pass, but they cannot report which inputs their predictions depend on. We propose SelectPFN, a PFN that performs Bayesian variable selection and prediction jointly for sparse nonlinear regression. In one forward pass it returns posterior inclusion probabilities for every variable, and its predictions are computed from sampled subsets only, so excluded variables provably cannot affect them; we show this is exactly what the Bayesian model prescribes. The network is pretrained once on synthetic tasks from a meta-prior built around a group spike-and-slab sparse-input neural network. Column-permutation equivariance combined with random interleaving of original and knockoff columns yields knockoff statistics with exact finite-sample false discovery rate control, even when the meta-prior is wrong. We develop theory for amortized selection: a Bayes-regret bound for the amortized median probability model, a characterization showing that the information needed to detect a variable grows like $(2/λ)\log(1/ω)$ in the prior weight $ω$ of structures that can use it, where $λ\le1$ is an efficiency, and a negative result showing that average-case training does not transfer to frequentist guarantees at a fixed truth. On out-of-prior nonlinear designs with p up to 500, SelectPFN improves the area under the precision-recall curve by 0.23-0.28 over the lasso, BART, DART, LassoNet and a group-penalized sparse neural network, at a false discovery proportion of about 0.07 and 0.04 seconds per data set. The advantage persists on real covariate matrices, and, as the theory predicts, detection of interaction-only variables rises monotonically with their prior weight.
• Abstract（参考訳）: 先行データ適合ネットワーク(PFN)に基づくタブラル基礎モデルは、単一の前方パスに設定された新しいデータセットを予測するが、どの入力が依存するかは報告できない。 疎非線形回帰に対してベイズ変数の選択と予測を共同で行うPFNであるSelectPFNを提案する。 1つの前方通過において、各変数に対する後続包含確率を返却し、その予測はサンプリングされた部分集合からのみ計算されるので、除外された変数はそれらに確実に影響しない。 ネットワークは、グループスパイク&スラブスパースインプットニューラルネットワークを中心に構築されたメタプライアから合成タスクで1度事前訓練される。 カラム置換同値と元のカラムとノックオフカラムのランダムなインターリーブが組み合わさって、メタプライヤが間違っている場合でも、正確な有限サンプル偽発見率制御によるノックオフ統計が得られる。 償却された中心確率モデルに対するベイズ・レグレットのバウンド、変数を検出するのに必要な情報が$(2/λ)\log(1/ω)$のように成長することを示すキャラクタリゼーション、それを使用することができる構造の以前の重み$ω$、そこでは$λ\le1$は効率である、そして平均ケーストレーニングが固定真理で頻繁な保証に移行しないことを示す負の結果などである。 p から 500 までの事前非線形設計では、SelectPFN は、ラッソ、BART、DART、LassoNet およびグループペンスニューラルネットワーク上での精度-リコール曲線の下での面積を 0.23-0.28 改善し、データセットあたり約 0.07 と 0.04 秒の誤検出比で検出する。 この利点は、実共変量行列に持続し、理論が予測するように、相互作用のみの変数の検出はその前の重みと単調に上昇する。

関連論文リスト

• $σ$Transfer: Uncertainty Transfer from Small to Large Networks under $μ\mathrm{P}$ [61.96648353048054]
  ラプラス近似において信頼性の高い予測不確実性を選択する新しい方法を示す。 我々は、前者のカーネルの収束、後続の共分散、選択精度、および後続の意思決定を示す。 同じ後部安定性は、取得の転送、OOD検出、および棄権決定を可能にする。
  論文  参考訳（メタデータ） (2026-10-08T10:40:32Z)
• LinearPFN: Amortized Variable Selection for Linear Models with Interactions [19.97958555887526]
  スパイク・アンド・スラブ回帰は変数選択の標準ベイズ式である。 スパイク・アンド・スラブ推論を記憶する先行データ付き変圧器ネットワークであるLinearPFNを提案する。
  論文  参考訳（メタデータ） (2026-10-05T15:57:37Z)
• Direct Bethe Free Energy Minimization for Bayesian Neural Network [0.0]
  我々は,変分下界を最大化するのではなく,Bethe自由エネルギーを直接最小化してベイズニューラルネットワークを訓練することを提案する。 木構造因子グラフ上では、Bethe自由エネルギーは正確であり、決定論的層は目的から外れ、標準のバックプロパゲーションによって訓練される。 すべての変種は、アンサンブルやサンプリングベースの手法とは対照的に、MAP等価な推論コストで閉形式予測を許容する。
  論文  参考訳（メタデータ） (2026-05-08T20:12:48Z)
• Fixed-Horizon Self-Normalized Inference for Adaptive Experiments via Martingale AIPW/DML with Logged Propensities [0.0]
  適応的な割り当ての下では、確率は変化し続けるため、AIPW/DMLインクリメントの予測可能な2次変動はランダムのままである。 本研究では,2次変動によって推定される偏差が,分散安定化を伴わずとも条件的に誤校正されていることを示す。
  論文  参考訳（メタデータ） (2026-02-17T13:12:31Z)
• Regression-Based Estimation of Causal Effects in the Presence of Selection Bias and Confounding [52.1068936424622]
  治療が介入によって設定された場合、対象変数$Y$に対して、予測因果効果$E[Y|do(X)]$を推定する問題を考える。 選択バイアスや欠点のない設定では、$E[Y|do(X)] = E[Y|X]$ となる。 選択バイアスとコンバウンディングの両方を組み込んだフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-03-26T13:43:37Z)
• SPD-DDPM: Denoising Diffusion Probabilistic Models in the Symmetric Positive Definite Space [47.65912121120524]
  本研究では,大規模データを扱う新しい生成モデルであるSPD-DDPMを提案する。 我々のモデルは、$y$を与えることなく、無条件で柔軟に$p(X)$を見積もることができる。 おもちゃのデータと実際のタクシーデータによる実験結果から、我々のモデルは無条件と無条件の両方のデータ分布に効果的に適合することが示された。
  論文  参考訳（メタデータ） (2023-12-13T15:08:54Z)
• Project and Probe: Sample-Efficient Domain Adaptation by Interpolating Orthogonal Features [119.22672589020394]
  多様な特徴の集合を学習し,これらの特徴を補間することによって対象分布に適応する,軽量でサンプル効率のよい手法を提案する。 複数の分散シフト設定を持つ4つのデータセットに対する実験により、Pro$2$は、限られたターゲットデータが与えられた場合、パフォーマンスを5～15%向上することが示された。
  論文  参考訳（メタデータ） (2023-02-10T18:58:03Z)
• Transformers Can Do Bayesian Inference [56.99390658880008]
  我々はPFN(Presideed Data Fitted Networks)を提案する。 PFNは、大規模機械学習技術におけるインコンテキスト学習を活用して、大規模な後部集合を近似する。 我々は、PFNがガウス過程をほぼ完璧に模倣し、難解問題に対する効率的なベイズ推定を可能にすることを示した。
  論文  参考訳（メタデータ） (2021-12-20T13:07:39Z)
• Computationally and Statistically Efficient Truncated Regression [36.3677715543994]
  計算的かつ統計的に効率的な線形回帰の古典的問題に対する推定器を提供する。 提案手法では, トランキャット標本の負の対数類似度に代わることなく, プロジェクテッド・Descent Gradient (PSGD) を用いて推定する。 本稿では,SGDが単一層ニューラルネットワークの雑音活性化関数のパラメータを学習することを示す。
  論文  参考訳（メタデータ） (2020-10-22T19:31:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。