論文の概要: LinearPFN: Amortized Variable Selection for Linear Models with Interactions

• arxiv url: http://arxiv.org/abs/2610.06580v1
• Date: Mon, 05 Oct 2026 15:57:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-09 07:26:44.710568
• Title: LinearPFN: Amortized Variable Selection for Linear Models with Interactions
• Title（参考訳）: LinearPFN: 相互作用を持つ線形モデルに対する記憶変数の選択
• Abstract要約: スパイク・アンド・スラブ回帰は変数選択の標準ベイズ式である。 スパイク・アンド・スラブ推論を記憶する先行データ付き変圧器ネットワークであるLinearPFNを提案する。
• 参考スコア（独自算出の注目度）: 19.97958555887526
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Spike-and-slab regression is a standard Bayesian formulation of variable selection: it returns a posterior distribution over which candidate effects are active rather than a single selected subset, so that every candidate effect carries an inclusion probability. Its cost grows exponentially with the number of candidate effects, so the posterior can be enumerated exactly only when the number of predictors is small. Beyond that reach, the posterior has to be approximated, typically by Markov chain Monte Carlo over the model space, which requires a fresh run for every dataset and, within a fixed budget of steps, may fail to converge. We present LinearPFN, a prior-data fitted transformer network that amortizes spike-and-slab inference for linear models with main effects and pairwise interactions. The network is pretrained once on synthetic datasets, drawn from an explicitly specified prior, and a single forward pass over a new dataset returns posterior inclusion probabilities, posterior-mean coefficients and posterior predictive distributions with no per-dataset fitting. The prior is conjugate by design, so that the posterior for each fixed set of active effects has a closed form, and wherever the exact posterior is still computable by enumeration we verify the network's outputs against it. On real predictor matrices from published social-science datasets, with outcomes drawn from the prior so that the true active set is known, LinearPFN attains a higher per-dataset selection AUC and a higher F1 under the median probability model rule than five classical baselines. The lead holds when the coefficients, the interactions or the noise depart from the prior. Code: https://github.com/schiekiera/LinearPFN. Trained model: https://huggingface.co/schiekiera/LinearPFN.
• Abstract（参考訳）: スパイク・アンド・スラブ回帰(Spike-and-Slab regression)は、変数選択の標準的なベイズ的定式化であり、任意の候補効果が包含確率を持つように、単一の選択された部分集合ではなく、候補効果がアクティブであるような後続分布を返す。 そのコストは候補効果の数とともに指数関数的に増加するので、後部は予測器の数が少ない場合にのみ正確に列挙できる。 モデル空間上のマルコフ連鎖モンテカルロは、すべてのデータセットに対して新しい実行を必要とし、固定された予算のステップ内では収束しないかもしれない。 リニアPFN(LinearPFN)は、主効果とペア相互作用を持つ線形モデルに対するスパイク・アンド・スラブ推論を記憶する、先行データ付き変圧器ネットワークである。 ネットワークは、明示的に指定された事前から引き出された合成データセットに1度事前トレーニングされ、新しいデータセットの1つのフォワードパスは、データセットごとのフィッティングのない後部包摂確率、後部平均係数、後部予測分布を返す。 前者は設計上共役であり、各固定されたアクティブエフェクトに対する後部は閉じた形式であり、列挙によって正確な後部が計算可能である場合でも、ネットワークの出力がそれに対して検証される。 リニアPFNは、公表された社会科学データセットの実際の予測行列において、真のアクティブセットが知られているように、前の結果から引き出された結果に対して、5つの古典的ベースラインよりも高いデータセット選択AUCと高いF1を達成する。 リードは、係数、相互作用、ノイズが前から離れているときに保持される。 コード:https://github.com/schiekiera/LinearPFN。 トレーニングされたモデル: https://huggingface.co/schiekiera/LinearPFN。

関連論文リスト

• Prior-Amortized In-Context Bayesian Inference for Generalized Linear Mixed-Effects Models [22.95834831696185]
  metabeta(メタベタ)は、GLMMに対する文脈内ベイズ推論を事前に調整したニューラルネットワークである。 連続、バイナリ、カウント結果にまたがる数百万の現実的なシミュレーションデータセットに基づいてトレーニングされている。 後部は全てのパラメータータイプでNUTSのものと密接に一致している。
  論文  参考訳（メタデータ） (2026-09-21T11:15:02Z)
• CAWI: Copula-Aligned Weight Initialization for Randomized Neural Networks [7.698602367824994]
  データ適合したコプラから入力から隠れた重みを引き出すフレームワークであるCAWI(Copula-Aligned Weight Initialization)を提案する。 83種類の分類ベンチマークと2つのバイオメディカルデータセットでCAWIを評価した。
  論文  参考訳（メタデータ） (2026-05-12T15:46:23Z)
• Self-Supervised Laplace Approximation for Bayesian Uncertainty Quantification [45.61685127984694]
  我々は,ベイズモデルの予測不確実性を,自己予測データに基づいて定量化する。 Self-Supervised Laplace Approximation (SSLA)のモジュール構造は、さまざまな事前仕様をプラグインすることができます。 高価なリフィットを回避すべく、ASSLAと呼ばれるSSLAの近似バージョンをさらに導入する。
  論文  参考訳（メタデータ） (2026-05-12T14:46:08Z)
• Joint Bayesian Inference of Graphical Structure and Parameters with a Single Generative Flow Network [59.79008107609297]
  本稿では,ベイジアンネットワークの構造上の結合後部を近似する手法を提案する。 サンプリングポリシが2フェーズプロセスに従う単一のGFlowNetを使用します。 パラメータは後部分布に含まれるため、これは局所確率モデルに対してより柔軟である。
  論文  参考訳（メタデータ） (2023-05-30T19:16:44Z)
• Bayesian Interpolation with Deep Linear Networks [92.1721532941863]
  ニューラルネットワークの深さ、幅、データセットサイズがモデル品質にどう影響するかを特徴付けることは、ディープラーニング理論における中心的な問題である。 線形ネットワークが無限深度で証明可能な最適予測を行うことを示す。 また、データに依存しない先行法により、広い線形ネットワークにおけるベイズ模型の証拠は無限の深さで最大化されることを示す。
  論文  参考訳（メタデータ） (2022-12-29T20:57:46Z)
• Transformers Can Do Bayesian Inference [56.99390658880008]
  我々はPFN(Presideed Data Fitted Networks)を提案する。 PFNは、大規模機械学習技術におけるインコンテキスト学習を活用して、大規模な後部集合を近似する。 我々は、PFNがガウス過程をほぼ完璧に模倣し、難解問題に対する効率的なベイズ推定を可能にすることを示した。
  論文  参考訳（メタデータ） (2021-12-20T13:07:39Z)
• Conjugate priors for count and rounded data regression [0.0]
  閉形式後部推論を可能にする共役前部を導入する。 主要な後続関数と予測関数は計算可能であり、直接モンテカルロシミュレーションによって計算可能である。 これらのツールは、線形回帰、基底展開による非線形モデル、モデルと変数選択に広く有用である。
  論文  参考訳（メタデータ） (2021-10-23T23:26:01Z)
• High-dimensional regression with potential prior information on variable importance [0.0]
  順序付けによって示されるモデルの列に適合する簡単なスキームを提案する。 リッジ回帰を用いた場合の全てのモデルの適合に対する計算コストは、リッジ回帰の1つの適合に留まらないことを示す。 モデル全体の整合性を大幅に高速化するために,従来の整合性を利用したラッソ回帰の戦略を述べる。
  論文  参考訳（メタデータ） (2021-09-23T10:34:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。