論文の概要: Do Tabular Foundation Models Agree with Themselves?
- arxiv url: http://arxiv.org/abs/2608.06004v1
- Date: Thu, 06 Aug 2026 13:09:54 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-07 15:25:20.911033
- Title: Do Tabular Foundation Models Agree with Themselves?
- Title(参考訳): Tabular Foundation Modelsはテムズベリと結びつくか?
- Abstract要約: モデルの予測は,任意の関節分布から得られるのか?
一つは辺化整合性であり、これは辺化条件が直接予測された辺化と等しいことを要求している。
2つ目は分解の整合性であり、これは異なる分解の順序が等しく結合分布をもたらすことを要求する。
- 参考スコア(独自算出の注目度): 9.642976236410833
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Tabular Foundation Models (TFMs) are currently the best approach to tabular prediction problems. They are constructed as transformers that approximate the Bayesian posterior predictive distribution based on a pre-training prior. These univariate predictors can be converted into multivariate ones autoregressively by sampling one target and adding it to the features. However, the faithfulness of the resulting joint has not been investigated. Furthermore, TFMs cannot be evaluated against the posterior itself, at least not on real-world datasets, because the ground-truth distribution is unknown. We therefore propose asking a different question: could a model's predictions result from any joint distribution? To answer this question, we pose two requirements that any such model must satisfy. The first is marginalization consistency, which demands that marginalized conditionals are equal to directly predicted marginals. The second is factorization consistency, which demands that different factorization orders result in equal joint distributions. Every TFM that we evaluate violates both of these requirements for both classification and regression across all datasets.
- Abstract(参考訳): Tabular Foundation Models (TFMs) は現在、表形式の予測問題に対する最良のアプローチである。
それらは、事前学習した事前学習に基づいてベイズ後部予測分布を近似する変換器として構築される。
これらの単変量予測子は、1つのターゲットをサンプリングして機能に追加することで、自動回帰的に多変量予測に変換することができる。
しかし、その結果の関節の忠実さについてはまだ調査されていない。
さらに、TFMは後部自体に対して、少なくとも実世界のデータセットでは評価できない。
そこで我々は,モデルの予測は任意の関節分布から得られるのかという,別の問いを提案する。
この質問に答えるために、そのようなモデルが満たさなければならない2つの要件を提起する。
ひとつは境界化整合性であり、これは辺化条件が直接予測された辺化と等しいことを要求している。
2つ目は分解の整合性であり、これは異なる分解の順序が等しく結合分布をもたらすことを要求する。
評価したすべてのTFMは、すべてのデータセットの分類と回帰の両方の要件に違反しています。
関連論文リスト
- Posterior Augmented Flow Matching [64.1559809786948]
後拡張フローマッチング(PAFM)はフローマッチング(FM)の一般化である
PAFMは、異なるモデルスケールで最大3.4FID50KでFMよりも改善されていることを示す。
論文 参考訳(メタデータ) (2026-05-01T17:59:59Z) - Distributional Regression with Tabular Foundation Models: Evaluating Probabilistic Predictions via Proper Scoring Rules [0.7009487789080344]
適切なスコアリングルールは、トレーニング中に異なるモデルランキングと異なる帰納バイアスを誘導することを示す。
事前トレーニング中に見えないスコアルールを持つ微調整の realTabPFNv2.5 は、対応するメトリクスに対して一貫した改善をもたらす。
論文 参考訳(メタデータ) (2026-03-09T10:38:01Z) - Fixed-Horizon Self-Normalized Inference for Adaptive Experiments via Martingale AIPW/DML with Logged Propensities [0.0]
適応的な割り当ての下では、確率は変化し続けるため、AIPW/DMLインクリメントの予測可能な2次変動はランダムのままである。
本研究では,2次変動によって推定される偏差が,分散安定化を伴わずとも条件的に誤校正されていることを示す。
論文 参考訳(メタデータ) (2026-02-17T13:12:31Z) - Nearly Optimal Bayesian Inference for Structural Missingness [23.988531482641307]
ベイズ的な見方では、後続の予測分布による予測は、完全なモデル後続の不確実性の上に統合される。
このフレームワークは、(II)ラベル予測からモデル内の欠損値後部を学習し、予測後部分布を最適化する。
43の分類と15の計算ベンチマークでSOTAを達成し、ベイズ最適性保証の近くに有限サンプルを持つ。
論文 参考訳(メタデータ) (2026-01-26T14:03:11Z) - Rejection via Learning Density Ratios [50.91522897152437]
拒絶による分類は、モデルを予測しないことを許容する学習パラダイムとして現れます。
そこで我々は,事前学習したモデルの性能を最大化する理想的なデータ分布を求める。
私たちのフレームワークは、クリーンでノイズの多いデータセットで実証的にテストされます。
論文 参考訳(メタデータ) (2024-05-29T01:32:17Z) - Transformers meet Stochastic Block Models: Attention with Data-Adaptive
Sparsity and Cost [53.746169882193456]
最近の研究は、自己注意の二次的コストを克服するために、様々なスパークアテンションモジュールを提案している。
本稿では,それぞれの注意を混合メンバーシップブロックモデルで表現することで,両方の問題を解決するモデルを提案する。
我々のモデルは、以前の効率的な変種とオリジナルのトランスフォーマーより優れており、十分に注目されています。
論文 参考訳(メタデータ) (2022-10-27T15:30:52Z) - On the Strong Correlation Between Model Invariance and Generalization [54.812786542023325]
一般化は、見えないデータを分類するモデルの能力をキャプチャする。
不変性はデータの変換におけるモデル予測の一貫性を測定する。
データセット中心の視点から、あるモデルの精度と不変性は異なるテストセット上で線形に相関している。
論文 参考訳(メタデータ) (2022-07-14T17:08:25Z) - Benign-Overfitting in Conditional Average Treatment Effect Prediction
with Linear Regression [14.493176427999028]
線形回帰モデルを用いて条件平均処理効果(CATE)の予測における良性過剰適合理論について検討した。
一方,IPW-learnerは確率スコアが分かっていればリスクをゼロに収束させるが,T-learnerはランダムな割り当て以外の一貫性を達成できないことを示す。
論文 参考訳(メタデータ) (2022-02-10T18:51:52Z) - Multivariate Probabilistic Regression with Natural Gradient Boosting [63.58097881421937]
多変量予測分布の条件パラメータを非パラメトリックにモデル化したNatural Gradient Boosting (NGBoost) 手法を提案する。
提案手法は頑健で, 広範囲なチューニングを伴わず, 推定対象分布に対してモジュール構造であり, 既存の手法と比較して競争力がある。
論文 参考訳(メタデータ) (2021-06-07T17:44:49Z) - Learning Posterior and Prior for Uncertainty Modeling in Person
Re-Identification [11.651410633259543]
我々は、潜在空間におけるサンプル後部分布とクラス先行分布を学習し、代表的特徴だけでなく、モデルによって不確実性を構築することができる。
Market1501、DukeMTMC、MARS、ノイズデータセットでも実験が行われている。
論文 参考訳(メタデータ) (2020-07-17T07:20:39Z) - Decision-Making with Auto-Encoding Variational Bayes [71.44735417472043]
変分分布とは異なる後部近似を用いて意思決定を行うことが示唆された。
これらの理論的な結果から,最適モデルに関するいくつかの近似的提案を学習することを提案する。
おもちゃの例に加えて,単細胞RNAシークエンシングのケーススタディも紹介する。
論文 参考訳(メタデータ) (2020-02-17T19:23:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。