論文の概要: TabAbax: A Tabular Foundation Model Technical Report
- arxiv url: http://arxiv.org/abs/2611.00562v1
- Date: Sat, 31 Oct 2026 02:37:09 GMT
- ステータス: 情報取得中
- システム内更新日: 2026-11-03 19:42:55.628782
- Title: TabAbax: A Tabular Foundation Model Technical Report
- Title（参考訳）: TabAbax: Tabular Foundation Model Technical Report
- Abstract要約: TabICLv2 上に構築された TFM である TabAbax を紹介する。
先行して,合成事前学習の質と複雑さを改善した。
エンコーダ側では、行圧縮の前に2パスのカラムロースタックが機能間相互作用を強化する。
- 参考スコア（独自算出の注目度）: 3.4047844057026793
- License:
- Abstract: Tabular foundation models (TFMs) enable in-context prediction on unseen tabular datasets without task-specific training. Mechanistic work has shown that increasing the depth of the ICL Transformer yields weak gains, leaving the main headroom for gains in the synthetic pretraining prior and column-row encoder upstream of the ICL backbone. We introduce TabAbax, a TFM built on TabICLv2 that focuses all modifications on these two upstream components. On the prior side, we further improve the quality and complexity of the synthetic pretraining prior. On the encoder side, a two-pass column-row stack strengthens cross-feature interactions before row compression, using learned Fourier scalar encoding from TabFM and Causilo. Evaluations on BeyondArena and TabArena show strong regression-centric gains: TabAbax reaches 1,238 Elo on the 142-dataset BeyondArena suite (10th of 41 evaluated methods), 1,676 Elo on TabArena's overall 51-dataset suite (11th of 99 methods, +115 over TabICLv2), and 2,024 Elo on TabArena's regression benchmark (7th of 99 methods, +336 over TabICLv2, +21 over TabFM). A prior-only ablation confirms the attribution: the improved prior alone yields +228 Elo for regression, demonstrating that prior quality is the dominant knob for improving regression performance.
- Abstract（参考訳）: Tabular foundation model (TFMs) は、タスク固有のトレーニングなしで、目に見えない表形式のデータセットのコンテキスト内予測を可能にする。
メカニカルな研究により、ICCトランスフォーマーの深さが増加すると弱い利得が得られ、メインのヘッドルームはICCバックボーンの上流にある合成プレトレーニング前およびカラムローエンコーダの利得となることが示されている。
TabICLv2 上に構築された TFM である TabAbax を紹介する。
先行して、合成事前学習の質と複雑さをさらに改善する。
エンコーダ側では、TabFMとCausiloから学習したフーリエスカラーエンコーディングを用いて、行圧縮の前に2パスのカラムロースタックが機能間相互作用を強化する。
BeyondArenaとTabArenaの評価では、142データセットのBeyondArenaスイート(41の評価方法の10番目)で1,238 Elo、TabArenaの51データセットスイートで1,676 Elo(99メソッドの11番目、TabICLv2)で+115 Elo、TabArenaの回帰ベンチマークで2,024 Elo(99メソッドの7番目、TabICLv2で+336、TabFMで+21)に到達した。
改善された先行単独では、回帰のために+228 Eloが得られ、先行品質が回帰性能を改善するための支配的なノブであることを示す。
関連論文リスト
- What Do Tabular Foundation Models Compute In Context? In-Situ Representation Refinement through Attention-Gated Updates [25.316091930922273]
RefineICLは、注目度の高いFFNフリーコンテキストスタックで、選択された低ランクな特徴相互作用と型付きメモリを持つ。
ベンチマークインフォームされた継続は、38データセットのTabArenaスナップショットで1644.8 Eloに達し、TabPFN-3より31.4 Eloである。
論文 参考訳（メタデータ） (2026-09-23T10:54:31Z) - Causilo Technical Report [8.017474242820297]
Causiloは、非常に高速な推論と、フロンティア予測のパフォーマンスを組み合わせたものだ。
TabArenaでは、カウシロは1K検体あたり0.10秒の中央推定時間で1785.4エロを達成した。
論文 参考訳（メタデータ） (2026-09-19T08:09:28Z) - REER-PT: Reverse-Engineered Reasoning for Perplexity-Guided Pre-training Data Augmentation [64.84437332310516]
我々は,Reverse-Engineered Reasoning (REER) を生の事前学習データに拡張するスケーラブルなフレームワークである textbfREER-PT を紹介する。
REER-PTは予測が難しいが、それ以前のコンテキストから推論できる継続を識別し、コンテキストと継続の間の欠落した接続を再構築する簡潔な推論アノテーションを挿入する。
このスパース変換は、ソーステキストを保存し、トレーニング前のオンライン推論ロールアウトを避けることで、標準的な次世代の予測と互換性を維持します。
論文 参考訳（メタデータ） (2026-08-31T11:34:19Z) - EXAONE Tabular 1.0 : Technical Report [12.091751977253866]
EXAONE Tabularは、分類と回帰のためのコンパクトモデルファミリである。
データセット固有の勾配更新なしで予測を生成する。
高い予測性能と高い効率を兼ね備えている。
論文 参考訳（メタデータ） (2026-08-26T13:17:20Z) - LimiX-2M: Mitigating Low-Rank Collapse and Attention Bottlenecks in Tabular Foundation Models [56.999481798138625]
LimiX-2Mは2Mパラメータモデルであり、広く使われているベンチマークでTabPFN-v2とTabICLのベースラインを上回っている。
本稿では,強力なタブラル基礎モデル(TFM)のための統一トークン化・ルートフレームワークを提案する。
その結果、TFMにおける精度-効率トレードオフを改善するキーレバーとして、バリューアウェアトークン化とリードアウト整列ルーティングが強調された。
論文 参考訳（メタデータ） (2026-06-03T06:07:33Z) - TabH2O: A Unified Foundation Model for Tabular Prediction [12.882141870947706]
本研究では,テキスト内学習による1つの前方パスの分類と回帰を行うモデルであるTabH2Oを提案する。
我々はTALENTベンチマークでTabH2O v1(29.2Mパラメータ)を評価し、6つの評価手法のうち平均2.55のランクを達成した。
論文 参考訳（メタデータ） (2026-05-18T13:27:54Z) - TabPFN-3: Technical Report [76.55249061301969]
TabPFN-3はTabPFN上に構築され、1Mのトレーニング行を持つデータセットに最先端のパフォーマンスを拡大し、トレーニングと推論時間を大幅に短縮する。
TabPFN-3は、我々の以前の合成データのみに制限され、表の予測のフロンティアを劇的に押し上げます。
当社のAPIが提供するTabPFN-3-Plus(Thinking)では,TabArena上で200Elo以上の非TabPFNモデルに対して,これを活用しています。
論文 参考訳（メタデータ） (2026-05-13T18:01:43Z) - Can Graphs Improve Tabular Foundation Models? [0.6901411094880271]
我々は、RoBERTa-Tab(マスクトケン予測で事前訓練されたRoBERTaスタイルのバックボーン)を拡張した、軽量で静的な二部グラフヘッドBOLEROを紹介する。
TP-BERTaベンチマークスイートから,80の分類と64の回帰データセットを評価した。
BOLEROは、分類と回帰の両方で統計学的に有意な勝利を最も多く達成している。
論文 参考訳（メタデータ） (2025-12-13T17:34:18Z) - TabPFN-2.5: Advancing the State of the Art in Tabular Foundation Models [76.52858476275865]
TabPFN-2.5は5万のデータポイントと2,000の機能を持つデータセット用に構築されている。
チューニングされたツリーベースモデルとAutoGluon 1.4の精度を大幅に上回った。
生産用として,TabPFN-2.5を小型または木製アンサンブルに変換する新しい蒸留エンジンを導入する。
論文 参考訳（メタデータ） (2025-11-11T18:57:15Z) - TabPFN: A Transformer That Solves Small Tabular Classification Problems
in a Second [48.87527918630822]
トレーニングされたトランスフォーマーであるTabPFNは、小さなデータセットの教師付き分類を1秒以内で行うことができる。
TabPFNはコンテキスト内学習(ICL)を行い、ラベル付きサンプルのシーケンスを使用して予測を行う。
提案手法は, 強化木よりも明らかに優れており, 230$times$ Speedupの複雑なAutoMLシステムと同等性能を示す。
論文 参考訳（メタデータ） (2022-07-05T07:17:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。