論文の概要: Xiaomi-TabLDM: A Tabular Foundation Model Technical Report
- arxiv url: http://arxiv.org/abs/2609.03880v2
- Date: Fri, 04 Sep 2026 03:23:21 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-07 13:53:00.708105
- Title: Xiaomi-TabLDM: A Tabular Foundation Model Technical Report
- Title（参考訳）: Xiaomi-TabLDM: タブラルファウンデーションモデル技術レポート
- Abstract要約: Xiaomi-TabLDMは、文脈内学習による分類と回帰のモデルである。
OpenML-CTR23で1位、TALENT、TabArena、BCCOで2位である。
予測性能と計算コストの大幅な低下を兼ね備えている。
- 参考スコア（独自算出の注目度）: 30.675451775869274
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We introduce Xiaomi-TabLDM, a tabular large data foundation model for classification and regression via in-context learning, which delivers superior prediction accuracy without requiring task-specific fine-tuning. Pretrained exclusively on synthetic data generated from structural causal models (SCMs), our model enables more flexible context utilization and more efficient capacity scaling. i) A new performance standard. Strong regression performance across benchmarks: Xiaomi-TabLDM ranks 1st on OpenML-CTR23 and 2nd on regression across TALENT, TabArena, and BCCO, demonstrating consistently strong regression performance across four complementary benchmark suites. Favorable performance--efficiency trade-off: Xiaomi-TabLDM combines strong predictive performance with substantially lower computational cost. For example, on TabArena regression, it achieves the second-highest Elo while using 82% less training time and 68% less prediction time than the top-ranked TabFM. ii) Large-scale synthetic pretraining. Xiaomi-TabLDM expands the coverage and diversity of synthetic tabular data used for pretraining. We also adopt a three-stage training strategy together with dual-stream feature grouping, lightweight Attention Residual, and sparse Mixture-of-Experts, enabling Xiaomi-TabLDM to learn richer feature interactions and expert specialization across diverse tabular tasks. iii) Test-time scaling. Xiaomi-TabLDM further extends tabular prediction through test-time compute scaling, where allocating additional computation at inference time consistently improves predictive performance over the base model.
- Abstract（参考訳）: Xiaomi-TabLDMは、テキスト内学習による分類と回帰のための表形式の大規模データ基盤モデルであり、タスク固有の微調整を必要とせず、より優れた予測精度を提供する。
構造因果モデル(SCM)から生成された合成データに限定して,より柔軟なコンテキスト利用とより効率的なキャパシティスケーリングを実現する。
i) 新しいパフォーマンス標準。
ベンチマーク間の強いレグレッションパフォーマンス:Xiaomi-TabLDMはOpenML-CTR23で1位、TALENT、TabArena、BCCOで2位であり、4つの補完ベンチマークスイートで一貫して強いレグレッションパフォーマンスを示している。
Xiaomi-TabLDMは強力な予測性能と計算コストを大幅に低減します。
例えば、TabArena回帰では、トップランクのTabFMよりも82%のトレーニング時間と68%の予測時間を使用しながら、第2位のEloを達成する。
二 大規模合成予備訓練
Xiaomi-TabLDMは、事前トレーニングに使用される合成表データのカバレッジと多様性を拡張する。
また、デュアルストリーム機能グループ化、軽量なアテンション残留、スパースなMixture-of-Expertsとともに、3段階のトレーニング戦略を採用しています。
三 テストタイムのスケーリング
Xiaomi-TabLDMはさらに、テストタイムの計算スケーリングを通じて表形式での予測を拡張し、推論時に追加の計算を割り当てることで、ベースモデルよりも予測性能が一貫して向上する。
関連論文リスト
- EXAONE Tabular 1.0 : Technical Report [12.091751977253866]
EXAONE Tabularは、分類と回帰のためのコンパクトモデルファミリである。
データセット固有の勾配更新なしで予測を生成する。
高い予測性能と高い効率を兼ね備えている。
論文 参考訳（メタデータ） (2026-08-26T13:17:20Z) - LLaDA MoE v2: Scaling Mixture-of-Experts Diffusion Language Models [129.64558694024126]
拡散言語モデル(dLLM)は自己回帰(AR)言語モデリングの代替を提供する。
我々は, MoE dLLM に対するハイパーパラメータ, 計算割り当て, アーキテクチャスケールの最適化を特徴付ける。
23.5Tトークンで30B-A3B dLLMのLLaDA MoE v2をスクラッチからトレーニングします。
論文 参考訳（メタデータ） (2026-08-04T10:53:02Z) - TabSwift: An Efficient Tabular Foundation Model with Row-Wise Attention [47.480923979431886]
タブラル基礎モデルは、ラベル付きトレーニング例から直接テストラベルを推測して、コンテキスト内学習を通じて予測を行う。
最近のモデルでは、ますます複雑なアーキテクチャによって精度が向上し、推論コストが高くなり、実用的なデプロイメントが制限されることが多い。
ライトウェイトな行ワイドアテンションのみのバックボーンは、2つの単純な拡張と高い競争力を維持することができることを示す。
論文 参考訳（メタデータ） (2026-06-05T14:55:30Z) - KumoRFM-2: Scaling Foundation Models for Relational Learning [48.88283881350858]
KumoRFM-2は、リレーショナルデータのための事前訓練された基礎モデルの次のイテレーションである。
コンテキスト内学習と微調整をサポートし、幅広い予測タスクに適用できる。
論文 参考訳（メタデータ） (2026-04-14T11:24:11Z) - TabICLv2: A better, faster, scalable, and open tabular foundation model [18.594859017648346]
3つの柱上に構築された回帰と分類のための新しい最先端基盤モデルであるTabICLv2を紹介する。
Tabiclv2は、50GBのGPUメモリ下での百万規模のデータセットを効果的に一般化し、RealTabPFN-2.5よりも著しく高速である。
論文 参考訳（メタデータ） (2026-02-11T18:51:02Z) - Mitra: Mixed Synthetic Priors for Enhancing Tabular Foundation Models [85.64873567417396]
実世界のデータに対して,その多様性,特異性,および性能のために選択された合成前駆体の硬化した混合物をトレーニングしたTFMであるMitraを紹介する。
Mitraは、TabPFNv2やTabICLのような最先端のTFMを、分類と回帰のベンチマークで一貫して上回っている。
論文 参考訳（メタデータ） (2025-10-24T07:15:06Z) - SPaRFT: Self-Paced Reinforcement Fine-Tuning for Large Language Models [51.74498855100541]
大規模言語モデル(LLM)は、強化学習(RL)による微調整時に強い推論能力を示す。
トレーニング対象のモデルの性能に基づいて,効率的な学習を可能にする自己評価学習フレームワークである textbfSPaRFT を提案する。
論文 参考訳（メタデータ） (2025-08-07T03:50:48Z) - A Closer Look at TabPFN v2: Understanding Its Strengths and Extending Its Capabilities [51.08999772842298]
Tabular Prior-data Fitted Network v2 (TabPFN v2)は、さまざまな下流データセット間で、前例のないコンテキスト内学習性能を達成する。
本研究では,TabPFN v2が属性トークンをランダムに入力しても属性関係を推測可能であることを示す。
我々はTabPFN v2の制限がテスト時間分割・コンテキスト戦略によって対処できることを実証した。
論文 参考訳（メタデータ） (2025-02-24T17:38:42Z) - TabDPT: Scaling Tabular Foundation Models on Real Data [20.00390825519329]
ICLに基づく検索と自己教師付き学習を組み合わせた基礎モデルの学習手法を提案する。
事前学習フェーズに実際のデータを組み込むことで、学習が大幅に速くなり、見当たらないデータへの一般化が向上することを示す。
得られたモデルであるTabDPTは回帰 (CTR23) と分類 (CC18) のベンチマークで最高の性能を達成する。
論文 参考訳（メタデータ） (2024-10-23T18:00:00Z) - UniPredict: Large Language Models are Universal Tabular Classifiers [33.811778526930745]
本稿では、生成モデル、すなわちUniPredictに基づいて、普遍的な表型データ予測器を構築するというアイデアを活用する。
多様なターゲットを持つ169データセットのアグリゲーション上で1つのLLMをトレーニングし、そのパフォーマンスを各データセットで個別にトレーニングされたベースラインと比較する。
我々は、この汎用UniPredictモデルは、最高のツリーブースティングベースラインと最高のニューラルネットワークベースラインと比較して、5.4%から13.4%の範囲で、他のモデルよりも有利であることを示す。
論文 参考訳（メタデータ） (2023-10-05T02:37:09Z) - Generative Table Pre-training Empowers Models for Tabular Prediction [71.76829961276032]
本稿では,テーブル事前学習を利用した最初の試みであるTapTapを提案する。
TapTapは、プライバシ保護、リソースの低さ、価値計算の欠如、不均衡な分類など、さまざまなアプリケーションをサポートするための高品質な合成テーブルを生成することができる。
LightGBM、Multilayer Perceptron (MLP)、Transformerなどのバックボーンモデルと簡単に組み合わせることができる。
論文 参考訳（メタデータ） (2023-05-16T06:37:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。