論文の概要: Mitra: Mixed Synthetic Priors for Enhancing Tabular Foundation Models

• arxiv url: http://arxiv.org/abs/2510.21204v1
• Date: Fri, 24 Oct 2025 07:15:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-28 06:57:23.390305
• Title: Mitra: Mixed Synthetic Priors for Enhancing Tabular Foundation Models
• Title（参考訳）: Mitra: タブラルファウンデーションモデルを強化するための混合合成プライオリティ
• Authors: Xiyuan Zhang, Danielle C. Maddix, Junming Yin, Nick Erickson, Abdul Fatir Ansari, Boran Han, Shuai Zhang, Leman Akoglu, Christos Faloutsos, Michael W. Mahoney, Cuixiong Hu, Huzefa Rangwala, George Karypis, Bernie Wang,
• Abstract要約: 実世界のデータに対して,その多様性,特異性,および性能のために選択された合成前駆体の硬化した混合物をトレーニングしたTFMであるMitraを紹介する。 Mitraは、TabPFNv2やTabICLのような最先端のTFMを、分類と回帰のベンチマークで一貫して上回っている。
• 参考スコア（独自算出の注目度）: 85.64873567417396
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Since the seminal work of TabPFN, research on tabular foundation models (TFMs) based on in-context learning (ICL) has challenged long-standing paradigms in machine learning. Without seeing any real-world data, models pretrained on purely synthetic datasets generalize remarkably well across diverse datasets, often using only a moderate number of in-context examples. This shifts the focus in tabular machine learning from model architecture design to the design of synthetic datasets, or, more precisely, to the prior distributions that generate them. Yet the guiding principles for prior design remain poorly understood. This work marks the first attempt to address the gap. We systematically investigate and identify key properties of synthetic priors that allow pretrained TFMs to generalize well. Based on these insights, we introduce Mitra, a TFM trained on a curated mixture of synthetic priors selected for their diversity, distinctiveness, and performance on real-world tabular data. Mitra consistently outperforms state-of-the-art TFMs, such as TabPFNv2 and TabICL, across both classification and regression benchmarks, with better sample efficiency.
• Abstract（参考訳）: TabPFNの初歩的な研究以来、文脈内学習(ICL)に基づく表層基礎モデル(TFM)の研究は、機械学習における長年のパラダイムに挑戦してきた。 現実世界のデータを見ることなく、純粋に合成されたデータセットで事前訓練されたモデルは、様々なデータセットで驚くほどよく一般化される。 これにより、表形式の機械学習が、モデルアーキテクチャ設計から合成データセットの設計へ、あるいはより正確には、それらを生成する以前の分布へとシフトする。 しかし、先行設計の指針はいまだに理解されていない。 この仕事は、このギャップに対処する最初の試みである。 我々は、事前訓練されたTFMをうまく一般化できる合成前駆体の鍵特性を体系的に研究し、同定する。 これらの知見に基づいて,実世界の表形式データに対して,その多様性,特徴性,および性能のために選択された合成前駆体のキュレートした混合に基づいて訓練されたTFMであるMitraを紹介する。 Mitraは、TabPFNv2やTabICLといった最先端のTFMを、分類と回帰のベンチマークで一貫して上回り、サンプル効率が向上している。

関連論文リスト

• Scaling Laws of Synthetic Data for Language Models [125.41600201811417]
  プレトレーニングコーパスを多種多様な高品質な合成データセットに変換するスケーラブルなフレームワークであるSynthLLMを紹介した。 提案手法は,グラフアルゴリズムを用いて複数の文書にまたがるハイレベルな概念を自動的に抽出し,再結合することで実現している。
  論文  参考訳（メタデータ） (2025-03-25T11:07:12Z)
• LLM-TabLogic: Preserving Inter-Column Logical Relationships in Synthetic Tabular Data via Prompt-Guided Latent Diffusion [49.898152180805454]
  合成データセットはドメイン固有の論理的一貫性を維持する必要がある。 既存の生成モデルは、しばしばこれらのカラム間の関係を見落としている。 本研究では,ドメイン知識を必要とせずに列間関係を効果的に維持する手法を提案する。
  論文  参考訳（メタデータ） (2025-03-04T00:47:52Z)
• Zero-shot Meta-learning for Tabular Prediction Tasks with Adversarially Pre-trained Transformer [2.1677183904102257]
  本稿では、実世界のデータセットを事前学習することなく、表形式の予測タスクでゼロショットメタ学習を行うことのできるAdversarially Pre-trained Transformer(APT)を提案する。 APTは、異なる合成データセットで意図的にモデルに挑戦する敵対的な合成データエージェントで事前訓練されている。 筆者らのフレームワークは,データセットの特徴をフィルタリングすることなく,小さな分類タスクにおける最先端のパフォーマンスと一致していることを示す。
  論文  参考訳（メタデータ） (2025-02-06T23:58:11Z)
• TabDPT: Scaling Tabular Foundation Models on Real Data [20.00390825519329]
  ICLに基づく検索と自己教師付き学習を組み合わせた基礎モデルの学習手法を提案する。 事前学習フェーズに実際のデータを組み込むことで、学習が大幅に速くなり、見当たらないデータへの一般化が向上することを示す。 得られたモデルであるTabDPTは回帰 (CTR23) と分類 (CC18) のベンチマークで最高の性能を達成する。
  論文  参考訳（メタデータ） (2024-10-23T18:00:00Z)
• CTSyn: A Foundational Model for Cross Tabular Data Generation [9.568990880984813]
  Cross-Table Synthesizer (CTSyn) は、表データ生成に適した拡散ベースの基礎モデルである。 CTSynは、実用性と多様性において既存のテーブルシンセサイザーを著しく上回っている。 また、実際のデータで達成可能なものを超えて、下流機械学習のパフォーマンスを独自に向上させる。
  論文  参考訳（メタデータ） (2024-06-07T04:04:21Z)
• Generating tabular datasets under differential privacy [0.0]
  ディープニューラルネットワークのトレーニングプロセスに差分プライバシー(DP)を導入する。 これにより、結果データの品質とプライバシの間にトレードオフが生じます。 我々は、注意機構を活用する新しいエンドツーエンドモデルを実装している。
  論文  参考訳（メタデータ） (2023-08-28T16:35:43Z)
• Generative Table Pre-training Empowers Models for Tabular Prediction [71.76829961276032]
  本稿では,テーブル事前学習を利用した最初の試みであるTapTapを提案する。 TapTapは、プライバシ保護、リソースの低さ、価値計算の欠如、不均衡な分類など、さまざまなアプリケーションをサポートするための高品質な合成テーブルを生成することができる。 LightGBM、Multilayer Perceptron (MLP)、Transformerなどのバックボーンモデルと簡単に組み合わせることができる。
  論文  参考訳（メタデータ） (2023-05-16T06:37:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。