論文の概要: Prior-Aligned Data Cleaning for Tabular Foundation Models

• arxiv url: http://arxiv.org/abs/2604.25154v1
• Date: Tue, 28 Apr 2026 02:56:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-29 16:49:17.683263
• Title: Prior-Aligned Data Cleaning for Tabular Foundation Models
• Title（参考訳）: タブラル基礎モデルの事前調整データクリーニング
• Authors: Laure Berti-Equille,
• Abstract要約: Tabular Foundation Models (TFMs) は、合成データ生成プロセスによるメタラーニングによって、小さなデータセットに対して最先端のゼロショット精度を達成する。 コンテキスト内学習機構は、およそクリーンな入力、欠落値、外れ値、実世界のデータの重複を仮定し、精度と信頼性の校正の両方を同時に劣化させる事前ミスマッチを生成する。
• 参考スコア（独自算出の注目度）: 0.261072980439312
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Tabular Foundation Models (TFMs) achieve state-of-the-art zero-shot accuracy on small tabular datasets by meta-learning over synthetic data-generating processes -- making them highly attractive for practitioners who cannot afford large annotated corpora. However, their in-context learning mechanism assumes approximately clean inputs: missing values, outliers, and duplicates in the real-world data create a prior mismatch that degrades both accuracy and confidence calibration simultaneously. Correcting this mismatch requires sequential decisions over cleaning operators whose interactions no static preprocessing rule can anticipate -a natural fit for reinforcement learning~(RL). We introduce L2C2, the first deep RL framework framing tabular data cleaning as prior alignment: a learned policy sequences operators to minimize the distributional gap between dirty input and the TFM's synthetic prior. Six experiments on ten OpenML benchmark datasets establish: 1) three of seven reward designs collapse to degenerate trivial cleaning strategies -- principled reward engineering is scientifically non-trivial; 2) the novel TFMAwareReward reward we propose selects structurally distinct pipelines on 4/10 datasets and achieves higher TabPFN accuracy on those diverging cases (mean 0.851 vs. 0.843; Wilcoxon p=0.063, n=4) while never underperforming; 3) parameterized cleaning actions improve best-found pipeline reward on 9/10 datasets (Wilcoxon p=0.004); and 4) a policy pre-trained on one single source dataset exceeds scratch training at the 2,000-step fine-tuning checkpoint on all three held-out datasets (up to +28.8% after full fine-tuning) demonstrating cross-dataset transfer of prior-alignment knowledge. These findings establish that prior alignment is a principled data preparation strategy for TFM deployment on real-world tabular data.
• Abstract（参考訳）: Tabular Foundation Models (TFMs)は、合成データ生成プロセスによるメタラーニングによって、小さな表形式のデータセットに対して最先端のゼロショット精度を達成する。 しかし、それらのコンテキスト内学習機構は、およそクリーンな入力を前提としており、実際のデータに欠落した値、外れ値、重複は、精度と信頼性のキャリブレーションの両方を同時に劣化させる事前ミスマッチを生成する。 このミスマッチの修正には、静的前処理ルールのないインタラクションを予測できないクリーニング演算子に対するシーケンシャルな決定が必要となる。 学習ポリシシーケンスは、汚い入力とTFMの合成前の分散ギャップを最小限に抑えるために、演算子を演算子に配置する。 10のOpenMLベンチマークデータセットに関する6つの実験。 1) 7つの報酬設計のうち3つは、自明なクリーニング戦略を退廃するために崩壊する -- 原則付き報酬工学は科学的に非自明である。 2)提案する新しいTFMAwareReward報酬は,4/10データセット上の構造的に異なるパイプラインを選択し,これらの分散ケース(平均0.851 vs. 0.843; Wilcoxon p=0.063, n=4)に対して高いTabPFN精度を実現する。 3)パラメータ化されたクリーニング行動は9/10データセット(Wilcoxon p=0.004)のパイプライン報酬を改善する。 4) 1つのソースデータセットに事前トレーニングされたポリシーは、3つの保持されたデータセット(フル微調整後の+28.8%まで)の2000ステップの微調整チェックポイントでのスクラッチトレーニングを超える。 これらの結果から, 先行アライメントは, 実世界の表型データ上でのTFM展開のための基本データ準備戦略であることが判明した。

関連論文リスト

• KumoRFM-2: Scaling Foundation Models for Relational Learning [48.88283881350858]
  KumoRFM-2は、リレーショナルデータのための事前訓練された基礎モデルの次のイテレーションである。 コンテキスト内学習と微調整をサポートし、幅広い予測タスクに適用できる。
  論文  参考訳（メタデータ） (2026-04-14T11:24:11Z)
• Evaluating SAP RPT-1 for Enterprise Business Process Prediction: In-Context Learning vs. Traditional Machine Learning on Structured SAP Data [0.0]
  本稿では,SAPのRetrieval Pretrained Transformer (RPT-1) の実践的観点からの独立性評価について述べる。 RPT-1は64.6MBのコンパクトなモデルで、3100万のテーブルにまたがる1.34TBの構造化データに事前訓練されている。 3つのSAPビジネスシナリオにおいて、調整した勾配決定木(XGBoost、LightGBM、CatBoost)に対してベンチマークを行った。
  論文  参考訳（メタデータ） (2026-02-22T15:29:52Z)
• Mitra: Mixed Synthetic Priors for Enhancing Tabular Foundation Models [85.64873567417396]
  実世界のデータに対して,その多様性,特異性,および性能のために選択された合成前駆体の硬化した混合物をトレーニングしたTFMであるMitraを紹介する。 Mitraは、TabPFNv2やTabICLのような最先端のTFMを、分類と回帰のベンチマークで一貫して上回っている。
  論文  参考訳（メタデータ） (2025-10-24T07:15:06Z)
• MobileLLM-R1: Exploring the Limits of Sub-Billion Language Model Reasoners with Open Training Recipes [60.57770396565211]
  強い推論能力は、はるかに少ないデータで実現可能であることを示す。 MobileLLM-R50MのAIMEスコアは15.5であり、OLMo-2-1.48Bは0.6、SmolLM-2-1.7Bは0.3である。
  論文  参考訳（メタデータ） (2025-09-29T15:43:59Z)
• Drift-Resilient TabPFN: In-Context Learning Temporal Distribution Shifts on Tabular Data [39.40116554523575]
  In-Context Learning with a Prior-Data Fitted Network に基づく新しいアプローチである Drift-Resilient TabPFN を提案する。 先行した合成データセットのベイズ推定を近似することを学ぶ。 精度は0.688から0.744に向上し、OC AUCは0.786から0.832に向上し、キャリブレーションも強化された。
  論文  参考訳（メタデータ） (2024-11-15T23:49:23Z)
• FedCSD: A Federated Learning Based Approach for Code-Smell Detection [7.026278088747708]
  本稿では,MLモデルの協調学習を可能にするフェデレートラーニングコードスメル検出手法を提案する。 3つの実験では、異なるコードの臭いのシナリオを検出し、調査することを目的とした、手動で検証された3つのデータセットを活用している。 98.34%の精度は、100回のトレーニングラウンドで10社でトレーニングされたグローバルモデルによって達成された。
  論文  参考訳（メタデータ） (2023-05-31T09:51:45Z)
• DataComp: In search of the next generation of multimodal datasets [179.79323076587255]
  DataCompは、Common Crawlの128億の画像テキストペアの候補プールを中心にしたデータセット実験用のテストベッドである。 我々のベンチマークは、複数の計算スケールから成っている。 特に、最良のベースラインであるDataComp-1Bは、ImageNetでCLIP ViT-L/14をスクラッチから79.2%のゼロショット精度でトレーニングすることが可能です。
  論文  参考訳（メタデータ） (2023-04-27T11:37:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。