論文の概要: Understanding the Surprising Generalization Properties of Tabular Foundation Models
- arxiv url: http://arxiv.org/abs/2608.17957v1
- Date: Tue, 18 Aug 2026 16:11:08 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-19 21:40:53.398598
- Title: Understanding the Surprising Generalization Properties of Tabular Foundation Models
- Title（参考訳）: タブラル基礎モデルの予想される一般化特性の理解
- Abstract要約: 驚くほど強い転送は、単一の実際のテーブル上での自己粒度の事前学習から生じる可能性がある。
同じタスク中心の視点が、大規模にコーパスを設計するのに役立ちます。
- 参考スコア（独自算出の注目度）: 39.6543292456356
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Tabular Foundation Models (TFMs) increasingly rely on in-context learning, where a model receives labelled examples at inference time and predicts labels for new inputs without updating its weights. Existing TFMs are typically trained on either massive synthetic corpora or very large collections of real datasets. In contrast, we show that surprisingly strong transfer can emerge from self-supervised pre-training on just a single real table. In this setting, we also find that tables tend to be either broadly useful or broadly poor regardless of downstream prediction task, and that the strongest predictor of usefulness is the number of features rather than the number of instances. This leads to a task-centric interpretation of tabular pre-training: the number and the quality of tasks are essential for the pre-training of TFMs. We show that the same task-centric perspective can help corpus design at scale: fine-grained column-level pre-processing consistently improves downstream performance, while no improvements are observed when we filter or deduplicate at the dataset level. Finally, we offer a new perspective for how TFMs generalize: we believe that tabular in-context generalization is largely retrieval-based, and good models are those that learn to identify relevant examples in the provided context and aggregate them well. The mechanics of TFMs have been relatively understudied; our task-centric, retrieval-based perspective offers a new framework to guide future model and corpus design.
- Abstract（参考訳）: Tabular Foundation Models (TFMs) は、モデルが推論時にラベル付きサンプルを受け取り、重みを更新することなく新しい入力のラベルを予測する、コンテキスト内学習に依存している。
既存のTFMは、通常、大量の合成コーパスまたは非常に大規模な実際のデータセットのコレクションで訓練される。
対照的に、驚くほど強い転送は、単一の実際のテーブル上での自己教師付き事前学習から生じる可能性がある。
この設定では、ダウンストリーム予測タスクにかかわらず、テーブルは広範囲に有用か、あるいは広範囲に劣る傾向にあり、有用性の最も強い予測因子は、インスタンスの数ではなく、機能の数である。
タスクの数と品質は、TFMの事前トレーニングに不可欠である。
細粒度カラムレベルのプレプロセスは、ダウンストリームのパフォーマンスを継続的に改善しますが、データセットレベルでフィルタや重複処理を行うと、改善は見られません。
最後に、TFMがいかに一般化するかについて、新しい視点を提供する: 表形式のコンテキスト内一般化は、主に検索ベースであり、良いモデルは、提供されたコンテキストにおける関連する事例を特定し、それらをうまく集約する学習者である、と我々は信じている。
我々のタスク中心の検索に基づく視点は、将来のモデルとコーパス設計をガイドする新しいフレームワークを提供する。
関連論文リスト
- Beyond IID: How General Are Tabular Foundation Models, Really? [76.03669797389378]
研究コミュニティは、多様なデータセットやタスクに関する基礎モデルをますます評価している。
標準ベンチマークは主に、表形式の基礎モデルがすでに優れているタスクのために定義されている。
BeyondArenaは、グラフデータのための最初の統一された総合的なベンチマークである。
論文 参考訳（メタデータ） (2026-06-29T14:55:52Z) - MulTaBench: Benchmarking Multimodal Tabular Learning with Text and Image [52.47434184153733]
MulTaBenchは40のデータセットのベンチマークで、画像-タブラルタスクとテキスト-タブラルタスクを等しく分割する。
テキストと画像のモダリティにまたがって、ターゲット認識表現のチューニングによる利得が一般化されることを示す。
論文 参考訳（メタデータ） (2026-05-11T14:12:05Z) - Generalization Can Emerge in Tabular Foundation Models From a Single Table [38.07740881271672]
簡単な自己教師型事前学習は、単体の実テーブル上で、異種ベンチマーク間で驚くほど強力な転送を実現できることを示す。
次に、ほとんどのTFMが共有する事前学習手順に接続し、データセットから構築できるEmphtaskの数と品質が、下流のパフォーマンスの鍵であることを示します。
論文 参考訳（メタデータ） (2025-11-12T19:12:40Z) - Mitra: Mixed Synthetic Priors for Enhancing Tabular Foundation Models [85.64873567417396]
実世界のデータに対して,その多様性,特異性,および性能のために選択された合成前駆体の硬化した混合物をトレーニングしたTFMであるMitraを紹介する。
Mitraは、TabPFNv2やTabICLのような最先端のTFMを、分類と回帰のベンチマークで一貫して上回っている。
論文 参考訳（メタデータ） (2025-10-24T07:15:06Z) - Specialization after Generalization: Towards Understanding Test-Time Training in Foundation Models [64.02612380298228]
最近の研究は、テストタイムトレーニング(TTT)として知られる特定のタスクに対して、テストタイムでモデルをトレーニングし続けるというアイデアを探求している。
本稿では,TTTがグローバルトレーニングよりもはるかに小さな分布内テスト誤差を達成できるモデルを提案する。
我々は、ImageNet上でスパースオートエンコーダをトレーニングすることで、モデルの主要な仮定を実証的に検証する。
論文 参考訳（メタデータ） (2025-09-29T09:24:52Z) - Estimating Time Series Foundation Model Transferability via In-Context Learning [74.65355820906355]
時系列基礎モデル(TSFM)は、大規模な事前訓練を通じて強力なゼロショット予測を提供する。
微調整は、公開データに制限のあるドメインのパフォーマンス向上に依然として不可欠である。
モデル選択をコンテキスト内学習問題として再キャストする転送可能性推定フレームワークであるTimeTicを紹介する。
論文 参考訳（メタデータ） (2025-09-28T07:07:13Z) - Table Foundation Models: on knowledge pre-training for tabular learning [47.485516405457595]
TARTEは、文字列を使ってテーブルを知識に富んだベクトル表現に変換する基礎モデルである。
大規模なリレーショナルデータに基づいて事前トレーニングされたTARTEは、後続の学習を容易にする表現を、ほとんど追加コストなしで提供する。
論文 参考訳（メタデータ） (2025-05-20T14:27:51Z) - Make Still Further Progress: Chain of Thoughts for Tabular Data Leaderboard [27.224577475861214]
機械学習の基本的なデータフォーマットであるタブラルデータは、競争や現実世界のアプリケーションで主に利用されている。
本研究では,大規模言語モデルを活用したテキスト内アンサンブルフレームワークを提案する。
提案手法は,各テストインスタンスの周囲のコンテキストを,その近傍と外部モデルのプールからの予測を用いて構築する。
論文 参考訳（メタデータ） (2025-05-19T17:52:58Z) - Representation Learning for Tabular Data: A Comprehensive Survey [23.606506938919605]
行と列として構造化されたタブラルデータは、機械学習の分類と回帰アプリケーションにおいて最も一般的なデータタイプの一つである。
ディープニューラルネットワーク(DNN)は、最近、表現学習の能力を通じて有望な結果を実証した。
既存の手法を一般化能力に応じて3つの主要なカテゴリに分類する。
論文 参考訳（メタデータ） (2025-04-17T17:58:23Z) - Rethinking Table Instruction Tuning [29.139828718538418]
既存のテーブルLLMの能力を評価し、ドメイン外のテーブル理解と汎用能力の両方において顕著な低下を見出した。
LLaMA 3.1 8BインストラクタをベースとしたTAMAを導入し,テーブルタスクにおけるGPT-3.5やGPT-4に匹敵する性能を実現する。
論文 参考訳（メタデータ） (2025-01-24T18:06:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。