論文の概要: From Synthetic Priors to Model Behavior: Structural Coverage in Tabular Foundation Models

• arxiv url: http://arxiv.org/abs/2609.06912v1
• Date: Mon, 07 Sep 2026 01:27:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-10 19:44:08.335782
• Title: From Synthetic Priors to Model Behavior: Structural Coverage in Tabular Foundation Models
• Title（参考訳）: 合成先行からモデル行動へ--タブラル基礎モデルにおける構造被覆-
• Abstract要約: 我々は,各合成先行タスクが,構造的カバレッジと正規化密度を用いて,どの程度広範囲かつ反復的にベンチマークタスクに到達するかを測定する。 人工前訓練前と有意な差がみられた。 より強い合成とベンチマークのサポートは、一般的により優れた相対モデル性能と関連している。
• 参考スコア（独自算出の注目度）: 15.974042867454365
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Tabular foundation models (TFMs) are commonly pretrained on large collections of procedurally generated synthetic tasks, yet it remains unclear how well these synthetic pretraining priors support the downstream tasks on which the models are evaluated. We study this question from a distribution-level attribution perspective. We recover or reconstruct the synthetic data generators of four TFMs and compare their generated tasks with datasets from two widely used tabular benchmarks. Each dataset is represented by a common set of structural descriptors capturing schema, feature distributions, dependence structure, response properties, and feature--response relationships. In this space, we measure how broadly and repeatedly each synthetic prior reaches benchmark tasks using structural coverage and normalized density, and examine whether stronger local support is associated with better predictive performance. We find substantial differences across synthetic pretraining priors: some generators provide consistently broader and denser support for benchmark tasks than others. Moreover, stronger synthetic-to-benchmark support is generally associated with better relative model performance. These results suggest that structural coverage provides a useful diagnostic for characterizing synthetic pretraining priors and relating their data-generating assumptions to downstream model behavior.
• Abstract（参考訳）: タブラル基礎モデル(TFM)は、一般に手続き的に生成された多数の合成タスクに事前訓練されるが、これらの合成事前訓練が、モデルを評価する下流タスクをどのようにサポートするかは定かではない。 本稿では,分布レベルの属性の観点から考察する。 我々は4つのTFMの合成データ生成装置を復元または再構成し、その生成したタスクを2つの広く使用されている表型ベンチマークのデータセットと比較する。 各データセットは、スキーマ、特徴分布、依存構造、応答特性、機能-応答関係をキャプチャする共通の構造記述子によって表現される。 この領域では,各合成先行タスクが,構造的カバレッジと正規化密度を用いて,どの程度広範囲かつ反復的にベンチマークタスクに到達しているかを測定し,より強力な局所サポートが予測性能の向上に結びついているかどうかを検討する。 いくつかのジェネレータは、他のジェネレータよりもずっと広く、より密にベンチマークタスクをサポートする。 さらに、より強力な合成-ベンチマークサポートは、一般的に、より優れた相対モデル性能と結びついている。 これらの結果から, 構造的カバレッジは, 合成事前学習を特徴付ける上で有用な診断法であり, それらのデータ生成仮定を下流モデル行動に関連付けることが示唆された。

関連論文リスト

• Towards Evaluating Data Priors for Tabular Foundation Models [74.75794086564035]
  我々は、実際のデータセットから構築された公開事前および事前の統一インターフェースを実装している。 我々は、事前からトレーニングタスクを生成し、同じモデルアーキテクチャを固定されたトレーニングプロトコルでトレーニングし、共有下流分類タスクで得られたモデルを評価する。 以上の結果から,より強い絶対性能を達成できるものや,データセット間の相対的ランキングの一貫性が向上するものもある。
  論文  参考訳（メタデータ） (2026-06-28T07:12:45Z)
• Tabular Foundation Model for Generative Modelling [34.3599321018728]
  生成モデリングは、教師付き予測対象のみを最適化するのではなく、与えられたデータモダリティに対して堅牢で全体論的表現学習を必要とする。 既存の表形式のファンデーションジェネレータは、合成データ品質において、強力なデータセット固有のジェネレータと一貫して一致していない。 事前訓練されたtextbfTabular textbffoundational textbfRepresentation for textbfGEneration 上に構築した TabFORGE を紹介する。
  論文  参考訳（メタデータ） (2026-05-10T08:52:28Z)
• Foundation Priors [0.0]
  合成データは、モデルの学習パターンとユーザの主観的事前、期待、バイアスの両方を反映する。 本稿では, 合成データと関連する基礎が, 標準統計・計量学にどのように組み入れられるかを示す。
  論文  参考訳（メタデータ） (2025-11-30T22:09:37Z)
• Mitra: Mixed Synthetic Priors for Enhancing Tabular Foundation Models [85.64873567417396]
  実世界のデータに対して,その多様性,特異性,および性能のために選択された合成前駆体の硬化した混合物をトレーニングしたTFMであるMitraを紹介する。 Mitraは、TabPFNv2やTabICLのような最先端のTFMを、分類と回帰のベンチマークで一貫して上回っている。
  論文  参考訳（メタデータ） (2025-10-24T07:15:06Z)
• RelDiff: Relational Data Generative Modeling with Graph-Based Diffusion Models [83.6013616017646]
  RelDiffは、外部キーグラフ構造を明示的にモデル化することによって完全な関係データベースを合成する新しい拡散生成モデルである。 RelDiffは、現実的で一貫性のある合成リレーショナルデータベースの作成において、従来手法よりも一貫して優れている。
  論文  参考訳（メタデータ） (2025-05-31T21:01:02Z)
• Scaling Laws of Synthetic Data for Language Models [125.41600201811417]
  プレトレーニングコーパスを多種多様な高品質な合成データセットに変換するスケーラブルなフレームワークであるSynthLLMを紹介した。 提案手法は,グラフアルゴリズムを用いて複数の文書にまたがるハイレベルな概念を自動的に抽出し,再結合することで実現している。
  論文  参考訳（メタデータ） (2025-03-25T11:07:12Z)
• Approximate learning of parsimonious Bayesian context trees [0.0]
  提案するフレームワークは、合成および実世界のデータ例に基づいてテストされる。 これは、実際のタンパク質配列やハニーポットコンピュータターミナルセッションに適合すると、既存のシーケンスモデルより優れている。
  論文  参考訳（メタデータ） (2024-07-27T11:50:40Z)
• Causality for Tabular Data Synthesis: A High-Order Structure Causal Benchmark Framework [18.11940247961923]
  本稿では,自然の先行知識として高次構造因果情報を導入する。 合成データの質を評価するために,複数のベンチマークタスク,高次メトリクス,因果推論タスクを下流タスクとして提案する。
  論文  参考訳（メタデータ） (2024-06-12T15:12:49Z)
• SynBench: Task-Agnostic Benchmarking of Pretrained Representations using Synthetic Data [78.21197488065177]
  近年、下流のタスクで大規模なデータで事前訓練された微調整大型モデルが成功し、ディープラーニングにおける重要なパラダイムシフトにつながった。 本稿では,合成データを用いて事前学習した表現の質を測定するためのタスク非依存フレームワークであるtextitSynBenchを提案する。
  論文  参考訳（メタデータ） (2022-10-06T15:25:00Z)
• HyperImpute: Generalized Iterative Imputation with Automatic Model Selection [77.86861638371926]
  カラムワイズモデルを適応的かつ自動的に構成するための一般化反復計算フレームワークを提案する。 既製の学習者,シミュレータ,インターフェースを備えた具体的な実装を提供する。
  論文  参考訳（メタデータ） (2022-06-15T19:10:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。