論文の概要: Curriculum Matters: Data-Efficient Relational PFN Pretraining with Synthetic Data
- arxiv url: http://arxiv.org/abs/2607.29120v1
- Date: Fri, 31 Jul 2026 07:50:00 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-03 14:29:40.6479
- Title: Curriculum Matters: Data-Efficient Relational PFN Pretraining with Synthetic Data
- Title（参考訳）: カリキュラム上の問題: 合成データによるデータ効率の良い関係性PFN事前学習
- Abstract要約: 我々は、RDB-PFNに代えて、構造的に異なる合成発電機Pluelを代替するかどうか検討する。
カリキュラム設計と合成の多様性は, 特定の関係生成器や生合成スケールのみよりも, 関係PFNの事前学習に重要である可能性が示唆された。
- 参考スコア（独自算出の注目度）: 0.7211865874649033
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Relational Prior-Data Fitted Networks (PFNs) such as RDB-PFN approximate Bayesian inference over multi-table relational databases by pretraining on millions of synthetic tasks. We investigate three intertwined questions about this paradigm. First, can a structurally different synthetic generator PluRel substitute for RDB-PFN's prior? Second, how much does the order in which synthetic data is presented to the PFN affect downstream performance? Third, how much relational reasoning can a PFN acquire from single-table synthetic pretraining alone, before any relational data is introduced? Using PluRel as the sole synthetic data source across all experiments, we find: (i) a progressive single-table curriculum that gradually widens schema complexity from 7 to 17 columns reaches 0.703 average ROC-AUC on the 23-task tabular benchmark using only approximately 13,300 synthetic tables (approximately 45x fewer single-table datasets than RDB-PFN's reported warm-up recipe), while the same data trained all-at-once collapses to 0.541 ROC-AUC; (ii) a relational curriculum trained from scratch on only approximately 5,500 PluRel databases reaches 0.638 average ROC-AUC on the 19-task RelBench/4DBInfer benchmark, recovering 88% of RDB-PFN's reported performance with approximately 220x less relational synthetic data; and (iii) the single-table curriculum model, evaluated directly on the relational benchmark without any relational adaptation, achieves 0.631, nearly matching the dedicated relational pipeline. Together, these findings suggest that curriculum design and synthetic data diversity may matter more for relational PFN pretraining than the specific relational generator or raw synthetic scale alone.
- Abstract（参考訳）: RDB-PFNのようなPFN(Relational Prior-Data Fitted Networks)は、数百万の合成タスクを事前訓練することで、マルチテーブルリレーショナルデータベースに対するベイズ推定を近似する。
このパラダイムに関する3つの間にある質問について検討する。
まず、構造的に異なる合成生成体PluRelをRDB-PFNに代用できるか?
第2に、合成データがPFNに提示される順序は、下流のパフォーマンスにどの程度影響しますか?
第3に、PFNは、リレーショナルデータを導入する前に、シングルテーブルの合成事前学習からどの程度のリレーショナル推論を得られるか?
すべての実験で、PluRelを唯一の合成データソースとしています。
(i)RDB-PFNの報告したウォームアップレシピの約45倍の単テーブルデータセットを用いて,23タスクの表式ベンチマークにおいて,スキーマの複雑性を7列から17列に徐々に拡大するプログレッシブ・シングルテーブルカリキュラムが平均0.703LOC-AUCに達した。
(i)約5,500 PluRelデータベースをスクラッチからトレーニングしたリレーショナルカリキュラムは、19-task RelBench/4DBInferベンチマークで平均約0.638 ROC-AUCに達し、RDB-PFNの報告性能の88%を約220倍のリレーショナル合成データで回復した。
(3)関係性適応を伴わない関係性ベンチマークで直接評価した単一テーブルカリキュラムモデルは0.631であり、専用リレーショナルパイプラインとほぼ一致している。
これらの結果から, カリキュラム設計と合成データの多様性は, 特定の関係生成物や生合成スケール単独よりも, 関係PFN事前学習に重要である可能性が示唆された。
関連論文リスト
- PluRel-to-RDB-PFN: Schema-Guided Synthetic Relational Pretraining [0.7211865874649033]
ファンデーションモデル(RFM)は、事前訓練のために大規模な合成データベースを必要とする。
汎用合成関係データベースであるPluRelが,RDB-PFNの外部データソースとして機能するかどうかを検討した。
我々はPluRel生成リレーショナルデータベースをRDB-PFNトレーニングフォーマットにマッピングする変換パイプラインを構築した。
論文 参考訳（メタデータ） (2026-07-31T07:59:18Z) - Models Can Model, But Can't Bind: Structured Grounding in Text-to-Optimization [54.749573452394664]
定式化自体が単純である場合でも、インスタンスデータが大きくなるにつれて精度が低下する。
我々は, 数値データを構造化ファイルに外部化する単純な推論時アプローチであるBINDを用いて, モデルがプロンプトプロンプトからではなく, データをバインドする。
我々は,モデルのみをバインディングのみに微調整することで仮説を検証し,3つの構造的に異なる最適化カテゴリにおいて,エンドツーエンドのSFTおよびRLよりも優れていることを示す。
論文 参考訳（メタデータ） (2026-05-20T21:25:41Z) - Concordia: Self-Improving Synthetic Tables for Federated LLMs [80.03837595689608]
フェデレートラーニングは、生データを共有することなく、大きな言語モデル(LLM)をトレーニングすることを可能にする。
合成データ生成とフェデレートされた検証ユーティリティを連携させるフレームワークであるConcordiaを提案する。
論文 参考訳（メタデータ） (2026-05-11T01:17:58Z) - Prior-Aligned Data Cleaning for Tabular Foundation Models [0.261072980439312]
Tabular Foundation Models (TFMs) は、合成データ生成プロセスによるメタラーニングによって、小さなデータセットに対して最先端のゼロショット精度を達成する。
コンテキスト内学習機構は、およそクリーンな入力、欠落値、外れ値、実世界のデータの重複を仮定し、精度と信頼性の校正の両方を同時に劣化させる事前ミスマッチを生成する。
論文 参考訳（メタデータ） (2026-04-28T02:56:17Z) - Rel-MOSS: Towards Imbalanced Relational Deep Learning on Relational Databases [66.24230877709756]
リレーショナルディープラーニング(RDL)は、リレーショナルデータベース(RDB)を異種エンティティグラフとして構成するために提案される。
既存のRDL手法は、RDBにおける関係データの不均衡問題を無視し、少数民族を過小評価するリスクを負う。
本研究では,RDBエンティティ分類におけるクラス不均衡問題を初めて検討し,関係中心型マイノリティー合成オーバーサンプリングGNNを設計する。
論文 参考訳（メタデータ） (2026-03-09T03:18:26Z) - Relational In-Context Learning via Synthetic Pre-training with Structural Prior [60.404256960057545]
RDB-PFNは、$textbfsynthetic$で純粋にトレーニングされた最初のリレーショナルファンデーションモデルである。
構造因果モデル(Structure Causal Models, SCM)から生成された合成データが単一のテーブル上の推論を可能にするPFN(Presideed-Data Fitted Networks)にインスパイアされた。
RDB-PFNは、19の現実世界の予測タスクにおいて、強い数ショットのパフォーマンスを達成する。
論文 参考訳（メタデータ） (2026-03-04T07:30:54Z) - PluRel: Synthetic Data unlocks Scaling Laws for Relational Foundation Models [51.42043158297229]
マルチタブラルリレーショナルデータベースをスクラッチから合成するフレームワークであるPluelを紹介する。
ステップバイステップの方法では,(1)有向グラフのスキーマ,(2)二部グラフのテーブル間一次外部キー接続,(3)条件因果機構によるテーブル内の特徴分布をモデル化する。
論文 参考訳（メタデータ） (2026-02-03T21:35:18Z) - Relational Transformer: Toward Zero-Shot Foundation Models for Relational Data [38.656987194921854]
Transformer (RT) アーキテクチャは、様々なリレーショナルデータベース上で事前トレーニングすることができる。
RTは強いゼロショットを破り、バイナリ分類タスクにおいて、完全に教師されたAUROCの93%を平均化する。
論文 参考訳（メタデータ） (2025-10-07T18:51:51Z) - RelDiff: Relational Data Generative Modeling with Graph-Based Diffusion Models [83.6013616017646]
RelDiffは、外部キーグラフ構造を明示的にモデル化することによって完全な関係データベースを合成する新しい拡散生成モデルである。
RelDiffは、現実的で一貫性のある合成リレーショナルデータベースの作成において、従来手法よりも一貫して優れている。
論文 参考訳（メタデータ） (2025-05-31T21:01:02Z) - LLM-TabLogic: Preserving Inter-Column Logical Relationships in Synthetic Tabular Data via Prompt-Guided Latent Diffusion [49.898152180805454]
合成データセットはドメイン固有の論理的一貫性を維持する必要がある。
既存の生成モデルは、しばしばこれらのカラム間の関係を見落としている。
本研究では,ドメイン知識を必要とせずに列間関係を効果的に維持する手法を提案する。
論文 参考訳（メタデータ） (2025-03-04T00:47:52Z) - Towards Privacy-Preserving Relational Data Synthesis via Probabilistic Relational Models [3.877001015064152]
確率的リレーショナルモデルは、一階述語論理と確率的モデルを組み合わせるための確立された形式主義を提供する。
人工知能の分野は、さまざまな機械学習タスクのために、ますます大量のリレーショナルトレーニングデータを必要とする。
プライバシの懸念やデータ保護の規制、高コストなどにより、現実のデータの収集は難しいことが多い。
論文 参考訳（メタデータ） (2024-09-06T11:24:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。