論文の概要: Relational In-Context Learning via Synthetic Pre-training with Structural Prior

• arxiv url: http://arxiv.org/abs/2603.03805v1
• Date: Wed, 04 Mar 2026 07:30:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-05 21:29:15.220459
• Title: Relational In-Context Learning via Synthetic Pre-training with Structural Prior
• Title（参考訳）: 構造的事前学習による関係的インテクスト学習
• Authors: Yanbo Wang, Jiaxuan You, Chuan Shi, Muhan Zhang,
• Abstract要約: RDB-PFNは、$textbfsynthetic$で純粋にトレーニングされた最初のリレーショナルファンデーションモデルである。 構造因果モデル(Structure Causal Models, SCM)から生成された合成データが単一のテーブル上の推論を可能にするPFN(Presideed-Data Fitted Networks)にインスパイアされた。 RDB-PFNは、19の現実世界の予測タスクにおいて、強い数ショットのパフォーマンスを達成する。
• 参考スコア（独自算出の注目度）: 60.404256960057545
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Relational Databases (RDBs) are the backbone of modern business, yet they lack foundation models comparable to those in text or vision. A key obstacle is that high-quality RDBs are private, scarce and structurally heterogeneous, making internet-scale pre-training infeasible. To overcome this data scarcity, We introduce $\textbf{RDB-PFN}$, the first relational foundation model trained purely via $\textbf{synthetic data}$. Inspired by Prior-Data Fitted Networks (PFNs) where synthetic data generated from Structural Causal Models (SCMs) enables reasoning on single tables, we design a $\textbf{Relational Prior Generator}$ to create an infinite stream of diverse RDBs from scratch. Pre-training on $\textbf{over 2 million}$ synthetic single-table and relational tasks, RDB-PFN learns to adapt to any new database instantly via genuine $\textbf{in-context learning}$. Experiments verify RDB-PFN achieves strong few-shot performance on 19 real-world relational prediction tasks, outperforming graph-based and single-table foundation-model baselines (given the same DFS-linearized inputs), while using a lightweight architecture and fast inference. The code is available at https://github.com/MuLabPKU/RDBPFN
• Abstract（参考訳）: リレーショナルデータベース(RDB)は現代のビジネスのバックボーンであるが、テキストやビジョンに匹敵する基盤モデルがない。 鍵となる障害は、高品質なRDBがプライベートで、希少で、構造的に不均一であり、インターネット規模の事前トレーニングが不可能であることだ。 このデータ不足を克服するために、$\textbf{RDB-PFN}$を紹介します。 構造因果モデル (Structure Causal Models, SCM) から生成された合成データが単一テーブル上の推論を可能にするPFN(Presideed-Data Fitted Networks) に着想を得て, 多様なRDBの無限ストリームをゼロから作成するために, $\textbf{Relational Prior Generator}$を設計する。 RDB-PFNは、$\textbf{over 200 million}$ 合成シングルテーブルおよびリレーショナルタスクで事前トレーニングを行い、本物の$\textbf{in-context learning}$を介して、任意の新しいデータベースに即時に適応することを学ぶ。 RDB-PFNは、軽量アーキテクチャと高速推論を使用しながら、グラフベースと単一テーブルの基盤モデルベースライン(同じDFS線形化入力を持つ)を上回る、19の現実的リレーショナル予測タスクにおいて、強力な数ショット性能を達成する。 コードはhttps://github.com/MuLabPKU/RDBPFNで公開されている。

関連論文リスト

• Relatron: Automating Relational Machine Learning over Relational Databases [50.94254514286021]
  本稿では, RDL と DFS を共有設計空間に統合し, 多様な RDB タスクを対象としたアーキテクチャ中心の検索を行う。 RDLはDFSを一貫して上回り、高いタスク依存性を持つ。(2)タスク全体において単一のアーキテクチャが支配的であり、タスク認識モデル選択の必要性を強調し、精度は選択アーキテクチャの信頼性の低いガイドである。
  論文  参考訳（メタデータ） (2026-02-26T02:45:22Z)
• No Need to Train Your RDB Foundation Model [21.996337463952255]
  我々は、既存のシングルテーブルICL基盤モデルとシームレスにペアリングできるRDBエンコーダのファミリーを提示する。 実用的な観点から、エンコーダステージを実装するためにスケーラブルなSQLプリミティブを開発し、簡単に使えるオープンソースのRDBファウンデーションモデルを作成します。
  論文  参考訳（メタデータ） (2026-02-14T09:38:57Z)
• PluRel: Synthetic Data unlocks Scaling Laws for Relational Foundation Models [51.42043158297229]
  マルチタブラルリレーショナルデータベースをスクラッチから合成するフレームワークであるPluelを紹介する。 ステップバイステップの方法では,(1)有向グラフのスキーマ,(2)二部グラフのテーブル間一次外部キー接続,(3)条件因果機構によるテーブル内の特徴分布をモデル化する。
  論文  参考訳（メタデータ） (2026-02-03T21:35:18Z)
• Generalization Can Emerge in Tabular Foundation Models From a Single Table [38.07740881271672]
  簡単な自己教師型事前学習は、単体の実テーブル上で、異種ベンチマーク間で驚くほど強力な転送を実現できることを示す。 次に、ほとんどのTFMが共有する事前学習手順に接続し、データセットから構築できるEmphtaskの数と品質が、下流のパフォーマンスの鍵であることを示します。
  論文  参考訳（メタデータ） (2025-11-12T19:12:40Z)
• RelDiff: Relational Data Generative Modeling with Graph-Based Diffusion Models [83.6013616017646]
  RelDiffは、外部キーグラフ構造を明示的にモデル化することによって完全な関係データベースを合成する新しい拡散生成モデルである。 RelDiffは、現実的で一貫性のある合成リレーショナルデータベースの作成において、従来手法よりも一貫して優れている。
  論文  参考訳（メタデータ） (2025-05-31T21:01:02Z)
• Joint Relational Database Generation via Graph-Conditional Diffusion Models [44.06390394789874]
  プライバシのデータリリースや実際のデータセットといったアプリケーションでは、データベース(RDB)の生成モデルの構築が重要です。 従来はシングルテーブル生成にフォーカスするか、あるいはテーブルの順序を固定しテーブルを逐次生成する自動回帰因子化に依存していた。 我々は、RDB内のすべてのテーブルを秩序を課すことなく、共同でモデリングするという、根本的に異なるアプローチを提案する。
  論文  参考訳（メタデータ） (2025-05-22T11:12:56Z)
• RelGNN: Composite Message Passing for Relational Deep Learning [56.48834369525997]
  RelGNNはリレーショナルデータベースから構築されたグラフのユニークな構造特性を活用するために特別に設計された新しいGNNフレームワークである。 RelGNNは、Relbench(Fey et al., 2024)から30の多様な実世界のタスクで評価され、ほとんどのタスクで最先端のパフォーマンスを実現し、最大25%の改善を実現している。
  論文  参考訳（メタデータ） (2025-02-10T18:58:40Z)
• RelBench: A Benchmark for Deep Learning on Relational Databases [78.52438155603781]
  本稿では,グラフニューラルネットワークを用いたデータベース上でタスクを解くための公開ベンチマークであるRelBenchを紹介する。 私たちはRelBenchを使って、ディープラーニングインフラストラクチャに関する初の総合的な研究を行っています。 RDLは、人間の作業量を1桁以上削減しながら、より良く学習する。
  論文  参考訳（メタデータ） (2024-07-29T14:46:13Z)
• GFS: Graph-based Feature Synthesis for Prediction over Relational Databases [39.975491511390985]
  グラフベース特徴合成(GFS)と呼ばれる新しいフレームワークを提案する。 GFSは関係データベースを異種グラフデータベースとして定式化する。 4つの実世界のマルチテーブルリレーショナルデータベースに対する実験では、GFSはリレーショナルデータベース用に設計された従来の手法よりも優れていた。
  論文  参考訳（メタデータ） (2023-12-04T16:54:40Z)
• SPARE: A Single-Pass Neural Model for Relational Databases [36.55513135391452]
  我々は、GNNと同様の精度を提供しながら、RDB上で効率的にトレーニングできる新しいニューラルネットワーククラスであるSPAREを提案する。 GNNとは異なる効率的なトレーニングを可能にするため、SPAREでは、RDB内のデータが予測正則構造を持つという事実を活用している。
  論文  参考訳（メタデータ） (2023-10-20T15:23:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。