論文の概要: Towards Foundation Models for Relational Databases with Language Models and Graph Neural Networks

• arxiv url: http://arxiv.org/abs/2605.16085v1
• Date: Fri, 15 May 2026 15:46:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-18 21:22:26.346916
• Title: Towards Foundation Models for Relational Databases with Language Models and Graph Neural Networks
• Title（参考訳）: 言語モデルとグラフニューラルネットワークを用いた関係データベースの基礎モデルに向けて
• Authors: Jingcheng Wu, Ratan Bahadur Thapa, Mojtaba Nayyeri, Lucas Etteldorf, Max Finkenbeiner, Fabian Leeske, Steffen Staab,
• Abstract要約: 本稿では,リレーショナルREG上でのBARTアーキテクチャとGraphSベースのGNNを組み合わせたハイブリッドアーキテクチャを提案する。 実験の結果、GNNはBARTの行注入コンテキストを大幅に強化し、rel-f1データセットからドライバdnfタスクにROC-埋め込み67.40を達成している。 これらの結果は、軽量なハイブリッドLM-GNNアーキテクチャが、リレーショナルデータベースの基礎モデルへの有望かつ資源効率のよい経路を提供することを示唆している。
• 参考スコア（独自算出の注目度）: 14.51793414693779
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Relational databases store much of the world's structured information, and they are essential for driving complex predictive applications. However, deep learning progress on relational data remains limited, as conventional approaches flatten databases into single tables via manual feature engineering, discarding relational context. Relational deep learning (RDL) addresses this by modeling databases as relational entity graphs (REGs) for graph neural networks (GNNs), but remains task- and database-specific. To combine the strengths of both paradigms, we propose a hybrid architecture combining a fine-tuned BART encoder to capture intra-row semantics with a GraphSAGE-based GNN over REGs to inject relational context. Experiments on RelBench show that the GNN substantially enriches BART's row embeddings, achieving a ROC-AUC of 67.40 on the driver-dnf task from the rel-f1 dataset. This performance is competitive with supervised baselines such as LightGBM (68.86) and narrows the gap to RDL (72.62) to within 5.22 points, though a substantial gap remains to state-of-the-art foundation models such as KumoRFM (82.63). These results suggest that lightweight hybrid LM-GNN architectures offer a promising and resource-efficient path towards foundation models for relational databases.
• Abstract（参考訳）: リレーショナルデータベースは世界の構造化情報の多くを格納し、複雑な予測アプリケーションを駆動するのに不可欠である。 しかし、従来の手法では、データベースを手動のフィーチャエンジニアリングによって単一のテーブルにフラット化し、リレーショナルコンテキストを破棄するため、リレーショナルデータの深層学習の進展は限定的のままである。 リレーショナルディープラーニング(RDL)は、データベースをグラフニューラルネットワーク(GNN)のリレーショナルエンティティグラフ(REG)としてモデル化することでこの問題に対処するが、タスクとデータベース固有のままである。 両パラダイムの長所を組み合わせるために,細調整されたBARTエンコーダを組み合わせたハイブリッドアーキテクチャを提案する。 RelBenchの実験によると、GNNはBARTの行の埋め込みを大幅に強化し、rel-f1データセットからドライバ-dnfタスクのROC-AUCが67.40に達した。 この性能はLightGBM (68.86) のような教師付きベースラインと競合し、RDL (72.62) のギャップを5.22ポイント以内に縮めるが、KumoRFM (82.63) のような最先端の基礎モデルには大きなギャップが残っている。 これらの結果は、軽量なハイブリッドLM-GNNアーキテクチャが、リレーショナルデータベースの基礎モデルへの有望かつ資源効率のよい経路を提供することを示唆している。

関連論文リスト

• Relational In-Context Learning via Synthetic Pre-training with Structural Prior [60.404256960057545]
  RDB-PFNは、$textbfsynthetic$で純粋にトレーニングされた最初のリレーショナルファンデーションモデルである。 構造因果モデル(Structure Causal Models, SCM)から生成された合成データが単一のテーブル上の推論を可能にするPFN(Presideed-Data Fitted Networks)にインスパイアされた。 RDB-PFNは、19の現実世界の予測タスクにおいて、強い数ショットのパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2026-03-04T07:30:54Z)
• A Pre-training Framework for Relational Data with Information-theoretic Principles [57.93973948947743]
  本稿では,リレーショナルグラフ上の集合に基づくアグリゲーションを通じて,監視信号を構成する新しい事前学習フレームワークであるTask Vector Estimation (TVE)を紹介する。 TVEは従来のトレーニング前のベースラインを一貫して上回っている。 本研究は,関係データベース上での予測モデルの設計原則として,タスクの不均一性と時間構造を符号化する事前学習目的を提唱する。
  論文  参考訳（メタデータ） (2025-07-14T00:17:21Z)
• Relational Deep Learning: Challenges, Foundations and Next-Generation Architectures [50.46688111973999]
  グラフ機械学習は、任意のグラフ構造化データで学習するモデルの能力を大幅に向上させた。 従来の工学的特徴を伴わない'関係エンティティグラフ'のエンドツーエンド表現を可能にする新しい青写真を提案する。 本稿では、大規模マルチテーブル統合や、時間力学と異種データのモデリングの複雑さなど、重要な課題について論じる。
  論文  参考訳（メタデータ） (2025-06-19T23:51:38Z)
• Joint Relational Database Generation via Graph-Conditional Diffusion Models [44.06390394789874]
  プライバシのデータリリースや実際のデータセットといったアプリケーションでは、データベース(RDB)の生成モデルの構築が重要です。 従来はシングルテーブル生成にフォーカスするか、あるいはテーブルの順序を固定しテーブルを逐次生成する自動回帰因子化に依存していた。 我々は、RDB内のすべてのテーブルを秩序を課すことなく、共同でモデリングするという、根本的に異なるアプローチを提案する。
  論文  参考訳（メタデータ） (2025-05-22T11:12:56Z)
• Boosting Relational Deep Learning with Pretrained Tabular Models [18.34233986830027]
  グラフニューラルネットワーク(GNN)は、これらの関係をモデル化することで本質的に魅力的な代替手段を提供する。 我々のフレームワークは、GNNと比較して最大33%のパフォーマンス改善と526タイムの推論スピードアップを実現しています。
  論文  参考訳（メタデータ） (2025-04-07T11:19:04Z)
• RelGNN: Composite Message Passing for Relational Deep Learning [56.48834369525997]
  RelGNNはリレーショナルデータベースから構築されたグラフのユニークな構造特性を活用するために特別に設計された新しいGNNフレームワークである。 RelGNNは、Relbench(Fey et al., 2024)から30の多様な実世界のタスクで評価され、ほとんどのタスクで最先端のパフォーマンスを実現し、最大25%の改善を実現している。
  論文  参考訳（メタデータ） (2025-02-10T18:58:40Z)
• RelBench: A Benchmark for Deep Learning on Relational Databases [78.52438155603781]
  本稿では,グラフニューラルネットワークを用いたデータベース上でタスクを解くための公開ベンチマークであるRelBenchを紹介する。 私たちはRelBenchを使って、ディープラーニングインフラストラクチャに関する初の総合的な研究を行っています。 RDLは、人間の作業量を1桁以上削減しながら、より良く学習する。
  論文  参考訳（メタデータ） (2024-07-29T14:46:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。