論文の概要: Relational Transformer: Toward Zero-Shot Foundation Models for Relational Data

• arxiv url: http://arxiv.org/abs/2510.06377v1
• Date: Tue, 07 Oct 2025 18:51:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-09 16:41:20.151637
• Title: Relational Transformer: Toward Zero-Shot Foundation Models for Relational Data
• Title（参考訳）: リレーショナルトランス:リレーショナルデータのためのゼロショット基礎モデルに向けて
• Authors: Rishabh Ranjan, Valter Hudovernik, Mark Znidar, Charilaos Kanatsoulis, Roshan Upendra, Mahmoud Mohammadi, Joe Meyer, Tom Palczewski, Carlos Guestrin, Jure Leskovec,
• Abstract要約: Transformer (RT) アーキテクチャは、様々なリレーショナルデータベース上で事前トレーニングすることができる。 RTは強力なゼロショット性能を実現し、バイナリ分類タスクにおいて、完全な教師付きAUROCの94%を平均化している。
• 参考スコア（独自算出の注目度）: 38.656987194921854
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Pretrained transformers readily adapt to new sequence modeling tasks via zero-shot prompting, but relational domains still lack architectures that transfer across datasets and tasks. The core challenge is the diversity of relational data, with varying heterogeneous schemas, graph structures and functional dependencies. In this paper, we present the Relational Transformer (RT) architecture, which can be pretrained on diverse relational databases and directly applied to unseen datasets and tasks without task- or dataset-specific fine-tuning, or retrieval of in-context examples. RT (i) tokenizes cells with table/column metadata, (ii) is pretrained via masked token prediction, and (iii) utilizes a novel \textit{Relational Attention} mechanism over columns, rows, and primary-foreign key links. Pretrained on RelBench datasets spanning tasks such as churn and sales forecasting, RT attains strong zero-shot performance, averaging 94% of fully supervised AUROC on binary classification tasks with a single forward pass of a 22M parameter model, as opposed to 84% for a 27B LLM. Fine-tuning yields state-of-the-art results with high sample efficiency. Our experiments show that RT's zero-shot transfer harnesses task-table context, relational attention patterns and schema semantics. Overall, RT provides a practical path toward foundation models for relational data.
• Abstract（参考訳）: 事前トレーニングされたトランスフォーマーは、ゼロショットプロンプトを通じて、新しいシーケンスモデリングタスクに容易に適応するが、リレーショナルドメインには、データセットやタスク間で転送されるアーキテクチャがない。 主な課題はリレーショナルデータの多様性であり、さまざまな異種スキーマ、グラフ構造、機能的依存関係がある。 本稿では,多種多様な関係データベース上で事前トレーニングが可能で,タスクやデータセット固有の微調整やコンテキスト内サンプルの検索を伴わずに,目に見えないデータセットやタスクに直接適用可能なリレーショナルトランスフォーマ(RT)アーキテクチャを提案する。 RT i) テーブル/カラムメタデータでセルをトークン化する。 (二)仮面のトークン予測により予習し、 (iii)カラム、行、およびプライマリ外部キーリンクに新しい‘textit{Relational Attention} メカニズムを利用する。 チャーンやセールス予測といったタスクにまたがるRelBenchデータセットで事前トレーニングされたRTは、27B LLMの84%とは対照的に、バイナリ分類タスクにおいて、完全な教師付きAUROCの94%が22Mパラメータモデルの単一のフォワードパスを持つ。 微細チューニングは、高い試料効率で最先端の結果をもたらす。 実験の結果,RTのゼロショット転送はタスクテーブルコンテキスト,リレーショナルアテンションパターン,スキーマセマンティクスを利用することがわかった。 全体として、RTはリレーショナルデータの基盤モデルへの実践的なパスを提供する。

関連論文リスト

• Graph-Based Feature Augmentation for Predictive Tasks on Relational Datasets [28.942521393654985]
  本稿では,エンドツーエンドの自動機能拡張フレームワークReCoGNNを提案する。 予測タスクをサポートするために、複数のリレーショナルテーブルから抽出された機能を使用して、初期データセットを拡張する。 ReCoGNNは、分類タスクと回帰タスクの両方において、既存のメソッドを一貫して上回っている。
  論文  参考訳（メタデータ） (2025-08-28T16:44:04Z)
• Joint Relational Database Generation via Graph-Conditional Diffusion Models [44.06390394789874]
  プライバシのデータリリースや実際のデータセットといったアプリケーションでは、データベース(RDB)の生成モデルの構築が重要です。 従来はシングルテーブル生成にフォーカスするか、あるいはテーブルの順序を固定しテーブルを逐次生成する自動回帰因子化に依存していた。 我々は、RDB内のすべてのテーブルを秩序を課すことなく、共同でモデリングするという、根本的に異なるアプローチを提案する。
  論文  参考訳（メタデータ） (2025-05-22T11:12:56Z)
• RelGNN: Composite Message Passing for Relational Deep Learning [56.48834369525997]
  RelGNNはリレーショナルデータベースから構築されたグラフのユニークな構造特性を活用するために特別に設計された新しいGNNフレームワークである。 RelGNNは、Relbench(Fey et al., 2024)から30の多様な実世界のタスクで評価され、ほとんどのタスクで最先端のパフォーマンスを実現し、最大25%の改善を実現している。
  論文  参考訳（メタデータ） (2025-02-10T18:58:40Z)
• Table Transformers for Imputing Textual Attributes [15.823533688884105]
  本稿では,TTITA(Imputing Textual Attributes)のためのテーブルトランスフォーマー(Table Transformer)という新しいエンドツーエンドアプローチを提案する。 提案手法は,リカレントニューラルネットワークやLlama2などのベースラインモデルよりも優れた性能を示す。 マルチタスク学習を組み込んで、不均一な列を同時にインプットし、テキストインプットの性能を高める。
  論文  参考訳（メタデータ） (2024-08-04T19:54:12Z)
• Zero-shot Composed Text-Image Retrieval [72.43790281036584]
  合成画像検索(CIR)の問題点を考察する。 テキストや画像などのマルチモーダル情報を融合し、クエリにマッチする画像を正確に検索し、ユーザの表現能力を拡張できるモデルをトレーニングすることを目的としている。
  論文  参考訳（メタデータ） (2023-06-12T17:56:01Z)
• Parameter-Efficient Abstractive Question Answering over Tables or Text [60.86457030988444]
  QAシステムを求める情報の長期的な野望は、マルチモーダルなコンテキストを推論し、ユーザクエリに対する自然な回答を生成することである。 メモリ集約型事前学習言語モデルは、構造化されていないテキストや構造化テーブルのような特定のモードでQAデータ上のモデルを微調整することで、QAのような下流タスクに適応する。 パラメータ効率の良いアダプタは、トランス層間の小さなタスク固有のボトルネック層を加算し、訓練する。
  論文  参考訳（メタデータ） (2022-04-07T10:56:29Z)
• Self-Supervised Pre-Training for Transformer-Based Person Re-Identification [54.55281692768765]
  トランスフォーマーに基づく教師付き事前訓練は、人物再識別(ReID)において大きなパフォーマンスを達成する ImageNetとReIDデータセットのドメインギャップのため、通常、パフォーマンスを高めるために、より大きなトレーニング済みデータセットが必要です。 この研究は、データとモデル構造の観点から、事前トレーニングデータセットとReIDデータセットのギャップを軽減することを目的としている。
  論文  参考訳（メタデータ） (2021-11-23T18:59:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。