論文の概要: Path to Prior-Data Fitted Relational Models via Learned Latent Multi-table Representations

• arxiv url: http://arxiv.org/abs/2610.23073v1
• Date: Fri, 16 Oct 2026 07:43:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-20 00:56:07.820614
• Title: Path to Prior-Data Fitted Relational Models via Learned Latent Multi-table Representations
• Title（参考訳）: 学習された潜在マルチテーブル表現による事前データ適合関係モデルへの経路
• Abstract要約: 本研究では,大量の合成タスクを事前学習することで,下流の微調整をほとんどあるいは全く行わないデータセットを一般化できることを示す。 グラフベースリレーショナル基礎モデルであるGriffinを,大量の合成リレーショナルデータベース上で事前学習する。 下流タスクを微調整する代わりに、訓練済みエンコーダを汎用リレーショナル表現学習器として使用し、その潜在表現を凍結したインコンテキスト予測器に渡す。
• 参考スコア（独自算出の注目度）: 0.7211865874649033
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Prior-data fitted networks (PFNs) show that pretraining on large populations of synthetic tasks can enable generalization to unseen datasets with little or no downstream fine-tuning. This paradigm is effective for transformer-based tabular and relational foundation models such as RDB-PFN, but remains largely unexplored for graph-based relational models built on message passing. We pretrain the graph-based relational foundation model Griffin on large collections of synthetic relational databases and ask whether curriculum learning, which benefits transformer-based relational learners, also improves message-passing representations. Rather than fine-tune on downstream tasks, we use the pretrained encoder as a general-purpose relational representation learner and pass its latent representations to a frozen in-context predictor (\ticl{}); no component is trained on the target task. On 16 real-world relational classification tasks, evaluated over five seeds against raw-feature and untrained-encoder baselines, a purely synthetic curriculum that begins with schema-guided data and continues with schema-agnostic data gives the strongest frozen in-context performance\rev{, outperforming real-data-only pretraining and every unordered single-stage mixture of the corpora; when appended after real-data pretraining, it yields the best encoders overall}. These results provide initial evidence that PFN-style synthetic pretraining transfers to graph-based relational foundation models.
• Abstract（参考訳）: 先行データ適合ネットワーク(PFN)は、大量の合成タスクを事前訓練することで、下流の微調整をほとんどあるいは全く行わずにデータセットを発見できないように一般化できることを示している。 このパラダイムは、RDB-PFNのようなトランスフォーマーベースの表層およびリレーショナル基盤モデルに有効であるが、メッセージパッシング上に構築されたグラフベースのリレーショナルモデルについては、ほとんど探索されていない。 グラフベースの関係基盤モデルGriffinを合成関係データベースの大規模なコレクション上に事前学習し、変換器ベースの関係学習者にとって有益なカリキュラム学習が、メッセージパッシング表現を改善するかどうかを問う。 下流タスクを微調整する代わりに、訓練済みエンコーダを汎用リレーショナル表現学習機として使用し、その潜在表現を凍結したインコンテキスト予測器(\ticl{})に渡す。 16の実世界のリレーショナル分類タスクでは、生のフィーチャーと未学習のエンコーダベースラインに対して5つのシードに対して評価され、スキーマ誘導データから始まり、スキーマに依存しないデータで継続する純粋に合成されたカリキュラムは、実データのみの事前学習と、コーパスの任意の順序のない単一ステージの混合よりも、最強の凍結されたインコンテクストパフォーマンスを提供する。 これらの結果は、PFNスタイルの合成事前学習がグラフベースの関係基礎モデルに転送されるという最初の証拠を与える。

関連論文リスト

• When Does Synthetic Relational Data Teach Models to Use Relations? Tracing Predictive Structure from Pretraining Data to Model Behavior [0.6670498055582529]
  一方の合成コーパスは、未知のデータベース上の外来キーに敏感であるため、他方の合成コーパスよりも優れたモデルを生成する。 また、下流のパフォーマンス中に同じメカニズムを乱すことで、RelDiffのタスクに対するアドバンテージがなくなり、構造に敏感なモデルはほとんど変わらないことを示す。
  論文  参考訳（メタデータ） (2026-10-02T09:37:48Z)
• Mitra: Mixed Synthetic Priors for Enhancing Tabular Foundation Models [85.64873567417396]
  実世界のデータに対して,その多様性,特異性,および性能のために選択された合成前駆体の硬化した混合物をトレーニングしたTFMであるMitraを紹介する。 Mitraは、TabPFNv2やTabICLのような最先端のTFMを、分類と回帰のベンチマークで一貫して上回っている。
  論文  参考訳（メタデータ） (2025-10-24T07:15:06Z)
• A Pre-training Framework for Relational Data with Information-theoretic Principles [57.93973948947743]
  本稿では,リレーショナルグラフ上の集合に基づくアグリゲーションを通じて,監視信号を構成する新しい事前学習フレームワークであるTask Vector Estimation (TVE)を紹介する。 TVEは従来のトレーニング前のベースラインを一貫して上回っている。 本研究は,関係データベース上での予測モデルの設計原則として,タスクの不均一性と時間構造を符号化する事前学習目的を提唱する。
  論文  参考訳（メタデータ） (2025-07-14T00:17:21Z)
• Relation-Aware Graph Foundation Model [21.86954503656643]
  グラフ基礎モデル (GFMs) がグラフ学習において有望な方向として登場した。 明示的なトークン表現に依存する言語モデルとは異なり、グラフは一般化のための明確に定義された単位を持たない。 GFMの基本単位として関係トークンを利用する新しいフレームワークREEFを提案する。
  論文  参考訳（メタデータ） (2025-05-17T14:34:41Z)
• Zero-shot Meta-learning for Tabular Prediction Tasks with Adversarially Pre-trained Transformer [2.1677183904102257]
  本稿では、実世界のデータセットを事前学習することなく、表形式の予測タスクでゼロショットメタ学習を行うことのできるAdversarially Pre-trained Transformer(APT)を提案する。 APTは、異なる合成データセットで意図的にモデルに挑戦する敵対的な合成データエージェントで事前訓練されている。 筆者らのフレームワークは,データセットの特徴をフィルタリングすることなく,小さな分類タスクにおける最先端のパフォーマンスと一致していることを示す。
  論文  参考訳（メタデータ） (2025-02-06T23:58:11Z)
• SynBench: Task-Agnostic Benchmarking of Pretrained Representations using Synthetic Data [78.21197488065177]
  近年、下流のタスクで大規模なデータで事前訓練された微調整大型モデルが成功し、ディープラーニングにおける重要なパラダイムシフトにつながった。 本稿では,合成データを用いて事前学習した表現の質を測定するためのタスク非依存フレームワークであるtextitSynBenchを提案する。
  論文  参考訳（メタデータ） (2022-10-06T15:25:00Z)
• On the Transferability of Pre-trained Language Models: A Study from Artificial Datasets [74.11825654535895]
  大規模未ラベルテキストデータ上での事前学習言語モデル(LM)により、ダウンストリームのパフォーマンスが極めて容易になる。 我々は,事前学習データに含まれる特定の特徴について,セマンティクス以外では,下流タスクのスクラッチからトレーニングしたデータよりも,事前学習したLMを優れているか検討した。
  論文  参考訳（メタデータ） (2021-09-08T10:39:57Z)
• Relation-Guided Representation Learning [53.60351496449232]
  本稿では,サンプル関係を明示的にモデル化し,活用する表現学習手法を提案する。 私たちのフレームワークは、サンプル間の関係をよく保存します。 サンプルをサブスペースに埋め込むことにより,本手法が大規模なサンプル外問題に対処可能であることを示す。
  論文  参考訳（メタデータ） (2020-07-11T10:57:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。