論文の概要: When Does Synthetic Relational Data Teach Models to Use Relations? Tracing Predictive Structure from Pretraining Data to Model Behavior

• arxiv url: http://arxiv.org/abs/2610.03057v1
• Date: Fri, 02 Oct 2026 09:37:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-06 00:14:30.307525
• Title: When Does Synthetic Relational Data Teach Models to Use Relations? Tracing Predictive Structure from Pretraining Data to Model Behavior
• Title（参考訳）: 合成関係データ学習モデルはいつ関係を利用するのか?事前学習データからモデル行動への予測構造の追跡
• Abstract要約: 一方の合成コーパスは、未知のデータベース上の外来キーに敏感であるため、他方の合成コーパスよりも優れたモデルを生成する。 また、下流のパフォーマンス中に同じメカニズムを乱すことで、RelDiffのタスクに対するアドバンテージがなくなり、構造に敏感なモデルはほとんど変わらないことを示す。
• 参考スコア（独自算出の注目度）: 0.6670498055582529
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Relational foundation models are increasingly pretrained on synthetic databases, yet downstream benchmarks reveal little about why one synthetic corpus produces a better model than another. In particular, strong performance may arise from realistic row-level statistics without the model ever learning to use relational structure. We study this as a data-attribution problem: which property of synthetic pretraining data induces relational computation? Using four Relational Transformer checkpoints trained with the same architecture, initialization, objective, and compute budget on corpora produced by four relational data generators, we trace a measurable property of the data to learned computation and downstream behavior. We hypothesize that relational mechanisms emerge when cross-table information is predictively necessary for the masked-cell pretraining objective. RelDiff exhibits by far the largest predictive gain from foreign-key-linked parents, and its corresponding model is uniquely sensitive to foreign-key interventions on unseen databases. This dependence survives a random-initialization control, grows monotonically with the fraction of corrupted links, and localizes to a serial cross-table pathway. Finally, disrupting the same mechanism during downstream inference removes RelDiff's advantage on relational tasks while leaving structure-insensitive models nearly unchanged. These results connect a property of synthetic training data to a learned mechanism and, through intervention, to downstream behavior.
• Abstract（参考訳）: リレーショナル・ファンデーション・モデルは、合成データベース上でますます事前訓練されているが、ダウンストリーム・ベンチマークでは、ある合成コーパスが他のモデルよりも優れたモデルを生成する理由についてはほとんど明らかにされていない。 特に、強い性能は、モデルがリレーショナル構造を使用することを学習することなく、現実的な行レベルの統計から生じる可能性がある。 我々は、これをデータ帰属問題として研究する: 合成事前学習データのどの特性が関係計算を誘導するか? 4つの関係データ生成器が生成するコーパス上で、同じアーキテクチャ、初期化、目的、計算予算で訓練された4つのリレーショナルトランスフォーマーチェックポイントを用いて、データの計測可能な特性をトレースし、計算と下流の挙動を学習する。 マスクセル事前学習の目的に対して,クロステーブル情報を予測的に必要とした場合に,リレーショナルメカニズムが出現する,という仮説を立てる。 RelDiffは、外国キーをリンクした親たちによる最大の予測的利益を示しており、その対応するモデルは、目に見えないデータベースに対する外国キーの介入に独特に敏感である。 この依存はランダム初期化制御に生き残り、崩壊したリンクのごく一部で単調に成長し、シリアルなクロステーブル経路に局在する。 最後に、下流推論中に同じメカニズムを中断すると、RelDiffのリレーショナルタスクに対するアドバンテージが取り除かれ、構造に敏感なモデルはほとんど変わらない。 これらの結果は、合成トレーニングデータの特性を学習されたメカニズムに結び付け、介入を通じて下流の行動に結び付ける。

関連論文リスト

• Joint Model and Data Sparsification via the Marginal Likelihood [53.29070892356214]
  本稿では,個々の特徴とサンプルの相違点を同時学習し,同時にモデルとデータスペーシングを実現することを提案する。 このモデルとデータの対称的なプルーニングは、共役を保存する自然な拡張を提供する。 多様な回帰タスクにわたる経験的結果は、共同ARDアプローチがスパースモデルとロバスト予測モデルの両方を一貫して生成することを確認した。
  論文  参考訳（メタデータ） (2026-05-28T13:26:53Z)
• PluRel: Synthetic Data unlocks Scaling Laws for Relational Foundation Models [51.42043158297229]
  マルチタブラルリレーショナルデータベースをスクラッチから合成するフレームワークであるPluelを紹介する。 ステップバイステップの方法では,(1)有向グラフのスキーマ,(2)二部グラフのテーブル間一次外部キー接続,(3)条件因果機構によるテーブル内の特徴分布をモデル化する。
  論文  参考訳（メタデータ） (2026-02-03T21:35:18Z)
• Generative Correlation Manifolds: Generating Synthetic Data with Preserved Higher-Order Correlations [4.551615447454767]
  本稿では,合成データを生成する計算効率の良い手法である生成相関マニフォールド(GCM)を紹介する。 本手法は,プライバシ保護データ共有,ロバストモデルトレーニング,シミュレーションに応用可能な,合成データ生成への新たなアプローチを提供するものである,と我々は主張する。
  論文  参考訳（メタデータ） (2025-10-24T16:15:53Z)
• Escaping Model Collapse via Synthetic Data Verification: Near-term Improvements and Long-term Convergence [31.751930228965467]
  モデル崩壊を避けるため, この合成再訓練プロセスの修正方法について検討する。 我々の重要な発見は、外部の合成データ検証器を通じて情報を注入することによって、合成再訓練がモデル崩壊を起こさないことである。
  論文  参考訳（メタデータ） (2025-10-18T22:39:39Z)
• RelDiff: Relational Data Generative Modeling with Graph-Based Diffusion Models [83.6013616017646]
  RelDiffは、外部キーグラフ構造を明示的にモデル化することによって完全な関係データベースを合成する新しい拡散生成モデルである。 RelDiffは、現実的で一貫性のある合成リレーショナルデータベースの作成において、従来手法よりも一貫して優れている。
  論文  参考訳（メタデータ） (2025-05-31T21:01:02Z)
• A Theoretical Perspective: How to Prevent Model Collapse in Self-consuming Training Loops [55.07063067759609]
  高品質なデータは大規模な生成モデルのトレーニングには不可欠だが、オンラインで利用可能な実際のデータの膨大な蓄積はほとんど枯渇している。 モデルは、さらなるトレーニングのために独自のデータを生成し、自己消費訓練ループ(STL)を形成する。 一部のモデルは劣化または崩壊するが、他のモデルはこれらの失敗をうまく回避し、理論的な理解にかなりのギャップを残している。
  論文  参考訳（メタデータ） (2025-02-26T06:18:13Z)
• Towards Privacy-Preserving Relational Data Synthesis via Probabilistic Relational Models [3.877001015064152]
  確率的リレーショナルモデルは、一階述語論理と確率的モデルを組み合わせるための確立された形式主義を提供する。 人工知能の分野は、さまざまな機械学習タスクのために、ますます大量のリレーショナルトレーニングデータを必要とする。 プライバシの懸念やデータ保護の規制、高コストなどにより、現実のデータの収集は難しいことが多い。
  論文  参考訳（メタデータ） (2024-09-06T11:24:25Z)
• Towards Theoretical Understandings of Self-Consuming Generative Models [56.84592466204185]
  本稿では,自己消費ループ内で生成モデルを訓練する新たな課題に取り組む。 我々は,このトレーニングが将来のモデルで学習したデータ分布に与える影響を厳格に評価するための理論的枠組みを構築した。 カーネル密度推定の結果は,混合データトレーニングがエラー伝播に与える影響など,微妙な洞察を与える。
  論文  参考訳（メタデータ） (2024-02-19T02:08:09Z)
• Amortized Inference for Causal Structure Learning [72.84105256353801]
  因果構造を学習することは、通常、スコアまたは独立テストを使用して構造を評価することを伴う探索問題を引き起こす。 本研究では,観測・干渉データから因果構造を予測するため,変分推論モデルを訓練する。 我々のモデルは、実質的な分布シフトの下で頑健な一般化能力を示す。
  論文  参考訳（メタデータ） (2022-05-25T17:37:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。