論文の概要: A Pre-training Framework for Relational Data with Information-theoretic Principles

• arxiv url: http://arxiv.org/abs/2507.09837v1
• Date: Mon, 14 Jul 2025 00:17:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-15 18:48:24.07462
• Title: A Pre-training Framework for Relational Data with Information-theoretic Principles
• Title（参考訳）: 情報理論原理を用いた関係データの事前学習フレームワーク
• Authors: Quang Truong, Zhikai Chen, Mingxuan Ju, Tong Zhao, Neil Shah, Jiliang Tang,
• Abstract要約: 本稿では,リレーショナルグラフ上の集合に基づくアグリゲーションを通じて,監視信号を構成する新しい事前学習フレームワークであるTask Vector Estimation (TVE)を紹介する。 TVEは従来のトレーニング前のベースラインを一貫して上回っている。 本研究は,関係データベース上での予測モデルの設計原則として,タスクの不均一性と時間構造を符号化する事前学習目的を提唱する。
• 参考スコア（独自算出の注目度）: 57.93973948947743
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Relational databases underpin critical infrastructure across a wide range of domains, yet the design of generalizable pre-training strategies for learning from relational databases remains an open challenge due to task heterogeneity. Specifically, there exist infinitely many possible downstream tasks, as tasks are defined based on relational schema graphs, temporal dependencies, and SQL-defined label logics. An effective pre-training framework is desired to take these factors into account in order to obtain task-aware representations. By incorporating knowledge of the underlying distribution that drives label generation, downstream tasks can benefit from relevant side-channel information. To bridge this gap, we introduce Task Vector Estimation (TVE), a novel pre-training framework that constructs predictive supervisory signals via set-based aggregation over schema traversal graphs, explicitly modeling next-window relational dynamics. We formalize our approach through an information-theoretic lens, demonstrating that task-informed representations retain more relevant signals than those obtained without task priors. Extensive experiments on the RelBench benchmark show that TVE consistently outperforms traditional pre-training baselines. Our findings advocate for pre-training objectives that encode task heterogeneity and temporal structure as design principles for predictive modeling on relational databases.
• Abstract（参考訳）: リレーショナルデータベースは、幅広い領域において重要な基盤となっているが、リレーショナルデータベースから学習するための一般化可能な事前学習戦略の設計は、タスクの不均一性のため、依然としてオープンな課題である。 具体的には、リレーショナルスキーマグラフ、時間依存、SQL定義ラベルロジックに基づいてタスクが定義されるため、ダウンストリームタスクは無限に存在する。 タスク認識表現を得るためには、これらの要因を考慮した効果的な事前学習フレームワークが望まれる。 ラベル生成を駆動する基盤となる分布の知識を取り入れることで、下流タスクは関連するサイドチャネル情報から恩恵を受けることができる。 このギャップを埋めるために、我々はタスクベクトル推定(TVE)という新しい事前学習フレームワークを導入する。これは、スキーマトラバーサルグラフ上のセットベースアグリゲーションを通じて予測監督信号を構築し、次のウィンドウリレーショナルダイナミクスを明示的にモデル化する。 情報理論レンズを用いて我々のアプローチを定式化し、タスクインフォームド表現がタスク前処理なしで得られるものよりも関連性の高い信号を保持することを示す。 RelBenchベンチマークの大規模な実験は、TVEが従来のトレーニング前のベースラインを一貫して上回っていることを示している。 本研究は,関係データベース上での予測モデルの設計原則として,タスクの不均一性と時間構造を符号化する事前学習目的を提唱する。

関連論文リスト

• Task-Agnostic Contrastive Pretraining for Relational Deep Learning [0.0]
  本稿では,データベース全体の表現学習を可能にするRDLのためのタスク依存型コントラスト事前学習手法を提案する。 モジュール型RDLアーキテクチャにより,各事前学習手法を実装した。 予備的な結果から、事前訓練したモデルの微調整は、スクラッチからトレーニングを成功させることが示された。
  論文  参考訳（メタデータ） (2025-06-27T13:18:13Z)
• Relational Deep Learning: Challenges, Foundations and Next-Generation Architectures [50.46688111973999]
  グラフ機械学習は、任意のグラフ構造化データで学習するモデルの能力を大幅に向上させた。 従来の工学的特徴を伴わない'関係エンティティグラフ'のエンドツーエンド表現を可能にする新しい青写真を提案する。 本稿では、大規模マルチテーブル統合や、時間力学と異種データのモデリングの複雑さなど、重要な課題について論じる。
  論文  参考訳（メタデータ） (2025-06-19T23:51:38Z)
• Neural Network Reprogrammability: A Unified Theme on Model Reprogramming, Prompt Tuning, and Prompt Instruction [55.914891182214475]
  モデル適応のための統一フレームワークとして,ニューラルネットワークの再プログラム可能性を導入する。 本稿では,4つの重要な側面にまたがる情報操作アプローチを分類する分類法を提案する。 残る技術的課題や倫理的考察も分析する。
  論文  参考訳（メタデータ） (2025-06-05T05:42:27Z)
• Boosting Relational Deep Learning with Pretrained Tabular Models [18.34233986830027]
  グラフニューラルネットワーク(GNN)は、これらの関係をモデル化することで本質的に魅力的な代替手段を提供する。 我々のフレームワークは、GNNと比較して最大33%のパフォーマンス改善と526タイムの推論スピードアップを実現しています。
  論文  参考訳（メタデータ） (2025-04-07T11:19:04Z)
• A representational framework for learning and encoding structurally enriched trajectories in complex agent environments [1.904851064759821]
  人工知能エージェントが最適な決定を行い、それらを異なるドメインやタスクに一般化する能力は、複雑なシナリオで妥協される。 この問題に対処する方法の1つは、世界の効率的な表現を学習することと、エージェントのアクションがそれらにどのように影響するかに焦点を当てている。 本稿では,エージェントのオントロジーを強化し,タスク実行のより微妙なビューを提供するために,トラジェクトリの伝統化を拡張することを提案する。
  論文  参考訳（メタデータ） (2025-03-17T14:04:27Z)
• Meta-Statistical Learning: Supervised Learning of Statistical Inference [59.463430294611626]
  この研究は、大きな言語モデル(LLM)の成功を駆動するツールと原則が、分散レベルのタスクに取り組むために再利用可能であることを実証している。 本稿では,統計的推論タスクを教師付き学習問題として再構成するマルチインスタンス学習に触発されたメタ統計学習を提案する。
  論文  参考訳（メタデータ） (2025-02-17T18:04:39Z)
• RelGNN: Composite Message Passing for Relational Deep Learning [56.48834369525997]
  RelGNNはリレーショナルデータベースから構築されたグラフのユニークな構造特性を活用するために特別に設計された新しいGNNフレームワークである。 RelGNNは、Relbench(Fey et al., 2024)から30の多様な実世界のタスクで評価され、ほとんどのタスクで最先端のパフォーマンスを実現し、最大25%の改善を実現している。
  論文  参考訳（メタデータ） (2025-02-10T18:58:40Z)
• RelBench: A Benchmark for Deep Learning on Relational Databases [78.52438155603781]
  本稿では,グラフニューラルネットワークを用いたデータベース上でタスクを解くための公開ベンチマークであるRelBenchを紹介する。 私たちはRelBenchを使って、ディープラーニングインフラストラクチャに関する初の総合的な研究を行っています。 RDLは、人間の作業量を1桁以上削減しながら、より良く学習する。
  論文  参考訳（メタデータ） (2024-07-29T14:46:13Z)
• ConstGCN: Constrained Transmission-based Graph Convolutional Networks for Document-level Relation Extraction [24.970508961370548]
  グラフニューラルネットワークによる文書レベルの関係抽出は、トレーニングと推論の基本的なグラフ構築ギャップに直面している。 本稿では,知識に基づく情報伝達を行う新しいグラフ畳み込みネットワークである$textbfConstGCN$を提案する。 実験の結果,本手法はDocREデータセットに対する従来のSOTA(State-of-the-art)アプローチよりも優れていることがわかった。
  論文  参考訳（メタデータ） (2022-10-08T07:36:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。