論文の概要: Task-Agnostic Contrastive Pretraining for Relational Deep Learning

• arxiv url: http://arxiv.org/abs/2506.22530v1
• Date: Fri, 27 Jun 2025 13:18:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-01 21:27:53.452082
• Title: Task-Agnostic Contrastive Pretraining for Relational Deep Learning
• Title（参考訳）: リレーショナル深層学習のためのタスク非依存コントラスト事前学習
• Authors: Jakub Peleška, Gustav Šír,
• Abstract要約: 本稿では,データベース全体の表現学習を可能にするRDLのためのタスク依存型コントラスト事前学習手法を提案する。 モジュール型RDLアーキテクチャにより,各事前学習手法を実装した。 予備的な結果から、事前訓練したモデルの微調整は、スクラッチからトレーニングを成功させることが示された。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Relational Deep Learning (RDL) is an emerging paradigm that leverages Graph Neural Network principles to learn directly from relational databases by representing them as heterogeneous graphs. However, existing RDL models typically rely on task-specific supervised learning, requiring training separate models for each predictive task, which may hamper scalability and reuse. In this work, we propose a novel task-agnostic contrastive pretraining approach for RDL that enables database-wide representation learning. For that aim, we introduce three levels of contrastive objectives$-$row-level, link-level, and context-level$-$designed to capture the structural and semantic heterogeneity inherent to relational data. We implement the respective pretraining approach through a modular RDL architecture and an efficient sampling strategy tailored to the heterogeneous database setting. Our preliminary results on standard RDL benchmarks demonstrate that fine-tuning the pretrained models measurably outperforms training from scratch, validating the promise of the proposed methodology in learning transferable representations for relational data.
• Abstract（参考訳）: リレーショナルディープラーニング(Relational Deep Learning, RDL)は、グラフニューラルネットワークの原則を活用して、それらを異種グラフとして表現することで、リレーショナルデータベースから直接学習する、新たなパラダイムである。 しかし、既存のRDLモデルは一般にタスク固有の教師あり学習に依存しており、予測タスクごとに個別のモデルを訓練する必要があるため、スケーラビリティや再利用を妨げかねない。 本研究では,データベース全体の表現学習を可能にするRDLのためのタスク依存型コントラスト事前学習手法を提案する。 その目的のために、リレーショナルデータに固有の構造的・意味的不均一性を捉えるために、比較対象の$-$rowレベル、リンクレベル、コンテキストレベル$-$設計の3つのレベルを導入します。 我々は、モジュール型RDLアーキテクチャと、異種データベース設定に合わせた効率的なサンプリング戦略により、各事前学習アプローチを実装した。 標準RDLベンチマークの予備的な結果から、事前学習したモデルがスクラッチからトレーニングを著しく上回り、リレーショナルデータに対する転送可能な表現の学習における提案手法の約束が検証された。

関連論文リスト

• Relational Deep Learning: Challenges, Foundations and Next-Generation Architectures [50.46688111973999]
  グラフ機械学習は、任意のグラフ構造化データで学習するモデルの能力を大幅に向上させた。 従来の工学的特徴を伴わない'関係エンティティグラフ'のエンドツーエンド表現を可能にする新しい青写真を提案する。 本稿では、大規模マルチテーブル統合や、時間力学と異種データのモデリングの複雑さなど、重要な課題について論じる。
  論文  参考訳（メタデータ） (2025-06-19T23:51:38Z)
• Source-free Semantic Regularization Learning for Semi-supervised Domain Adaptation [25.51051224329922]
  半教師付きドメイン適応(SSDA)は、モデルの分類性能と一般化能力を改善する能力により、広範囲に研究されている。 意味正規化学習(SERL)と呼ばれる新しいSSDA学習フレームワークを提案する。 SERLは、正規化学習の複数の視点からターゲット意味情報をキャプチャし、ターゲットドメイン上のソース事前学習モデルの適応的な微調整を実現する。
  論文  参考訳（メタデータ） (2025-01-02T07:53:02Z)
• RelBench: A Benchmark for Deep Learning on Relational Databases [78.52438155603781]
  本稿では,グラフニューラルネットワークを用いたデータベース上でタスクを解くための公開ベンチマークであるRelBenchを紹介する。 私たちはRelBenchを使って、ディープラーニングインフラストラクチャに関する初の総合的な研究を行っています。 RDLは、人間の作業量を1桁以上削減しながら、より良く学習する。
  論文  参考訳（メタデータ） (2024-07-29T14:46:13Z)
• Enhancing Low-Resource Relation Representations through Multi-View Decoupling [21.32064890807893]
  本稿では,MVREという新しいプロンプトに基づく関係表現手法を提案する。 MVREは、各関係を異なる視点に分離し、多視点関係表現を包含する。 提案手法は,低リソース環境下での最先端化を実現する。
  論文  参考訳（メタデータ） (2023-12-26T14:16:16Z)
• Federated Learning with Projected Trajectory Regularization [65.6266768678291]
  フェデレーション学習は、ローカルデータを共有せずに、分散クライアントから機械学習モデルの共同トレーニングを可能にする。 連合学習における重要な課題の1つは、クライアントにまたがる識別できない分散データを扱うことである。 本稿では,データ問題に対処するための予測軌道正則化(FedPTR)を備えた新しいフェデレーション学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-12-22T02:12:08Z)
• ALP: Action-Aware Embodied Learning for Perception [60.64801970249279]
  認知のための行動認識型身体学習(ALP)について紹介する。 ALPは、強化学習ポリシーと逆ダイナミクス予測目標を最適化することにより、行動情報を表現学習に組み込む。 ALPは、複数の下流認識タスクにおいて、既存のベースラインよりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-06-16T21:51:04Z)
• Continual Contrastive Finetuning Improves Low-Resource Relation Extraction [34.76128090845668]
  関係抽出は低リソースのシナリオやドメインでは特に困難である。 近年の文献は自己教師型学習によって低リソースREに取り組みつつある。 コントラスト学習の一貫した目的を用いたREモデルの事前学習と微調整を提案する。
  論文  参考訳（メタデータ） (2022-12-21T07:30:22Z)
• Relation-Guided Representation Learning [53.60351496449232]
  本稿では,サンプル関係を明示的にモデル化し,活用する表現学習手法を提案する。 私たちのフレームワークは、サンプル間の関係をよく保存します。 サンプルをサブスペースに埋め込むことにより,本手法が大規模なサンプル外問題に対処可能であることを示す。
  論文  参考訳（メタデータ） (2020-07-11T10:57:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。