論文の概要: Temporal Heterogeneous Graph Pretraining for Relational Deep Learning
- arxiv url: http://arxiv.org/abs/2609.35219v1
- Date: Mon, 28 Sep 2026 14:05:37 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-02 15:58:08.79154
- Title: Temporal Heterogeneous Graph Pretraining for Relational Deep Learning
- Title（参考訳）: 関係深層学習のための時間的不均一グラフ事前学習
- Abstract要約: 両時間信号の明示的に符号化が下流タスクの時間的事前学習に与える影響について検討する。
本フレームワークでは,学習可能な時間スケールとタイプ固有投影を用いて記録年齢をキャプチャするマルチスケールタイムと,符号付き相互記録間隔を表すロータリータイムを組み合わせた。
ヘテロジニアスGNNとグラフトランスフォーマーのバックボーンを用いて,11の分類および回帰タスクにまたがる5つのRelBenchデータセットを評価する。
- 参考スコア（独自算出の注目度）: 1.7469353078129684
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Relational deep learning models database rows and foreign-key links as a heterogeneous graph for prediction from record attributes and relational context. These graphs contain two distinct temporal signals: record age changes with the prediction cutoff, while intervals between observed records remain fixed. Prior work often treats time as a single signal or studies temporal representation and pretraining separately. We investigate how explicitly encoding both signals affects temporal pretraining for downstream tasks. Our framework combines Multi-scale Time Encoding, which captures record age using learnable time scales and type-specific projections, with Rotary Time Encoding, which represents signed inter-record intervals through rotary transformations during graph propagation. We pair these encodings with three self-supervised objectives: historical relation recovery, horizon-aware future relation activity prediction, and temporal subgraph contrast. All inputs respect their observation cutoffs. Pretraining proceeds in two stages: subgraph contrast first learns neighborhood representations, followed by refinement through either relation recovery or future activity prediction. We evaluate on five RelBench datasets across 11 classification and regression tasks using heterogeneous GNN and graph Transformer backbones. With both encodings, the best evaluated staged schedules improve over supervised training with the same encodings by 3.02% and 1.06% on the two backbones, respectively, and over controls without pretraining or either encoding by 3.24% and 2.37%.
- Abstract（参考訳）: リレーショナルディープラーニングモデル データベース行と外部キーリンクは、レコード属性とリレーショナルコンテキストから予測するための異種グラフである。
これらのグラフは2つの異なる時間信号を含む: 観測記録間の間隔が固定されている間、予測カットオフに伴う記録年齢の変化。
先行研究はしばしば時間を単一の信号として扱うか、時間的表現と事前訓練を別々に研究する。
両信号の符号化が下流タスクの時間的事前学習にどのように影響するかを検討する。
本フレームワークは,学習可能な時間スケールとタイプ固有投影を用いて記録年齢をキャプチャするマルチスケール時間エンコーディングと,グラフ伝搬中の回転変換による符号付きレコード間間隔を表すロータリー時間エンコーディングを組み合わせる。
これらのエンコーディングは、歴史的関係回復、地平線を考慮した将来の関係活動予測、時間的部分グラフコントラストの3つの自己教師対象と組み合わせる。
すべての入力は、観察のカットオフを尊重する。
事前訓練は2段階で行われる: サブグラフコントラストはまず近所の表現を学習し、その後、関係回復または将来の活動予測によって改善する。
ヘテロジニアスGNNとグラフトランスフォーマーのバックボーンを用いて,11の分類および回帰タスクにまたがる5つのRelBenchデータセットを評価する。
両方のエンコーディングで、最も評価されたステージ化されたスケジュールは、2つのバックボーンでそれぞれ3.02%と1.06%、事前トレーニングなしで、または3.24%と2.37%のエンコーディングで監督されたトレーニングよりも改善される。
関連論文リスト
- From Link Prediction to Forecasting: Addressing Challenges in Batch-based Temporal Graph Learning [0.716879432974126]
バッチ指向評価の適合性はデータセットの特性に依存することを示す。
連続時間時間グラフの場合、固定サイズのバッチは異なる期間の時間ウィンドウを生成し、不整合な動的リンク予測タスクをもたらす。
離散時間時間時間グラフの場合、バッチのシーケンスはデータに存在しない時間的依存関係を付加することができる。
論文 参考訳（メタデータ） (2024-06-07T12:45:12Z) - Bidirectional Generative Pre-training for Improving Healthcare Time-series Representation Learning [9.621781933666844]
我々は、BiTimely Generative Pre-trained Transformer (BiTimelyGPT) と呼ばれる新しいアーキテクチャを提案する。
BiTimelyGPTによる生体信号と経時的臨床記録の経時的変化予測
BiTimelyGPTは、生体信号と経時的臨床記録を用いて、神経機能、疾患診断、生理的兆候を予測する上で優れた性能を示す。
論文 参考訳（メタデータ） (2024-02-14T20:19:24Z) - Intensity Profile Projection: A Framework for Continuous-Time
Representation Learning for Dynamic Networks [50.2033914945157]
本稿では、連続時間動的ネットワークデータのための表現学習フレームワークIntensity Profile Projectionを提案する。
このフレームワークは3つの段階から構成される: 対の強度関数を推定し、強度再構成誤差の概念を最小化する射影を学習する。
さらに、推定軌跡の誤差を厳密に制御する推定理論を開発し、その表現がノイズに敏感な追従解析に利用できることを示す。
論文 参考訳（メタデータ） (2023-06-09T15:38:25Z) - Self-Supervised Relation Alignment for Scene Graph Generation [44.3983804479146]
シーングラフ生成性能を改善するために,自己教師付きリレーショナルアライメントの正規化を導入する。
提案されたアライメントは一般的なもので、既存のシーングラフ生成フレームワークと組み合わせることができる。
本稿では,この自己教師付きリレーショナルアライメントと2つのシーングラフ生成アーキテクチャの有効性について述べる。
論文 参考訳（メタデータ） (2023-02-02T20:34:13Z) - DyG2Vec: Efficient Representation Learning for Dynamic Graphs [26.792732615703372]
時間グラフニューラルネットワークは、時間パターンを自動的に抽出することで、帰納的表現の学習において有望な結果を示している。
時間的エッジエンコーディングとウィンドウベースのサブグラフサンプリングを利用してタスクに依存しない埋め込みを生成する。
論文 参考訳（メタデータ） (2022-10-30T18:13:04Z) - Contrastive Learning for Time Series on Dynamic Graphs [17.46524362769774]
本稿では,グラフと時系列の結合表現の教師なし学習のためのGraphTNCというフレームワークを提案する。
実世界のデータセットを用いた分類作業において有益であることを示す。
論文 参考訳（メタデータ） (2022-09-21T21:14:28Z) - Repurposing Knowledge Graph Embeddings for Triple Representation via
Weak Supervision [77.34726150561087]
現在の方法では、事前訓練されたモデルからの実体と述語埋め込みを使わずに、スクラッチから三重埋め込みを学習する。
本研究では,知識グラフからトリプルを自動抽出し,事前学習した埋め込みモデルからそれらのペアの類似性を推定する手法を開発した。
これらのペアの類似度スコアは、細い三重表現のためにシームズ様のニューラルネットワークに供給される。
論文 参考訳（メタデータ） (2022-08-22T14:07:08Z) - Learning the Evolutionary and Multi-scale Graph Structure for
Multivariate Time Series Forecasting [50.901984244738806]
時系列の進化的・マルチスケール相互作用をモデル化する方法を示す。
特に、まず、拡張畳み込みと協調して、スケール固有の相関を捉える階層グラフ構造を提供する。
最終的な予測を得るために上記のコンポーネントを統合するために、統合ニューラルネットワークが提供される。
論文 参考訳（メタデータ） (2022-06-28T08:11:12Z) - Continuous-Time Sequential Recommendation with Temporal Graph
Collaborative Transformer [69.0621959845251]
本稿では,定義した連続時間二部グラフ上での時間グラフシーケンスレコメンダ(TGSRec)を提案する。
TCTレイヤは、ユーザとアイテムの両方からの協調的な信号を同時にキャプチャすると同時に、シーケンシャルパターン内の時間的ダイナミクスも考慮する。
5つのデータセットの実証結果は、TGSRecが他のベースラインを大幅に上回っていることを示している。
論文 参考訳（メタデータ） (2021-08-14T22:50:53Z) - Temporal Graph Signal Decomposition [12.996990722929294]
時間グラフ信号分解(TGSD)のための汎用的辞書ベースのフレームワークを提案する。
鍵となるアイデアは、グラフと時間辞書を組み合わせることで、データの低ランクでジョイントなエンコーディングを学ぶことである。
本フレームワークは, 観測の75%が欠落した時点の基準線と比較して, RMSEの28%の低減を実現している。
論文 参考訳（メタデータ） (2021-06-25T09:19:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。