論文の概要: QUARTET: Quad-branch cross-Attention and Random-walk Traces for Enhancing Transformers on Relational Graphs
- arxiv url: http://arxiv.org/abs/2609.26855v2
- Date: Thu, 24 Sep 2026 16:47:05 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-25 21:10:09.332471
- Title: QUARTET: Quad-branch cross-Attention and Random-walk Traces for Enhancing Transformers on Relational Graphs
- Title(参考訳): QUARTET:関係グラフ上のトランスフォーマー強化のための4分岐クロスアテンションとランダムウォークトレース
- Abstract要約: QUARTETは、局所的な部分グラフに完全な自己アテンションを適用するグラフトランスフォーマーアーキテクチャである。
これは、現在の最先端のグラフトランスフォーマーベースラインと一貫して一致または性能を向上する。
- 参考スコア(独自算出の注目度): 42.59679110619516
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Relational Deep Learning (RDL) models multi-table databases as heterogeneous temporal graphs, and graph transformers currently achieve state-of-the-art performance on benchmarks like RelBench. However, the current leading model, RelGT, suffers from two key limitations: its random local sampler yields loosely connected subgraphs that hinder message passing, and its global attention module relies on a single, seed-feature-based memory that ignores broader macro-level dynamics. To overcome these limitations, we introduce QUARTET, an expressive graph transformer architecture that applies full self-attention on local subgraphs while enriching global context through cross-attention branches. Specifically, QUARTET employs a Causal Random Walk (CRW) sampler based on recency-truncated Personalized PageRank (PPR) to extract compact, hub-robust, and densely connected local subgraphs without temporal leakage. Concurrently, a quad-branch cross-attention module integrates global context from four complementary perspectives: seed feature, seed topology, temporal dynamics, and collaborative dynamics. Across the RelBench v1 classification tasks, QUARTET consistently matches or outperforms the current state-of-the-art graph transformer baselines (HGT and RelGT). Ablation studies confirm that the CRW sampler significantly enriches local neighborhood quality, while the global branches provide essential, task-specific predictive gains.
- Abstract(参考訳): リレーショナルディープラーニング(RDL)は、異種時間グラフとしてマルチテーブルデータベースをモデル化し、グラフトランスフォーマーは現在、RelBenchのようなベンチマークで最先端のパフォーマンスを実現している。
しかし、現在のリードモデルであるRelGTでは、ランダムなローカルサンプリングがメッセージパッシングを妨げる疎結合なサブグラフを出力し、グローバルアテンションモジュールはより広範なマクロレベルのダイナミクスを無視した1つのシード機能ベースのメモリに依存している。
これらの制約を克服するため,局所グラフに完全自己アテンションを適用した表現型グラフトランスフォーマーアーキテクチャであるQUARTETを導入し,クロスアテンションブランチを通じてグローバルなコンテキストを充実させる。
具体的には、QUIRTETは、時間的リークのないコンパクトでハブロバストで密結合した局所部分グラフを抽出するために、Chusal Random Walk (CRW) サンプリング器(英語版) を用いており、これは、直流トラッピングされたパーソナライズされたPPR(Personized PageRank) に基づいている。
同時に、クワッドブランチのクロスアテンションモジュールは、シード特徴、シードトポロジ、テンポラリダイナミクス、コラボレーティブダイナミクスの4つの相補的な視点からグローバルコンテキストを統合する。
RelBench v1 の分類タスク全体において、QUARTET は現在の最先端グラフトランスフォーマーベースライン(HGT と RelGT)と一貫して一致または性能を向上する。
アブレーション研究により、CRWサンプリング装置は局所的な品質を著しく向上させ、グローバルブランチは必須でタスク固有の予測ゲインを提供することを確認した。
関連論文リスト
- STAGformer: A Spatio-temporal Agent Graph Transformer for Micro Mobility Demand Forecasting [0.0]
本稿では,線形計算複雑性を伴う効率的なグローバルモデリングを実現するS時間エージェント変換器STAGformerを提案する。
モデルは2段階のエージェントアテンション機構を導入し、学習可能な空間的および時間的エージェントトークンの小さなセットがグローバル情報を集約し、それを個々のステーションやタイムステップにブロードキャストする。
2つの実世界のデータセットの実験により、STAGformerは複数の予測地平線を越えて常に最先端のベースラインを上回っていることが示された。
論文 参考訳(メタデータ) (2026-07-07T08:15:20Z) - Evolutionary Router Feature Generation for Zero-Shot Graph Anomaly Detection with Mixture-of-Experts [60.60414602796664]
ゼロショットGADのための進化的ルータ特徴生成(EvoFG)を備えた新しいMoEフレームワークを提案する。
EvoFGは最先端のベースラインを一貫して上回り、強力で安定したゼロショットGAD性能を実現している。
論文 参考訳(メタデータ) (2026-02-12T06:16:51Z) - FAIM: Frequency-Aware Interactive Mamba for Time Series Classification [87.84511960413715]
時系列分類(TSC)は、環境モニタリング、診断、姿勢認識など、多くの実世界の応用において重要である。
本稿では,周波数対応対話型マンバモデルであるFAIMを提案する。
FAIMは既存の最先端(SOTA)手法を一貫して上回り、精度と効率のトレードオフが優れていることを示す。
論文 参考訳(メタデータ) (2025-11-26T08:36:33Z) - HeSRN: Representation Learning On Heterogeneous Graphs via Slot-Aware Retentive Network [22.60005673964228]
HeSRNは、効率的かつ表現力のあるヘテロジニアスグラフ表現学習のための、新しいヘテロジニアススロット対応Retentive Networkである。
HeSRNは、ノード分類タスクにおける最先端の異種グラフニューラルネットワークとグラフトランスフォーマーベースラインを一貫して上回る。
論文 参考訳(メタデータ) (2025-10-10T18:18:06Z) - STRGCN: Capturing Asynchronous Spatio-Temporal Dependencies for Irregular Multivariate Time Series Forecasting [14.156419219696252]
STRGCNはIMTSの複雑な相互依存性を完全連結グラフとして表現する。
4つの公開データセットの実験では、STRGCNが最先端の精度、競合するメモリ使用量、トレーニング速度を達成することが示されている。
論文 参考訳(メタデータ) (2025-05-07T06:41:33Z) - VRS-UIE: Value-Driven Reordering Scanning for Underwater Image Enhancement [104.78586859995333]
状態空間モデル(SSM)は、線形複雑性と大域的受容場のために、視覚タスクの有望なバックボーンとして登場した。
大型で均質だが無意味な海洋背景の優位性は、希少で価値ある標的の特徴表現応答を希薄にすることができる。
水中画像強調(UIE)のための新しい値駆動リダクションスキャンフレームワークを提案する。
本フレームワークは, 水バイアスを効果的に抑制し, 構造や色彩の忠実さを保ち, 優れた向上性能(WMambaを平均0.89dB超える)を実現する。
論文 参考訳(メタデータ) (2025-05-02T12:21:44Z) - SGFormer: Single-Layer Graph Transformers with Approximation-Free Linear Complexity [74.51827323742506]
グラフ上でのトランスフォーマーにおける多層アテンションの導入の必要性を評価する。
本研究では,一層伝播を一層伝播に還元できることを示す。
これは、グラフ上で強力で効率的なトランスフォーマーを構築するための新しい技術パスを示唆している。
論文 参考訳(メタデータ) (2024-09-13T17:37:34Z) - Hybrid Focal and Full-Range Attention Based Graph Transformers [0.0]
本稿では,Focal と Full-Range Graph Transformer (FFGT) という,純粋に注目に基づくアーキテクチャを提案する。
FFGTは、従来のフルレンジアテンションとエゴネットへのKホップアテンションを組み合わせることで、グローバル情報とローカル情報の両方を集約する。
提案手法は,各種オープンデータセット上での既存のグラフ変換器の性能を向上させる。
論文 参考訳(メタデータ) (2023-11-08T12:53:07Z) - Spatial-spectral Hyperspectral Image Classification via Multiple Random
Anchor Graphs Ensemble Learning [88.60285937702304]
本稿では,複数のランダムアンカーグラフアンサンブル学習(RAGE)を用いた空間スペクトルHSI分類手法を提案する。
まず、各選択されたバンドのより記述的な特徴を抽出し、局所的な構造と領域の微妙な変化を保存するローカルバイナリパターンを採用する。
次に,アンカーグラフの構成に適応隣接代入を導入し,計算複雑性を低減した。
論文 参考訳(メタデータ) (2021-03-25T09:31:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。