論文の概要: SVDformer: Direction-Aware Spectral Graph Embedding Learning via SVD and Transformer

• arxiv url: http://arxiv.org/abs/2508.13435v1
• Date: Tue, 19 Aug 2025 01:32:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-20 15:36:31.758935
• Title: SVDformer: Direction-Aware Spectral Graph Embedding Learning via SVD and Transformer
• Title（参考訳）: SVDformer:SVDとTransformerによるスペクトルグラフ埋め込み学習
• Authors: Jiayu Fang, Zhiqi Shao, S T Boris Choy, Junbin Gao,
• Abstract要約: SVDformerは、方向対応グラフ表現学習のためのSVDとTransformerアーキテクチャを相乗化する新しいフレームワークである。 6つの有向グラフベンチマークの実験は、SVDformerがノード分類タスクにおける最先端のGNNと方向対応のベースラインを一貫して上回っていることを示している。
• 参考スコア（独自算出の注目度）: 24.552037222044504
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Directed graphs are widely used to model asymmetric relationships in real-world systems. However, existing directed graph neural networks often struggle to jointly capture directional semantics and global structural patterns due to their isotropic aggregation mechanisms and localized filtering mechanisms. To address this limitation, this paper proposes SVDformer, a novel framework that synergizes SVD and Transformer architecture for direction-aware graph representation learning. SVDformer first refines singular value embeddings through multi-head self-attention, adaptively enhancing critical spectral components while suppressing high-frequency noise. This enables learnable low-pass/high-pass graph filtering without requiring spectral kernels. Furthermore, by treating singular vectors as directional projection bases and singular values as scaling factors, SVDformer uses the Transformer to model multi-scale interactions between incoming/outgoing edge patterns through attention weights, thereby explicitly preserving edge directionality during feature propagation. Extensive experiments on six directed graph benchmarks demonstrate that SVDformer consistently outperforms state-of-the-art GNNs and direction-aware baselines on node classification tasks, establishing a new paradigm for learning representations on directed graphs.
• Abstract（参考訳）: 有向グラフは現実世界のシステムにおける非対称関係のモデル化に広く用いられている。 しかしながら、既存の有向グラフニューラルネットワークは、その等方的凝集機構と局所的なフィルタリング機構により、指向性セマンティクスとグローバルな構造パターンを共同で捉えるのに苦労することが多い。 この制限に対処するために,方向対応グラフ表現学習のためのSVDとTransformerアーキテクチャを相乗化する新しいフレームワークであるSVDformerを提案する。 SVDformerは、まずマルチヘッド自己アテンションを通じて特異値埋め込みを洗練し、高周波ノイズを抑制しながら、臨界スペクトル成分を適応的に増強する。 これにより、スペクトルカーネルを必要とせずに、学習可能なローパス/ハイパスグラフフィルタリングが可能になる。 さらに、特異ベクトルを方向投影ベースとして、特異値をスケーリング因子として扱うことにより、SVDformerはTransformerを使用して、注目重みを通して入出エッジパターン間のマルチスケール相互作用をモデル化し、特徴伝搬中のエッジ方向を明示的に保存する。 6つの有向グラフベンチマークの大規模な実験により、SVDformerはノード分類タスクにおける最先端のGNNと方向認識ベースラインを一貫して上回り、有向グラフ上で表現を学習するための新しいパラダイムを確立した。

関連論文リスト

• Self-Supervised Graph Learning via Spectral Bootstrapping and Laplacian-Based Augmentations [1.0377683220196872]
  本稿では,新しいグラフ学習フレームワークLaplaceGNNを紹介する。 本手法は学習過程にラプラシアンに基づく信号を統合する。 LaplaceGNNは最先端の自己教師付きグラフ法に比べて優れた性能を発揮する。
  論文  参考訳（メタデータ） (2025-06-25T12:23:23Z)
• A Pure Transformer Pretraining Framework on Text-attributed Graphs [50.833130854272774]
  グラフ構造を先行として扱うことで,特徴中心の事前学習の視点を導入する。 我々のフレームワークであるGraph Sequence Pretraining with Transformer (GSPT)はランダムウォークを通してノードコンテキストをサンプリングする。 GSPTはノード分類とリンク予測の両方に容易に適応でき、様々なデータセットで有望な経験的成功を示す。
  論文  参考訳（メタデータ） (2024-06-19T22:30:08Z)
• S^2Former-OR: Single-Stage Bi-Modal Transformer for Scene Graph Generation in OR [50.435592120607815]
  外科手術のシーングラフ生成(SGG)は、手術室(OR)におけるホモロジー認知知能の増強に不可欠である これまでの研究は主に多段階学習に依存しており、生成したセマンティックシーングラフはポーズ推定とオブジェクト検出を伴う中間プロセスに依存している。 本研究では,S2Former-OR(S2Former-OR)と呼ばれるORにおけるSGGのための新しいシングルステージバイモーダルトランスフォーマフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-02-22T11:40:49Z)
• Graph Transformers without Positional Encodings [0.7252027234425334]
  グラフのラプラシアンスペクトルを認識する新しいスペクトル対応アテンション機構を用いたグラフ変換器であるEigenformerを紹介する。 我々は,多数の標準GNNベンチマークにおいて,SOTAグラフ変換器の性能向上を実証的に示す。
  論文  参考訳（メタデータ） (2024-01-31T12:33:31Z)
• Label Deconvolution for Node Representation Learning on Large-scale Attributed Graphs against Learning Bias [72.33336385797944]
  本稿では,学習バイアスを軽減するため,ラベルの効率的な正規化手法であるラベルデコンボリューション(LD)を提案する。 LDはOpen Graph Benchmarkデータセット上で最先端の手法よりも大幅に優れていることを示す。
  論文  参考訳（メタデータ） (2023-09-26T13:09:43Z)
• Transformers over Directed Acyclic Graphs [6.263470141349622]
  有向非巡回グラフ(DAG)上の変換器について検討し,DAGに適したアーキテクチャ適応を提案する。 グラフトランスフォーマーは、DAGに適したグラフニューラルネットワークを概ね上回り、品質と効率の両面でSOTAグラフトランスフォーマーの性能を向上させるのに有効であることを示す。
  論文  参考訳（メタデータ） (2022-10-24T12:04:52Z)
• Spectral Transform Forms Scalable Transformer [1.19071399645846]
  この研究は自己注意の哲学から学び、情報的長距離時間相互作用を用いた効率的なスペクトルベースの神経ユニットを提案する。 開発されたスペクトルウィンドウユニット(SW)モデルは、保証された効率でスケーラブルな動的グラフを予測する。
  論文  参考訳（メタデータ） (2021-11-15T08:46:01Z)
• Spectral Graph Convolutional Networks With Lifting-based Adaptive Graph Wavelets [81.63035727821145]
  スペクトルグラフ畳み込みネットワーク(SGCN)はグラフ表現学習において注目を集めている。 本稿では,適応グラフウェーブレットを用いたグラフ畳み込みを実装した新しいスペクトルグラフ畳み込みネットワークを提案する。
  論文  参考訳（メタデータ） (2021-08-03T17:57:53Z)
• Data-Driven Learning of Geometric Scattering Networks [74.3283600072357]
  最近提案された幾何散乱変換の緩和に基づく新しいグラフニューラルネットワーク(GNN)モジュールを提案する。 我々の学習可能な幾何散乱(LEGS)モジュールは、ウェーブレットの適応的なチューニングを可能にし、学習された表現に帯域通過の特徴が現れるように促す。
  論文  参考訳（メタデータ） (2020-10-06T01:20:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。