論文の概要: Graph Laplacian Wavelet Transformer via Learnable Spectral Decomposition

• arxiv url: http://arxiv.org/abs/2505.07862v1
• Date: Fri, 09 May 2025 00:13:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-14 20:57:54.234065
• Title: Graph Laplacian Wavelet Transformer via Learnable Spectral Decomposition
• Title（参考訳）: 学習可能なスペクトル分解によるグラフラプラシアンウェーブレット変換器
• Authors: Andrew Kiruluta, Eric Lundy, Priscilla Burity,
• Abstract要約: 構造化言語タスクのための既存のシーケンスからシーケンスモデルは、ドット積の自己注意機構に大きく依存している。 このボトルネックを学習可能なマルチスケールのウェーブレット変換に置き換える新しいアーキテクチャであるGraph Wavelet Transformer(GWT)を紹介します。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Existing sequence to sequence models for structured language tasks rely heavily on the dot product self attention mechanism, which incurs quadratic complexity in both computation and memory for input length N. We introduce the Graph Wavelet Transformer (GWT), a novel architecture that replaces this bottleneck with a learnable, multi scale wavelet transform defined over an explicit graph Laplacian derived from syntactic or semantic parses. Our analysis shows that multi scale spectral decomposition offers an interpretable, efficient, and expressive alternative to quadratic self attention for graph structured sequence modeling.
• Abstract（参考訳）: 我々はこのボトルネックを、構文解析やセマンティック解析から派生したラプラシアングラフ上で定義された、学習可能なマルチスケールのウェーブレット変換に置き換える新しいアーキテクチャであるGraph Wavelet Transformer (GWT)を紹介した。 解析により,多スケールのスペクトル分解は,グラフ構造化シーケンスモデリングのための2次自己注意の解釈可能,効率的,表現的代替手段を提供することが示された。

関連論文リスト

• Graph-Dictionary Signal Model for Sparse Representations of Multivariate Data [49.77103348208835]
  グラフの有限集合がラプラシアンの重み付き和を通してデータ分布の関係を特徴付けるグラフ辞書信号モデルを定義する。 本稿では,観測データからグラフ辞書表現を推論するフレームワークを提案する。 我々は,脳活動データに基づく運動画像復号作業におけるグラフ辞書表現を利用して,従来の手法よりも想像的な動きをよりよく分類する。
  論文  参考訳（メタデータ） (2024-11-08T17:40:43Z)
• Interpretable Lightweight Transformer via Unrolling of Learned Graph Smoothness Priors [16.04850782310842]
  我々は反復最適化アルゴリズムをアンロールすることで、解釈可能で軽量なトランスフォーマーのようなニューラルネットワークを構築する。 正規化信号依存グラフ学習モジュールは、従来の変圧器の基本自己保持機構の変種に相当する。
  論文  参考訳（メタデータ） (2024-06-06T14:01:28Z)
• Generating Graphs via Spectral Diffusion [48.70458395826864]
  本稿では,1)グラフラプラシア行列のスペクトル分解と2)拡散過程に基づく新しいグラフ生成モデルGGSDを提案する。 合成グラフと実世界のグラフの両方に関する広範な実験は、最先端の代替品に対する我々のモデルの強みを実証している。
  論文  参考訳（メタデータ） (2024-02-29T09:26:46Z)
• Graph Transformers without Positional Encodings [0.7252027234425334]
  グラフのラプラシアンスペクトルを認識する新しいスペクトル対応アテンション機構を用いたグラフ変換器であるEigenformerを紹介する。 我々は,多数の標準GNNベンチマークにおいて,SOTAグラフ変換器の性能向上を実証的に示す。
  論文  参考訳（メタデータ） (2024-01-31T12:33:31Z)
• Transformers as Graph-to-Graph Models [13.630495199720423]
  トランスフォーマーは本質的にグラフからグラフへのモデルであり、シーケンスは特別なケースに過ぎない、と我々は主張する。 我々のGraph-to-Graph Transformerアーキテクチャは,グラフエッジを注目重み計算に入力し,注目機能を備えたグラフエッジを予測することで,これを明確化する。
  論文  参考訳（メタデータ） (2023-10-27T07:21:37Z)
• Discrete Graph Auto-Encoder [52.50288418639075]
  離散グラフオートエンコーダ(DGAE)という新しいフレームワークを導入する。 まず、置換同変オートエンコーダを用いてグラフを離散潜在ノード表現の集合に変換する。 2番目のステップでは、離散潜在表現の集合をソートし、特別に設計された自己回帰モデルを用いてそれらの分布を学習する。
  論文  参考訳（メタデータ） (2023-06-13T12:40:39Z)
• GrannGAN: Graph annotation generative adversarial networks [72.66289932625742]
  本稿では,高次元分布をモデル化し,グラフスケルトンと整合した複雑な関係特徴構造を持つデータの新しい例を生成することの問題点を考察する。 提案するモデルは,タスクを2つのフェーズに分割することで,各データポイントのグラフ構造に制約されたデータ特徴を生成する問題に対処する。 第一に、与えられたグラフのノードに関連する機能の分布をモデル化し、第二に、ノードのフィーチャに条件付きでエッジ機能を補完する。
  論文  参考訳（メタデータ） (2022-12-01T11:49:07Z)
• Deformable Graph Transformer [31.254872949603982]
  本稿では動的にサンプリングされたキーと値のペアでスパースアテンションを行うDeformable Graph Transformer (DGT)を提案する。 実験により、我々の新しいグラフトランスフォーマーは既存のトランスフォーマーベースモデルより一貫して優れていることが示された。
  論文  参考訳（メタデータ） (2022-06-29T00:23:25Z)
• Spectral Graph Convolutional Networks With Lifting-based Adaptive Graph Wavelets [81.63035727821145]
  スペクトルグラフ畳み込みネットワーク(SGCN)はグラフ表現学習において注目を集めている。 本稿では,適応グラフウェーブレットを用いたグラフ畳み込みを実装した新しいスペクトルグラフ畳み込みネットワークを提案する。
  論文  参考訳（メタデータ） (2021-08-03T17:57:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。