論文の概要: GraphTARIF: Linear Graph Transformer with Augmented Rank and Improved Focus

• arxiv url: http://arxiv.org/abs/2510.10631v1
• Date: Sun, 12 Oct 2025 14:22:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-14 18:06:30.040628
• Title: GraphTARIF: Linear Graph Transformer with Augmented Rank and Improved Focus
• Title（参考訳）: GraphTARIF: ランク向上とフォーカス改善による線形グラフ変換器
• Authors: Zhaolin Hu, Kun Li, Hehe Fan, Yi Yang,
• Abstract要約: 本稿では,注目度と注目度を両立させる新しい枠組みを提案する。 具体的には、値行列にゲート付き局所グラフネットワークブランチをアタッチすることで、線形注意力を高める。 また、注意点に学習可能なログパワー機能を導入し、エントロピーを減らし焦点を鋭くする。
• 参考スコア（独自算出の注目度）: 32.63390871016499
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Linear attention mechanisms have emerged as efficient alternatives to full self-attention in Graph Transformers, offering linear time complexity. However, existing linear attention models often suffer from a significant drop in expressiveness due to low-rank projection structures and overly uniform attention distributions. We theoretically prove that these properties reduce the class separability of node representations, limiting the model's classification ability. To address this, we propose a novel hybrid framework that enhances both the rank and focus of attention. Specifically, we enhance linear attention by attaching a gated local graph network branch to the value matrix, thereby increasing the rank of the resulting attention map. Furthermore, to alleviate the excessive smoothing effect inherent in linear attention, we introduce a learnable log-power function into the attention scores to reduce entropy and sharpen focus. We theoretically show that this function decreases entropy in the attention distribution, enhancing the separability of learned embeddings. Extensive experiments on both homophilic and heterophilic graph benchmarks demonstrate that our method achieves competitive performance while preserving the scalability of linear attention.
• Abstract（参考訳）: 線形アテンションメカニズムはグラフトランスフォーマーの完全な自己アテンションに代わる効率的な代替手段として登場し、線形時間複雑性を提供する。 しかし、既存の線形アテンションモデルは、低ランク射影構造と過度に均一なアテンション分布により、表現性の顕著な低下に悩まされることが多い。 理論的には、これらの性質はノード表現のクラス分離性を低下させ、モデルの分類能力を制限する。 そこで本研究では,注目度と注目度を両立させるハイブリッドフレームワークを提案する。 具体的には、値行列にゲート付き局所グラフネットワーク分岐を付加することにより、線形注意を高め、その結果の注目マップのランクを増大させる。 さらに, 線形注意に固有の過度な平滑化効果を軽減するため, 注意点に学習可能な対数パワー関数を導入し, エントロピーを低減し, 焦点を鋭くする。 理論的には、この関数は注意分布のエントロピーを減少させ、学習された埋め込みの分離性を高める。 ホモ親和性およびヘテロ親和性グラフのベンチマーク実験により,線形注意のスケーラビリティを保ちながら,本手法が競合性能を達成することを示した。

関連論文リスト

• Mitigating Over-Squashing in Graph Neural Networks by Spectrum-Preserving Sparsification [81.06278257153835]
  本稿では,構造的ボトルネック低減とグラフ特性保存のバランスをとるグラフ再構成手法を提案する。 本手法は、疎性を維持しながら接続性を高めたグラフを生成し、元のグラフスペクトルを大半保存する。
  論文  参考訳（メタデータ） (2025-06-19T08:01:00Z)
• Log-Linear Attention [81.09631871212211]
  本稿では,線形注意の効率とソフトマックス注意の表現性をバランスさせる注意機構である対数線形注意を開発する。 特定の成長関数を用いて、対数線形アテンションは、計算コストが列長で対数線形である類似のマトゥルリッチ並列形式を許容することを示す。 ログ線形アテンションは一般的なフレームワークであり、既存の線形アテンションのバリエーションの上に適用することができる。
  論文  参考訳（メタデータ） (2025-06-05T08:44:51Z)
• PolaFormer: Polarity-aware Linear Attention for Vision Transformers [16.35834984488344]
  線形アテンションはソフトマックスベースのアテンションに代わる有望な代替手段として浮上している。 同一符号と反対符号の問合せキーの相互作用を明示的にモデル化する極性対応線形アテンション機構を提案する。 単純さと各次元の異なる寄与を認識するために、我々は再スケーリングのために学習可能なパワー関数を用いる。
  論文  参考訳（メタデータ） (2025-01-25T03:46:35Z)
• An end-to-end attention-based approach for learning on graphs [8.552020965470113]
  グラフ上で学習するためのトランスフォーマーベースのアーキテクチャは、効果的な学習メカニズムとして注目によって動機付けられている。 本稿では,エンコーダとアテンションプーリング機構を組み合わせた,純粋に注意に基づくアプローチを提案する。 その単純さにもかかわらず、このアプローチは微調整されたメッセージパッシングベースラインよりも優れており、最近70以上のノードとグラフレベルのタスクでトランスフォーマーベースのメソッドが提案されている。
  論文  参考訳（メタデータ） (2024-02-16T16:20:11Z)
• Through the Dual-Prism: A Spectral Perspective on Graph Data Augmentation for Graph Classification [67.35058947477631]
  本稿では,DP-Noise や DP-Mask などの拡張グラフを多角化しながら,重要なグラフ特性を維持できるDual-Prism (DP) 拡張手法を提案する。 大規模な実験により、我々のアプローチの効率が検証され、グラフデータ拡張のための新しい有望な方向が提供される。
  論文  参考訳（メタデータ） (2024-01-18T12:58:53Z)
• FLatten Transformer: Vision Transformer using Focused Linear Attention [80.61335173752146]
  線形注意(linear attention)は、その線形複雑性に対して、はるかに効率的な代替手段を提供する。 現在の線形アテンションアプローチは、大きなパフォーマンス劣化に悩まされるか、追加の計算オーバーヘッドを導入するかのいずれかである。 本研究では,高効率と表現性の両方を実現するために,新しいFocused Linear Attentionモジュールを提案する。
  論文  参考訳（メタデータ） (2023-08-01T10:37:12Z)
• Causally-guided Regularization of Graph Attention Improves Generalizability [69.09877209676266]
  本稿では,グラフアテンションネットワークのための汎用正規化フレームワークであるCARを紹介する。 メソッド名は、グラフ接続に対するアクティブ介入の因果効果とアテンションメカニズムを一致させる。 ソーシャル・メディア・ネットワーク規模のグラフでは、CAR誘導グラフ再構成アプローチにより、グラフの畳み込み手法のスケーラビリティとグラフの注意力の向上を両立させることができる。
  論文  参考訳（メタデータ） (2022-10-20T01:29:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。