論文の概要: Relieving the Over-Aggregating Effect in Graph Transformers

• arxiv url: http://arxiv.org/abs/2510.21267v1
• Date: Fri, 24 Oct 2025 08:56:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-28 06:57:23.405669
• Title: Relieving the Over-Aggregating Effect in Graph Transformers
• Title（参考訳）: グラフ変換器におけるオーバーアグリゲーション効果の回復
• Authors: Junshu Sun, Wanxing Chang, Chenxue Yang, Qingming Huang, Shuhui Wang,
• Abstract要約: 過剰集約は、大量のメッセージが識別の少ない単一のノードに集約されたときに起こる。 グラフアテンションのためのプラグイン・アンド・プレイ方式であるワイドフォーマーを提案する。
• 参考スコア（独自算出の注目度）: 76.05464934030516
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Graph attention has demonstrated superior performance in graph learning tasks. However, learning from global interactions can be challenging due to the large number of nodes. In this paper, we discover a new phenomenon termed over-aggregating. Over-aggregating arises when a large volume of messages is aggregated into a single node with less discrimination, leading to the dilution of the key messages and potential information loss. To address this, we propose Wideformer, a plug-and-play method for graph attention. Wideformer divides the aggregation of all nodes into parallel processes and guides the model to focus on specific subsets of these processes. The division can limit the input volume per aggregation, avoiding message dilution and reducing information loss. The guiding step sorts and weights the aggregation outputs, prioritizing the informative messages. Evaluations show that Wideformer can effectively mitigate over-aggregating. As a result, the backbone methods can focus on the informative messages, achieving superior performance compared to baseline methods.
• Abstract（参考訳）: グラフアテンションは、グラフ学習タスクにおいて優れたパフォーマンスを示している。 しかし、多数のノードがあるため、グローバルな相互作用から学ぶことは困難である。 本稿では,過剰凝集現象と呼ばれる新しい現象を発見する。 過剰集約は、大量のメッセージが識別の少ない単一ノードに集約され、キーメッセージの希釈と潜在的な情報損失につながる。 そこで本稿では,グラフアテンションのためのプラグイン・アンド・プレイ方式であるワイドフォーマーを提案する。 ワイドフォーマーは、すべてのノードの集約を並列プロセスに分割し、これらのプロセスの特定のサブセットにフォーカスするようモデルに誘導する。 この分割は、アグリゲーション当たりの入力量を制限することができ、メッセージの希釈を回避し、情報損失を減らすことができる。 誘導ステップはアグリゲーション出力をソートし、重み付けし、通知メッセージの優先順位付けを行う。 評価の結果、ワイドフォーマーは過剰凝集を効果的に軽減できることが示された。 結果として、バックボーン方式は、基本的な方法よりも優れたパフォーマンスを達成することができる。

関連論文リスト

• Beyond Message Passing: Neural Graph Pattern Machine [50.78679002846741]
  本稿では,グラフサブストラクチャから直接学習することで,メッセージパッシングをバイパスする新しいフレームワークであるNeural Graph Pattern Machine(GPM)を紹介する。 GPMはタスク関連グラフパターンを効率的に抽出し、エンコードし、優先順位付けする。
  論文  参考訳（メタデータ） (2025-01-30T20:37:47Z)
• Preventing Representational Rank Collapse in MPNNs by Splitting the Computational Graph [9.498398257062641]
  複数の有向非巡回グラフ上での操作が常に我々の条件を満たすことを示し、ノードの厳密な部分順序付けを定義することによってそれらを得る提案をする。 我々は、より情報的なノード表現を実現するために、マルチリレーショナルグラフ上での操作の利点を確認する包括的な実験を行う。
  論文  参考訳（メタデータ） (2024-09-17T19:16:03Z)
• Task-Oriented Communication for Graph Data: A Graph Information Bottleneck Approach [12.451324619122405]
  本稿では,コミュニケーションのオーバーヘッドを低減しつつ,鍵情報を保持するタスク中心のより小さなサブグラフを抽出する手法を提案する。 提案手法では,グラフニューラルネットワーク(GNN)とグラフ情報ボトルネック(GIB)の原理を用いて,伝達に適したコンパクトで情報的,堅牢なグラフ表現を生成する。
  論文  参考訳（メタデータ） (2024-09-04T14:01:56Z)
• Neighbour-level Message Interaction Encoding for Improved Representation Learning on Graphs [13.83680253264399]
  本稿では,グラフ表現学習を改善するための近隣レベルのメッセージインタラクション情報符号化手法を提案する。 提案手法は,メッセージパスグラフ畳み込みネットワークに統合可能な汎用手法である。
  論文  参考訳（メタデータ） (2024-04-15T14:07:33Z)
• Hierarchical Aggregations for High-Dimensional Multiplex Graph Embedding [7.271256448682229]
  HMGEは高次元多重グラフの階層的アグリゲーションに基づく新しい埋め込み手法である。 我々は、ローカルパッチとグローバルサマリー間の相互情報を活用して、監督なしにモデルを訓練する。 合成および実世界のデータに関する詳細な実験は、下流監視タスクに対する我々のアプローチの適合性を示している。
  論文  参考訳（メタデータ） (2023-12-28T05:39:33Z)
• Flood and Echo Net: Algorithmically Aligned GNNs that Generalize [18.95453617434051]
  我々は新しいタイプのグラフニューラルネットワークとしてFloodとEcho Netを提案する。 様々な大きさのグラフをまたいで一般化するメカニズムの本質的な能力は、アルゴリズム学習のタスクの実践的なアーキテクチャとして位置づけられる。 我々は,Flood と Echo Net を様々な合成タスクと SALSA-CLRS ベンチマークでテストし,アルゴリズムによる実行のアライメントにより,より大きなグラフサイズへの一般化が向上することを確認した。
  論文  参考訳（メタデータ） (2023-10-10T19:47:58Z)
• NodeFormer: A Scalable Graph Structure Learning Transformer for Node Classification [70.51126383984555]
  本稿では,任意のノード間のノード信号を効率的に伝搬する全ペアメッセージパッシング方式を提案する。 効率的な計算は、カーナライズされたGumbel-Softmax演算子によって実現される。 グラフ上のノード分類を含む様々なタスクにおいて,本手法の有望な有効性を示す実験を行った。
  論文  参考訳（メタデータ） (2023-06-14T09:21:15Z)
• Distributed Learning over Networks with Graph-Attention-Based Personalization [49.90052709285814]
  分散ディープラーニングのためのグラフベースパーソナライズアルゴリズム(GATTA)を提案する。 特に、各エージェントのパーソナライズされたモデルは、グローバルな部分とノード固有の部分で構成される。 グラフ内の各エージェントを1つのノードとして扱うことにより、ノード固有のパラメータを特徴として扱うことにより、グラフアテンション機構の利点を継承することができる。
  論文  参考訳（メタデータ） (2023-05-22T13:48:30Z)
• Dynamic Graph Message Passing Networks for Visual Recognition [112.49513303433606]
  長距離依存のモデリングは、コンピュータビジョンにおけるシーン理解タスクに不可欠である。 完全連結グラフはそのようなモデリングには有益であるが、計算オーバーヘッドは禁じられている。 本稿では,計算複雑性を大幅に低減する動的グラフメッセージパッシングネットワークを提案する。
  論文  参考訳（メタデータ） (2022-09-20T14:41:37Z)
• Text Information Aggregation with Centrality Attention [86.91922440508576]
  本稿では, 固有中央集権自己注意という, 集権重み付けの新たな方法を提案する。 文中のすべての単語に対する完全連結グラフを構築し,各単語の注意点として固有中央性を計算する。
  論文  参考訳（メタデータ） (2020-11-16T13:08:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。