論文の概要: Understanding and Tackling Over-Dilution in Graph Neural Networks

• arxiv url: http://arxiv.org/abs/2508.16829v1
• Date: Fri, 22 Aug 2025 22:55:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-26 18:43:45.195061
• Title: Understanding and Tackling Over-Dilution in Graph Neural Networks
• Title（参考訳）: グラフニューラルネットワークにおける過剰希釈の理解と対処
• Authors: Junhyun Lee, Veronika Thost, Bumsoo Kim, Jaewoo Kang, Tengfei Ma,
• Abstract要約: メッセージパッシングニューラルネットワーク(MPNN)は、グラフ上の機械学習において重要な位置を占めている。 MPNNは、不規則なデータ構造のため、過密や過密といった意図しない振る舞いに苦労する。 本稿では,これまで見過ごされてきた側面に着目し,MPNNの限界を掘り下げる。
• 参考スコア（独自算出の注目度）: 32.15766560861491
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Message Passing Neural Networks (MPNNs) hold a key position in machine learning on graphs, but they struggle with unintended behaviors, such as over-smoothing and over-squashing, due to irregular data structures. The observation and formulation of these limitations have become foundational in constructing more informative graph representations. In this paper, we delve into the limitations of MPNNs, focusing on aspects that have previously been overlooked. Our observations reveal that even within a single layer, the information specific to an individual node can become significantly diluted. To delve into this phenomenon in depth, we present the concept of Over-dilution and formulate it with two dilution factors: intra-node dilution for attribute-level and inter-node dilution for node-level representations. We also introduce a transformer-based solution that alleviates over-dilution and complements existing node embedding methods like MPNNs. Our findings provide new insights and contribute to the development of informative representations. The implementation and supplementary materials are publicly available at https://github.com/LeeJunHyun/NATR.
• Abstract（参考訳）: メッセージパッシングニューラルネットワーク(MPNN)は、グラフ上の機械学習において重要な位置を占めるが、不規則なデータ構造のため、過剰なスムーシングや過剰なスカッシングといった意図しない振る舞いに苦労する。 これらの制限の観察と定式化は、より情報的なグラフ表現を構築する上で基礎となっている。 本稿では,これまで見過ごされてきた側面に着目し,MPNNの限界を掘り下げる。 観測の結果, 単一層内においても, 個々のノードに固有の情報が著しく希薄になることが判明した。 この現象を深く掘り下げるために、我々は過剰希釈の概念を示し、2つの希釈因子(属性レベルのノード内希釈とノードレベルのノード間希釈のノード間希釈)で定式化する。 また,MPNNなどの既存ノード埋め込み手法を補完するトランスフォーマーベースのソリューションも導入する。 この知見は新たな洞察を与え,情報表現の発達に寄与する。 実装と追加資料はhttps://github.com/LeeJunHyun/NATRで公開されている。

関連論文リスト

• Rewiring Techniques to Mitigate Oversquashing and Oversmoothing in GNNs: A Survey [0.0]
  グラフニューラルネットワーク(GNN)は,グラフ構造化データから学習するための強力なツールだが,その有効性は2つの重要な課題によって制約されることが多い。 オーバーキャッシング(Oversquashing) – 遠いノードからの情報の過剰な圧縮が大きな情報損失と過度なスムース化をもたらし、繰り返しメッセージパッシングの繰り返しがノード表現を均質化し、意味のある区別を隠蔽する。 本研究では,グラフトポロジを改良して情報拡散を高めることで,これらの構造的ボトルネックに対処する手法であるグラフリウィリング手法について検討する。
  論文  参考訳（メタデータ） (2024-11-26T13:38:12Z)
• Probabilistic Graph Rewiring via Virtual Nodes [21.273828055299408]
  メッセージパッシンググラフニューラルネットワーク(MPNN)は、グラフベースの機械学習の強力なパラダイムとして登場した。 MPNNは、受信フィールドの制限や構造的ボトルネックが、グラフ内の情報フローを妨げている、アンダーリーチ(low-reaching)やオーバースキャッシング(over-squashing)といった課題に直面している。 本稿では,暗黙的にメッセージパッシングニューラルネットワーク(IPR-MPNN)を提案する。
  論文  参考訳（メタデータ） (2024-05-27T16:11:49Z)
• Degree-based stratification of nodes in Graph Neural Networks [66.17149106033126]
  グラフニューラルネットワーク(GNN)アーキテクチャを変更して,各グループのノードに対して,重み行列を個別に学習する。 このシンプルな実装変更により、データセットとGNNメソッドのパフォーマンスが改善されているようだ。
  論文  参考訳（メタデータ） (2023-12-16T14:09:23Z)
• DINE: Dimensional Interpretability of Node Embeddings [3.3040172566302206]
  ノード埋め込みのようなグラフ表現学習手法は、ノードを潜在ベクトル空間にマッピングするための強力なアプローチである。 埋め込みベクトルのグローバル解釈可能性を測定する新しい指標を開発した。 次に、タスク性能を犠牲にすることなく、より解釈しやすくすることで、既存のノード埋め込みを再現できる新しいアプローチであるDINEを紹介します。
  論文  参考訳（メタデータ） (2023-10-02T12:47:42Z)
• DEGREE: Decomposition Based Explanation For Graph Neural Networks [55.38873296761104]
  我々は,GNN予測に対する忠実な説明を提供するためにDGREEを提案する。 GNNの情報生成と集約機構を分解することにより、DECREEは入力グラフの特定のコンポーネントのコントリビューションを最終的な予測に追跡することができる。 また,従来の手法で見過ごされるグラフノード間の複雑な相互作用を明らかにするために,サブグラフレベルの解釈アルゴリズムを設計する。
  論文  参考訳（メタデータ） (2023-05-22T10:29:52Z)
• Deep Graph Neural Networks via Posteriori-Sampling-based Node-Adaptive Residual Module [65.81781176362848]
  グラフニューラルネットワーク(GNN)は、近隣情報収集を通じてグラフ構造化データから学習することができる。 レイヤーの数が増えるにつれて、ノード表現は区別不能になり、オーバー・スムーシング(over-smoothing)と呼ばれる。 我々は,textbfPosterior-Sampling-based, Node-distinguish Residual Module (PSNR)を提案する。
  論文  参考訳（メタデータ） (2023-05-09T12:03:42Z)
• Mixed Graph Contrastive Network for Semi-Supervised Node Classification [63.924129159538076]
  我々はMixed Graph Contrastive Network(MGCN)と呼ばれる新しいグラフコントラスト学習手法を提案する。 本研究では,非摂動増強戦略と相関還元機構により,潜伏埋め込みの識別能力を向上する。 これら2つの設定を組み合わせることで、識別表現学習のために、豊富なノードと稀に価値あるラベル付きノードの両方から、豊富な監視情報を抽出する。
  論文  参考訳（メタデータ） (2022-06-06T14:26:34Z)
• Graph Neural Networks with Learnable Structural and Positional Representations [83.24058411666483]
  任意のグラフの大きな問題は、ノードの標準位置情報の欠如である。 ノードの位置ノード(PE)を導入し、Transformerのように入力層に注入する。 両方のGNNクラスで学習可能なPEを考えると、分子データセットのパフォーマンスは2.87%から64.14%に向上する。
  論文  参考訳（メタデータ） (2021-10-15T05:59:15Z)
• Node2Seq: Towards Trainable Convolutions in Graph Neural Networks [59.378148590027735]
  今回提案するグラフネットワーク層であるNode2Seqは,隣接ノードの重みを明示的に調整可能なノード埋め込みを学習する。 対象ノードに対して,当手法は注意メカニズムを介して隣接ノードをソートし,さらに1D畳み込みニューラルネットワーク(CNN)を用いて情報集約のための明示的な重み付けを行う。 また, 特徴学習のための非局所的情報を, 注意スコアに基づいて適応的に組み込むことを提案する。
  論文  参考訳（メタデータ） (2021-01-06T03:05:37Z)
• NCGNN: Node-level Capsule Graph Neural Network [45.23653314235767]
  ノードレベルカプセルグラフニューラルネットワーク(ncgnn)は、ノードをカプセル群として表現する。 凝集に適したカプセルを適応的に選択する新しい動的ルーティング手法を開発した。 NCGNNは、過度にスムースな問題に対処でき、分類のためのより良いノード埋め込みを生成することで、芸術の状態を上回ります。
  論文  参考訳（メタデータ） (2020-12-07T06:46:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。