論文の概要: Understanding Oversmoothing in GNNs as Consensus in Opinion Dynamics

• arxiv url: http://arxiv.org/abs/2501.19089v1
• Date: Fri, 31 Jan 2025 12:34:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-03 14:01:16.549081
• Title: Understanding Oversmoothing in GNNs as Consensus in Opinion Dynamics
• Title（参考訳）: GNNにおけるオピニオンダイナミクスのコンセンサスとしての過平滑化の理解
• Authors: Keqin Wang, Yulong Yang, Ishan Saha, Christine Allen-Blanchette,
• Abstract要約: グラフニューラルネットワーク(GNN)における過剰なスムーシングと、意見力学におけるコンセンサスや合意の類似性を示す。 非線形意見力学に基づく新しい連続深度GNNモデルを設計し,行動誘発型メッセージパッシングニューラルネットワーク(BIMP)と呼ばれる我々のモデルが,一般的な入力に対する過度なスムーシングを回避することを証明した。
• 参考スコア（独自算出の注目度）: 1.793683576639675
• License:
• Abstract: In contrast to classes of neural networks where the learned representations become increasingly expressive with network depth, the learned representations in graph neural networks (GNNs), tend to become increasingly similar. This phenomena, known as oversmoothing, is characterized by learned representations that cannot be reliably differentiated leading to reduced predictive performance. In this paper, we propose an analogy between oversmoothing in GNNs and consensus or agreement in opinion dynamics. Through this analogy, we show that the message passing structure of recent continuous-depth GNNs is equivalent to a special case of opinion dynamics (i.e., linear consensus models) which has been theoretically proven to converge to consensus (i.e., oversmoothing) for all inputs. Using the understanding developed through this analogy, we design a new continuous-depth GNN model based on nonlinear opinion dynamics and prove that our model, which we call behavior-inspired message passing neural network (BIMP) circumvents oversmoothing for general inputs. Through extensive experiments, we show that BIMP is robust to oversmoothing and adversarial attack, and consistently outperforms competitive baselines on numerous benchmarks.
• Abstract（参考訳）: 学習された表現がネットワーク深度で表現されるようになるニューラルネットワークのクラスとは対照的に、グラフニューラルネットワーク(GNN)における学習された表現はますます類似する傾向にある。 この現象はオーバースムーシング (oversmoothing) と呼ばれ、予測性能の低下につながる確実に区別できない学習された表現によって特徴づけられる。 本稿では,GNNにおける過剰なスムーシングと,意見力学におけるコンセンサスや合意の類似性を提案する。 この類似性を通して、最近の連続深度GNNのメッセージパッシング構造は、すべての入力に対する収束(すなわち過度な平滑化)に収束することが理論的に証明された意見力学(リニアコンセンサスモデル)の特別な場合と等価であることを示す。 このアナロジーによって発達した理解を用いて、非線形意見力学に基づく新しい連続深度GNNモデルを設計し、我々のモデルが一般的な入力に対する過剰なスムースを回避していることを証明した。 広範な実験を通して、BIMPは過度にスムースな攻撃や敵攻撃に対して頑健であり、多くのベンチマークにおいて競争ベースラインを一貫して上回っていることを示す。

関連論文リスト

• Artificial Kuramoto Oscillatory Neurons [65.16453738828672]
  神経科学とAIの両方において、ニューロン間の'結合'が競合学習の形式につながることは長年知られている。 完全に接続された畳み込みや注意機構などの任意の接続設計とともに人工的再考を導入する。 このアイデアは、教師なしオブジェクト発見、敵対的ロバスト性、不確実性、推論など、幅広いタスクに性能改善をもたらすことを示す。
  論文  参考訳（メタデータ） (2024-10-17T17:47:54Z)
• Uncertainty in Graph Neural Networks: A Survey [50.63474656037679]
  グラフニューラルネットワーク(GNN)は、様々な現実世界のアプリケーションで広く使われている。 しかし、多様な情報源から生じるGNNの予測的不確実性は、不安定で誤った予測につながる可能性がある。 本調査は,不確実性の観点からGNNの概要を概観することを目的としている。
  論文  参考訳（メタデータ） (2024-03-11T21:54:52Z)
• Resilient Graph Neural Networks: A Coupled Dynamical Systems Approach [12.856220339384269]
  グラフニューラルネットワーク(GNN)は、さまざまなグラフベースのタスクに対処するための重要なコンポーネントとして、自らを確立している。 彼らの顕著な成功にもかかわらず、GNNは相変わらず敵の攻撃の形で摂動を入力できる。 本稿では, 連成力学系のレンズを用いて, 対向摂動に対するGNNの強化手法を提案する。
  論文  参考訳（メタデータ） (2023-11-12T20:06:48Z)
• From Continuous Dynamics to Graph Neural Networks: Neural Diffusion and Beyond [32.290102818872526]
  グラフニューラルネットワーク(GNN)は、データモデリングにおいて大きな可能性を示しており、様々な分野で広く応用されている。 我々は,GNNの継続的な視点を活用した,最初の体系的かつ包括的な研究のレビューを行う。
  論文  参考訳（メタデータ） (2023-10-16T06:57:24Z)
• Structural Neural Additive Models: Enhanced Interpretable Machine Learning [0.0]
  近年、この分野は、視覚的に解釈可能なニューラル・アダプティブ・モデル(NAM)のような、解釈可能なニューラルネットワークに向かって進んでいる。 特徴効果の可視化を超越したインテリジェンス指向のさらなるステップを提案し, 構造的ニューラル付加モデル(SNAM)を提案する。 古典的かつ明確に解釈可能な統計手法とニューラルネットワークの予測能力を組み合わせたモデリングフレームワーク。
  論文  参考訳（メタデータ） (2023-02-18T09:52:30Z)
• Deep Architecture Connectivity Matters for Its Convergence: A Fine-Grained Analysis [94.64007376939735]
  我々は、勾配降下訓練におけるディープニューラルネットワーク(DNN)の収束に対する接続パターンの影響を理論的に特徴づける。 接続パターンの単純なフィルタリングによって、評価対象のモデルの数を削減できることが示される。
  論文  参考訳（メタデータ） (2022-05-11T17:43:54Z)
• Characterizing Learning Dynamics of Deep Neural Networks via Complex Networks [1.0869257688521987]
  複素ネットワーク理論(CNT)は、ディープニューラルネットワーク(DNN)を重み付きグラフとして表現し、それらを動的システムとして研究する。 ノード/ニューロンとレイヤ、すなわちNodes StrengthとLayers Fluctuationのメトリクスを紹介します。 本フレームワークは,学習力学のトレンドを抽出し,高精度ネットワークから低次ネットワークを分離する。
  論文  参考訳（メタデータ） (2021-10-06T10:03:32Z)
• Towards Deeper Graph Neural Networks [63.46470695525957]
  グラフ畳み込みは近傍の集約を行い、最も重要なグラフ操作の1つである。 いくつかの最近の研究で、この性能劣化は過度に滑らかな問題に起因している。 本研究では,大きな受容領域からの情報を適応的に組み込むディープ適応グラフニューラルネットワーク(DAGNN)を提案する。
  論文  参考訳（メタデータ） (2020-07-18T01:11:14Z)
• Neural Networks with Recurrent Generative Feedback [61.90658210112138]
  畳み込みニューラルネットワーク(CNN)でこの設計をインスタンス化する 実験では、標準ベンチマーク上の従来のフィードフォワードCNNに対して、CNN-Fは敵のロバスト性を大幅に改善した。
  論文  参考訳（メタデータ） (2020-07-17T19:32:48Z)
• A Chain Graph Interpretation of Real-World Neural Networks [58.78692706974121]
  本稿では,NNを連鎖グラフ(CG)、フィードフォワードを近似推論手法として識別する別の解釈を提案する。 CG解釈は、確率的グラフィカルモデルのリッチな理論的枠組みの中で、各NNコンポーネントの性質を規定する。 我々は,CG解釈が様々なNN技術に対する新しい理論的支援と洞察を提供することを示す具体例を実例で示す。
  論文  参考訳（メタデータ） (2020-06-30T14:46:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。