論文の概要: Resolving Oversmoothing with Opinion Dissensus

• arxiv url: http://arxiv.org/abs/2501.19089v2
• Date: Fri, 16 May 2025 21:51:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-20 17:08:52.038736
• Title: Resolving Oversmoothing with Opinion Dissensus
• Title（参考訳）: Opinion Dissensus による過平滑化の解消
• Authors: Keqin Wang, Yulong Yang, Ishan Saha, Christine Allen-Blanchette,
• Abstract要約: 我々は,GNNにおける過剰な会話と,意見力学文学におけるコンセンサス(つまり完全合意)の類似性を紹介する。 複数のGNNモデルのメッセージパッシングアルゴリズムは,グラフ構造によらず,すべての入力に対してコンセンサスに収束することが示されている線形意見力学モデルと等価であることを示す。
• 参考スコア（独自算出の注目度）: 1.793683576639675
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: While graph neural networks (GNNs) have allowed researchers to successfully apply neural networks to non-Euclidean domains, deep GNNs often exhibit lower predictive performance than their shallow counterparts. This phenomena has been attributed in part to oversmoothing, the tendency of node representations to become increasingly similar with network depth. In this paper we introduce an analogy between oversmoothing in GNNs and consensus (i.e., perfect agreement) in the opinion dynamics literature. We show that the message passing algorithms of several GNN models are equivalent to linear opinion dynamics models which have been shown to converge to consensus for all inputs regardless of the graph structure. This new perspective on oversmoothing motivates the use of nonlinear opinion dynamics as an inductive bias in GNN models. In our Behavior-Inspired Message Passing (BIMP) GNN, we leverage the nonlinear opinion dynamics model which is more general than the linear opinion dynamics model, and can be designed to converge to dissensus for general inputs. Through extensive experiments we show that BIMP resists oversmoothing beyond 100 time steps and consistently outperforms existing architectures even when those architectures are amended with oversmoothing mitigation techniques. We also show that BIMP has several desirable properties including well behaved gradients and adaptability to homophilic and heterophilic datasets.
• Abstract（参考訳）: グラフニューラルネットワーク(GNN)は、研究者が非ユークリッド領域にニューラルネットワークをうまく適用することを可能にする一方で、深いGNNは浅い領域よりも予測性能が低いことが多い。 この現象は、ノード表現がネットワーク深度とますます類似する傾向にある過度な平滑化によるものと考えられている。 本稿では,GNNにおける過剰な表現と,意見力学文学におけるコンセンサス(つまり完全一致)の類似性を紹介する。 複数のGNNモデルのメッセージパッシングアルゴリズムは,グラフ構造によらず,すべての入力に対してコンセンサスに収束することが示されている線形意見力学モデルと等価であることを示す。 過平滑化に関するこの新しい視点は、非線形意見力学をGNNモデルにおける帰納バイアスとして利用する動機となっている。 我々は,BIMP(Behavior-Inspired Message Passing) GNNにおいて,線形世論力学モデルよりも一般的な非線形世論力学モデルを活用し,一般入力に対する不一致に収束するように設計する。 広範な実験を通じて、BIMPは100以上のタイムステップを超える過密化に抵抗し、それらのアーキテクチャが過密化緩和技術によって修正された場合でも、既存のアーキテクチャを一貫して上回ります。 また、BIMPは、好適な勾配や、ホモ親和性やヘテロ親和性のあるデータセットへの適応性など、いくつかの望ましい性質を持つことを示した。

関連論文リスト

• Artificial Kuramoto Oscillatory Neurons [65.16453738828672]
  しきい値単位の動的代替として人工内蔵ニューロン(AKOrN)を導入する。 このアイデアは、幅広いタスクにまたがってパフォーマンス改善をもたらすことを示しています。 これらの経験的結果は、神経表現の最も基本的なレベルにおいて、私たちの仮定の重要性を示していると信じている。
  論文  参考訳（メタデータ） (2024-10-17T17:47:54Z)
• Resilient Graph Neural Networks: A Coupled Dynamical Systems Approach [12.856220339384269]
  グラフニューラルネットワーク(GNN)は、さまざまなグラフベースのタスクに対処するための重要なコンポーネントとして、自らを確立している。 彼らの顕著な成功にもかかわらず、GNNは相変わらず敵の攻撃の形で摂動を入力できる。 本稿では, 連成力学系のレンズを用いて, 対向摂動に対するGNNの強化手法を提案する。
  論文  参考訳（メタデータ） (2023-11-12T20:06:48Z)
• From Continuous Dynamics to Graph Neural Networks: Neural Diffusion and Beyond [32.290102818872526]
  グラフニューラルネットワーク(GNN)は、データモデリングにおいて大きな可能性を示しており、様々な分野で広く応用されている。 我々は,GNNの継続的な視点を活用した,最初の体系的かつ包括的な研究のレビューを行う。
  論文  参考訳（メタデータ） (2023-10-16T06:57:24Z)
• On Neural Networks as Infinite Tree-Structured Probabilistic Graphical Models [44.676210493587256]
  本稿では,ニューラルネットワークに対応する無限木構造PGMを構築することにより,革新的な解を提案する。 我々の研究は、DNNが前方伝播中に、この代替のPGM構造において正確であるPGMの近似を実行することを明らかにした。
  論文  参考訳（メタデータ） (2023-05-27T21:32:28Z)
• Structural Neural Additive Models: Enhanced Interpretable Machine Learning [0.0]
  近年、この分野は、視覚的に解釈可能なニューラル・アダプティブ・モデル(NAM)のような、解釈可能なニューラルネットワークに向かって進んでいる。 特徴効果の可視化を超越したインテリジェンス指向のさらなるステップを提案し, 構造的ニューラル付加モデル(SNAM)を提案する。 古典的かつ明確に解釈可能な統計手法とニューラルネットワークの予測能力を組み合わせたモデリングフレームワーク。
  論文  参考訳（メタデータ） (2023-02-18T09:52:30Z)
• Knowledge Enhanced Neural Networks for relational domains [83.9217787335878]
  我々は、ニューラルネットワークに事前論理的知識を注入するニューラルネットワークアーキテクチャであるKENNに焦点を当てる。 本稿では,関係データに対するKENNの拡張を提案する。
  論文  参考訳（メタデータ） (2022-05-31T13:00:34Z)
• Deep Architecture Connectivity Matters for Its Convergence: A Fine-Grained Analysis [94.64007376939735]
  我々は、勾配降下訓練におけるディープニューラルネットワーク(DNN)の収束に対する接続パターンの影響を理論的に特徴づける。 接続パターンの単純なフィルタリングによって、評価対象のモデルの数を削減できることが示される。
  論文  参考訳（メタデータ） (2022-05-11T17:43:54Z)
• Characterizing Learning Dynamics of Deep Neural Networks via Complex Networks [1.0869257688521987]
  複素ネットワーク理論(CNT)は、ディープニューラルネットワーク(DNN)を重み付きグラフとして表現し、それらを動的システムとして研究する。 ノード/ニューロンとレイヤ、すなわちNodes StrengthとLayers Fluctuationのメトリクスを紹介します。 本フレームワークは,学習力学のトレンドを抽出し,高精度ネットワークから低次ネットワークを分離する。
  論文  参考訳（メタデータ） (2021-10-06T10:03:32Z)
• Towards Deeper Graph Neural Networks [63.46470695525957]
  グラフ畳み込みは近傍の集約を行い、最も重要なグラフ操作の1つである。 いくつかの最近の研究で、この性能劣化は過度に滑らかな問題に起因している。 本研究では,大きな受容領域からの情報を適応的に組み込むディープ適応グラフニューラルネットワーク(DAGNN)を提案する。
  論文  参考訳（メタデータ） (2020-07-18T01:11:14Z)
• Neural Networks with Recurrent Generative Feedback [61.90658210112138]
  畳み込みニューラルネットワーク(CNN)でこの設計をインスタンス化する 実験では、標準ベンチマーク上の従来のフィードフォワードCNNに対して、CNN-Fは敵のロバスト性を大幅に改善した。
  論文  参考訳（メタデータ） (2020-07-17T19:32:48Z)
• A Chain Graph Interpretation of Real-World Neural Networks [58.78692706974121]
  本稿では,NNを連鎖グラフ(CG)、フィードフォワードを近似推論手法として識別する別の解釈を提案する。 CG解釈は、確率的グラフィカルモデルのリッチな理論的枠組みの中で、各NNコンポーネントの性質を規定する。 我々は,CG解釈が様々なNN技術に対する新しい理論的支援と洞察を提供することを示す具体例を実例で示す。
  論文  参考訳（メタデータ） (2020-06-30T14:46:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。