論文の概要: Homophily modulates double descent generalization in graph convolution networks

• arxiv url: http://arxiv.org/abs/2212.13069v2
• Date: Tue, 13 Jun 2023 15:28:27 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-14 18:06:31.440331
• Title: Homophily modulates double descent generalization in graph convolution networks
• Title（参考訳）: グラフ畳み込みネットワークにおけるホモフィリーは二重降下一般化を変調する
• Authors: Cheng Shi, Liming Pan, Hong Hu and Ivan Dokmani\'c
• Abstract要約: リスクは、グラフ内のノイズ間の相互作用、特徴のノイズ、トレーニングに使用するノードの割合に依存するかを示す。 本分析では, グラフ学習モデルだけでなく, 乱雑な実世界のデータセット上での複雑なGNNにも質的な振る舞いを予測できる。
• 参考スコア（独自算出の注目度）: 30.556451015707047
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Graph neural networks are among the most successful machine learning models for relational datasets like metabolic, transportation, and social networks. Yet the determinants of their strong generalization for diverse interactions encoded in the data are not well understood. Methods from statistical learning theory do not explain emergent phenomena such as double descent or the dependence of risk on the nature of interactions. We use analytical tools from statistical physics and random matrix theory to precisely characterize generalization in simple graph convolution networks on the contextual stochastic block model. The derived curves are phenomenologically rich: they explain the distinction between learning on homophilic and heterophilic and they predict double descent whose existence in GNNs has been questioned by recent work. We show how risk depends on the interplay between the noise in the graph, noise in the features, and the proportion of nodes used for training. Our analysis predicts qualitative behavior not only of a stylized graph learning model but also to complex GNNs on messy real-world datasets. As a case in point, we use these analytic insights about heterophily and self-loop signs to improve performance of state-of-the-art graph convolution networks on several heterophilic benchmarks by a simple addition of negative self-loop filters.
• Abstract（参考訳）: グラフニューラルネットワークは、メタボリック、トランスポーテーション、ソーシャルネットワークといったリレーショナルデータセットでもっとも成功した機械学習モデルのひとつです。 しかし、データにエンコードされた多様な相互作用に対する強い一般化の要因はよく分かっていない。 統計的学習理論の手法は、二重降下や相互作用の性質へのリスクの依存のような創発的な現象を説明できない。 統計物理学とランダム行列理論の分析ツールを用いて,文脈確率ブロックモデル上の単純なグラフ畳み込みネットワークの一般化を正確に特徴付ける。 導出曲線は表現学的に豊富であり、同好および異好の学習の区別を説明し、GNNの存在が近年の研究で疑問視されている二重降下を予測する。 グラフ内のノイズ,特徴のノイズ,トレーニングに使用されるノードの割合との相互作用にリスクが依存することを示す。 本分析は,スタイリッシュなグラフ学習モデルだけでなく,乱雑な実世界のデータセット上での複雑なgnnに対する質的行動を予測する。 実例では,ヘテロフィリと自己ループの符号に関するこれらの分析的知見を用いて,負の自己ループフィルタをシンプルに付加することにより,複数のヘテロフィリグラフ畳み込みネットワークの性能を向上させる。

関連論文リスト

• Unitary convolutions for learning on graphs and groups [0.9899763598214121]
  我々は、訓練中により安定したより深いネットワークを可能にするユニタリグループ畳み込みについて研究する。 論文の主な焦点はグラフニューラルネットワークであり、ユニタリグラフの畳み込みがオーバー・スムーシングを確実に回避していることを示す。 実験結果から,ベンチマークデータセット上でのユニタリグラフ畳み込みネットワークの競合性能が確認できた。
  論文  参考訳（メタデータ） (2024-10-07T21:09:14Z)
• Heterogeneous Sheaf Neural Networks [17.664754528494132]
  不均一グラフは、多くの実世界の応用における関係構造をモデル化するために一般的に用いられる。 グラフの基盤となるトポロジにおける不均一性をモデル化するために,細胞シーブを用いることを提案する。 HetSheafは、ヘテロジニアス層ニューラルネットワークの一般的なフレームワークであり、ヘテロジニアス層予測器のシリーズを紹介する。
  論文  参考訳（メタデータ） (2024-09-12T13:38:08Z)
• Generalization of Graph Neural Networks is Robust to Model Mismatch [84.01980526069075]
  グラフニューラルネットワーク(GNN)は、その一般化能力によってサポートされている様々なタスクにおいて、その効果を実証している。 本稿では,多様体モデルから生成される幾何グラフで動作するGNNについて検討する。 本稿では,そのようなモデルミスマッチの存在下でのGNN一般化の堅牢性を明らかにする。
  論文  参考訳（メタデータ） (2024-08-25T16:00:44Z)
• The Heterophilic Graph Learning Handbook: Benchmarks, Models, Theoretical Analysis, Applications and Challenges [101.83124435649358]
  ホモフィリ原理では、同じラベルや類似属性を持つieノードが接続される可能性が高い。 最近の研究で、GNNのパフォーマンスとNNのパフォーマンスが満足できない非自明なデータセットが特定されている。
  論文  参考訳（メタデータ） (2024-07-12T18:04:32Z)
• Graph Out-of-Distribution Generalization via Causal Intervention [69.70137479660113]
  本稿では,ノードレベルの分散シフトの下で頑健なグラフニューラルネットワーク(GNN)をトレーニングするための,概念的に単純だが原則化されたアプローチを提案する。 本手法は,環境推定器と熟練GNN予測器を協調する因果推論に基づく新たな学習目標を提案する。 本モデルでは,様々な分散シフトによる一般化を効果的に向上し,グラフOOD一般化ベンチマーク上での最先端の精度を最大27.4%向上させることができる。
  論文  参考訳（メタデータ） (2024-02-18T07:49:22Z)
• Revealing Decurve Flows for Generalized Graph Propagation [108.80758541147418]
  本研究は,有向グラフと重み付きグラフを用いて,m文を一般化した伝播を定義することによって,従来のメッセージパッシング(中心からグラフ学習)の限界に対処する。 この分野ではじめて、データセットにおける学習された伝播パターンの予備的な探索を含む。
  論文  参考訳（メタデータ） (2024-02-13T14:13:17Z)
• Universally Robust Graph Neural Networks by Preserving Neighbor Similarity [5.660584039688214]
  NSPGNNと呼ばれる新しい頑健なモデルを導入し、隣接する類似性誘導伝搬を監督するために、二重kNNグラフパイプラインを組み込んだ。 ホモ親和グラフとヘテロ親和グラフの両方の実験は、最先端の手法と比較してNSPGNNの普遍的堅牢性を検証する。
  論文  参考訳（メタデータ） (2024-01-18T06:57:29Z)
• Learning Graph Structure from Convolutional Mixtures [119.45320143101381]
  本稿では、観測されたグラフと潜伏グラフのグラフ畳み込み関係を提案し、グラフ学習タスクをネットワーク逆(デコンボリューション)問題として定式化する。 固有分解に基づくスペクトル法の代わりに、近似勾配反復をアンロール・トランケートして、グラフデコンボリューションネットワーク(GDN)と呼ばれるパラメータ化ニューラルネットワークアーキテクチャに到達させる。 GDNは、教師付き方式でグラフの分布を学習し、損失関数を適応させることでリンク予測やエッジウェイト回帰タスクを実行し、本質的に帰納的である。
  論文  参考訳（メタデータ） (2022-05-19T14:08:15Z)
• Heterogeneous Graph Neural Networks using Self-supervised Reciprocally Contrastive Learning [102.9138736545956]
  不均一グラフニューラルネットワーク(HGNN)は異種グラフのモデリングと解析において非常に一般的な手法である。 我々は,ノード属性とグラフトポロジの各ガイダンスに関する2つの視点を取り入れた,新規で頑健なヘテロジニアスグラフコントラスト学習手法であるHGCLを初めて開発する。 この新しいアプローチでは,属性とトポロジに関連情報を別々にマイニングする手法として,異なるが最も適した属性とトポロジの融合機構を2つの視点に適用する。
  論文  参考訳（メタデータ） (2022-04-30T12:57:02Z)
• Beyond Homophily in Graph Neural Networks: Current Limitations and Effective Designs [28.77753005139331]
  半教師付きノード分類タスクにおけるグラフニューラルネットワークのヘテロフィリーまたは低ホモフィリー下での表現力について検討する。 多くの人気のあるGNNは、この設定を一般化することができず、グラフ構造を無視したモデルよりも優れています。 ヘテロフィリーの下でのグラフ構造からの学習を促進する重要な設計の集合を同定する。
  論文  参考訳（メタデータ） (2020-06-20T02:05:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。