論文の概要: Homophily modulates double descent generalization in graph convolution
networks
- arxiv url: http://arxiv.org/abs/2212.13069v3
- Date: Tue, 23 Jan 2024 05:44:44 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-24 20:07:00.429843
- Title: Homophily modulates double descent generalization in graph convolution
networks
- Title(参考訳): グラフ畳み込みネットワークにおけるホモフィリーは二重降下一般化を変調する
- Authors: Cheng Shi, Liming Pan, Hong Hu and Ivan Dokmani\'c
- Abstract要約: グラフノイズ,特徴雑音,トレーニングラベル数との相互作用によって,リスクがどのように形成されるかを示す。
我々は解析的洞察を用いて、異種データセット上での最先端グラフ畳み込みネットワークの性能を向上させる。
- 参考スコア(独自算出の注目度): 33.703222768801574
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Graph neural networks (GNNs) excel in modeling relational data such as
biological, social, and transportation networks, but the underpinnings of their
success are not well understood. Traditional complexity measures from
statistical learning theory fail to account for observed phenomena like the
double descent or the impact of relational semantics on generalization error.
Motivated by experimental observations of ``transductive'' double descent in
key networks and datasets, we use analytical tools from statistical physics and
random matrix theory to precisely characterize generalization in simple graph
convolution networks on the contextual stochastic block model. Our results
illuminate the nuances of learning on homophilic versus heterophilic data and
predict double descent whose existence in GNNs has been questioned by recent
work. We show how risk is shaped by the interplay between the graph noise,
feature noise, and the number of training labels. Our findings apply beyond
stylized models, capturing qualitative trends in real-world GNNs and datasets.
As a case in point, we use our analytic insights to improve performance of
state-of-the-art graph convolution networks on heterophilic datasets.
- Abstract(参考訳): グラフニューラルネットワーク(GNN)は、生物学的、社会的、輸送ネットワークなどの関係データモデリングに優れているが、その成功の基盤はよく理解されていない。
統計学習理論の伝統的な複雑性尺度は、二重降下や関係セマンティクスが一般化誤差に与える影響のような観察された現象を説明できない。
キーネットワークとデータセットにおける ``transductive'' の二重降下に関する実験的な観察により、統計物理学とランダム行列理論の分析ツールを用いて、文脈確率ブロックモデルに基づく単純なグラフ畳み込みネットワークにおける一般化を正確に特徴づける。
本研究は, 好中球と異種球のデータに対する学習のニュアンスを照らし, GNNの存在が疑問視されている二重降下を予測するものである。
グラフノイズ,特徴雑音,トレーニングラベル数との相互作用によって,リスクがどのように形成されるかを示す。
実世界のGNNやデータセットの質的傾向を把握し,スタイル化されたモデルを超えて適用した。
現状のグラフ畳み込みネットワークの性能向上のために,我々は解析的洞察を用いてヘテロ親和性データセット上でのグラフ畳み込みネットワークの性能を向上させる。
関連論文リスト
- Graph Out-of-Distribution Generalization via Causal Intervention [74.77883794668324]
本稿では,ノードレベルの分散シフトの下で頑健なグラフニューラルネットワーク(GNN)をトレーニングするための,概念的に単純だが原則化されたアプローチを提案する。
本手法は,環境推定器と熟練GNN予測器を協調する因果推論に基づく新たな学習目標を提案する。
本モデルでは,様々な分散シフトによる一般化を効果的に向上し,グラフOOD一般化ベンチマーク上での最先端の精度を最大27.4%向上させることができる。
論文 参考訳(メタデータ) (2024-02-18T07:49:22Z) - Revealing Decurve Flows for Generalized Graph Propagation [108.80758541147418]
本研究は,有向グラフと重み付きグラフを用いて,m文を一般化した伝播を定義することによって,従来のメッセージパッシング(中心からグラフ学習)の限界に対処する。
この分野ではじめて、データセットにおける学習された伝播パターンの予備的な探索を含む。
論文 参考訳(メタデータ) (2024-02-13T14:13:17Z) - Universally Robust Graph Neural Networks by Preserving Neighbor
Similarity [5.660584039688214]
NSPGNNと呼ばれる新しい頑健なモデルを導入し、隣接する類似性誘導伝搬を監督するために、二重kNNグラフパイプラインを組み込んだ。
ホモ親和グラフとヘテロ親和グラフの両方の実験は、最先端の手法と比較してNSPGNNの普遍的堅牢性を検証する。
論文 参考訳(メタデータ) (2024-01-18T06:57:29Z) - DURENDAL: Graph deep learning framework for temporal heterogeneous
networks [0.5156484100374057]
時間的異種ネットワーク(THN)は、多くの現実世界の応用を特徴付ける進化的ネットワークである。
THNのためのグラフ深層学習フレームワークであるDURENDALを提案する。
論文 参考訳(メタデータ) (2023-09-30T10:46:01Z) - Addressing the Impact of Localized Training Data in Graph Neural
Networks [0.0]
グラフニューラルネットワーク(GNN)は、グラフ構造化データから学習において顕著な成功を収めた。
本稿では,グラフの局所化部分集合に対するGNNのトレーニングの影響を評価することを目的とする。
本稿では,局所化学習データとグラフ推論との分散不一致を最小化する正規化手法を提案する。
論文 参考訳(メタデータ) (2023-07-24T11:04:22Z) - Learning Graph Structure from Convolutional Mixtures [119.45320143101381]
本稿では、観測されたグラフと潜伏グラフのグラフ畳み込み関係を提案し、グラフ学習タスクをネットワーク逆(デコンボリューション)問題として定式化する。
固有分解に基づくスペクトル法の代わりに、近似勾配反復をアンロール・トランケートして、グラフデコンボリューションネットワーク(GDN)と呼ばれるパラメータ化ニューラルネットワークアーキテクチャに到達させる。
GDNは、教師付き方式でグラフの分布を学習し、損失関数を適応させることでリンク予測やエッジウェイト回帰タスクを実行し、本質的に帰納的である。
論文 参考訳(メタデータ) (2022-05-19T14:08:15Z) - Heterogeneous Graph Neural Networks using Self-supervised Reciprocally
Contrastive Learning [102.9138736545956]
不均一グラフニューラルネットワーク(HGNN)は異種グラフのモデリングと解析において非常に一般的な手法である。
我々は,ノード属性とグラフトポロジの各ガイダンスに関する2つの視点を取り入れた,新規で頑健なヘテロジニアスグラフコントラスト学習手法であるHGCLを初めて開発する。
この新しいアプローチでは,属性とトポロジに関連情報を別々にマイニングする手法として,異なるが最も適した属性とトポロジの融合機構を2つの視点に適用する。
論文 参考訳(メタデータ) (2022-04-30T12:57:02Z) - Predicting the generalization gap in neural networks using topological
data analysis [33.511371257571504]
トポロジカルデータ解析の手法を用いて,ニューラルネットワークの一般化ギャップについて検討する。
トレーニング後のニューロン活性化相関から構築した重み付きグラフのホモロジー永続図を計算する。
持続性図から異なる数値要約の有用性を比較し、それらの組み合わせによって、テストセットを必要とせずに、その一般化ギャップを正確に予測し、部分的に説明できることを示す。
論文 参考訳(メタデータ) (2022-03-23T11:15:36Z) - OOD-GNN: Out-of-Distribution Generalized Graph Neural Network [73.67049248445277]
グラフニューラルネットワーク(GNN)は、グラフデータのテストとトレーニングを同一の分布から行うことで、優れたパフォーマンスを実現している。
既存のGNNでは、テストとグラフデータのトレーニングの間に分散シフトが存在する場合、その性能が著しく低下する。
本稿では,学習グラフと異なる分布を持つ未確認試験グラフに対して,満足な性能を実現するために,アウト・オブ・ディストリビューション一般化グラフニューラルネットワーク(OOD-GNN)を提案する。
論文 参考訳(メタデータ) (2021-12-07T16:29:10Z) - Beyond Homophily in Graph Neural Networks: Current Limitations and
Effective Designs [28.77753005139331]
半教師付きノード分類タスクにおけるグラフニューラルネットワークのヘテロフィリーまたは低ホモフィリー下での表現力について検討する。
多くの人気のあるGNNは、この設定を一般化することができず、グラフ構造を無視したモデルよりも優れています。
ヘテロフィリーの下でのグラフ構造からの学習を促進する重要な設計の集合を同定する。
論文 参考訳(メタデータ) (2020-06-20T02:05:01Z) - Tensor Graph Convolutional Networks for Multi-relational and Robust
Learning [74.05478502080658]
本稿では,テンソルで表されるグラフの集合に関連するデータから,スケーラブルな半教師付き学習(SSL)を実現するためのテンソルグラフ畳み込みネットワーク(TGCN)を提案する。
提案アーキテクチャは、標準的なGCNと比較して大幅に性能が向上し、最先端の敵攻撃に対処し、タンパク質間相互作用ネットワーク上でのSSL性能が著しく向上する。
論文 参考訳(メタデータ) (2020-03-15T02:33:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。