論文の概要: Flexible infinite-width graph convolutional networks and the importance of representation learning

• arxiv url: http://arxiv.org/abs/2402.06525v1
• Date: Fri, 9 Feb 2024 16:37:08 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-12 16:16:19.499884
• Title: Flexible infinite-width graph convolutional networks and the importance of representation learning
• Title（参考訳）: 柔軟な無限幅グラフ畳み込みネットワークと表現学習の重要性
• Authors: Ben Anson, Edward Milsom, Laurence Aitchison
• Abstract要約: ニューラルネットワークを理解するための一般的な理論的アプローチは、無限幅の極限を取ることであり、その時点で出力はガウス過程(NNGP)に分散される。 これは有限幅NNとは対照的であり、表現を学習できるため、よく正確に機能すると考えられている。 このことは,グラフ分類タスクにおいて表現学習が不可欠かどうかを理解する動機となった。 このタスクの正確なツールとして,グラフ畳み込み型ディープカーネルマシンを開発した。
• 参考スコア（独自算出の注目度）: 25.958907308877148
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: A common theoretical approach to understanding neural networks is to take an infinite-width limit, at which point the outputs become Gaussian process (GP) distributed. This is known as a neural network Gaussian process (NNGP). However, the NNGP kernel is fixed, and tunable only through a small number of hyperparameters, eliminating any possibility of representation learning. This contrasts with finite-width NNs, which are often believed to perform well precisely because they are able to learn representations. Thus in simplifying NNs to make them theoretically tractable, NNGPs may eliminate precisely what makes them work well (representation learning). This motivated us to understand whether representation learning is necessary in a range of graph classification tasks. We develop a precise tool for this task, the graph convolutional deep kernel machine. This is very similar to an NNGP, in that it is an infinite width limit and uses kernels, but comes with a `knob' to control the amount of representation learning. We found that representation learning is necessary (in the sense that it gives dramatic performance improvements) in graph classification tasks and heterophilous node classification tasks, but not in homophilous node classification tasks.
• Abstract（参考訳）: ニューラルネットワークを理解するための一般的な理論的アプローチは無限幅の極限を取ることであり、そこで出力がガウス過程(GP)に分散される。 これはニューラルネットワークガウス過程(NNGP)として知られている。 しかし、NNGPカーネルは固定されており、少数のハイパーパラメータを通してのみチューニング可能であり、表現学習の可能性を排除している。 これは有限幅nnとは対照的であり、表現を学習できるため、よく正確に機能すると考えられている。 したがって、NNを単純化して理論的に扱いやすくするために、NNGPはそれらをうまく機能させるもの(表現学習)を正確に排除することができる。 このことは,グラフ分類タスクに表現学習が必要であるかどうかを理解する動機となった。 このタスクの正確なツールとして,グラフ畳み込み型ディープカーネルマシンを開発した。 これはNNGPと非常によく似ており、無限幅の制限であり、カーネルを使用するが、表現学習の量を制御するために 'knob' が付属している。 グラフ分類タスクや異種ノード分類タスクでは表現学習が(劇的な性能向上をもたらすという意味で)必要であることがわかったが,同種ノード分類タスクでは必要ではない。

関連論文リスト

• Non-convolutional Graph Neural Networks [46.79328529882998]
  畳み込み演算子を完全に含まない単純なグラフ学習モジュールを設計し、RUMニューラルネットワークを用いたランダムウォークを作成した。 RUMは競合する性能を実現するが、より堅牢で、メモリ効率が高く、スケーラブルで、最も単純な畳み込みGNNよりも高速である。
  論文  参考訳（メタデータ） (2024-07-31T21:29:26Z)
• Degree-based stratification of nodes in Graph Neural Networks [66.17149106033126]
  グラフニューラルネットワーク(GNN)アーキテクチャを変更して,各グループのノードに対して,重み行列を個別に学習する。 このシンプルな実装変更により、データセットとGNNメソッドのパフォーマンスが改善されているようだ。
  論文  参考訳（メタデータ） (2023-12-16T14:09:23Z)
• How Graph Neural Networks Learn: Lessons from Training Dynamics [80.41778059014393]
  グラフニューラルネットワーク(GNN)の関数空間におけるトレーニングダイナミクスについて検討する。 GNNの勾配勾配勾配最適化は暗黙的にグラフ構造を利用して学習関数を更新する。 この発見は、学習したGNN関数が一般化した時期と理由に関する新たな解釈可能な洞察を提供する。
  論文  参考訳（メタデータ） (2023-10-08T10:19:56Z)
• Factor Graph Neural Networks [20.211455592922736]
  グラフニューラルネットワーク(GNN)は、多くの現実世界のアプリケーションで大きな成功を収めながら、エンドツーエンドで強力な表現を学習することができる。 推論と学習の高次関係を効果的に捉えるためにFGNN(Facter Graph Neural Networks)を提案する。
  論文  参考訳（メタデータ） (2023-08-02T00:32:02Z)
• NodeFormer: A Scalable Graph Structure Learning Transformer for Node Classification [70.51126383984555]
  本稿では,任意のノード間のノード信号を効率的に伝搬する全ペアメッセージパッシング方式を提案する。 効率的な計算は、カーナライズされたGumbel-Softmax演算子によって実現される。 グラフ上のノード分類を含む様々なタスクにおいて,本手法の有望な有効性を示す実験を行った。
  論文  参考訳（メタデータ） (2023-06-14T09:21:15Z)
• Zero-One Laws of Graph Neural Networks [7.783835522945603]
  グラフニューラルネットワーク(GNN)は、グラフ上の機械学習のためのデファクト標準ディープラーニングアーキテクチャである。 我々はGNNの表現と外挿能力に関する新しい理論的視点を提供する。 ErdHos-R'enyi モデルから拡大するグラフを描くと、そのようなグラフが特定の出力にマップされる確率は 0 か 1 のいずれかになる傾向があることを示す。
  論文  参考訳（メタデータ） (2023-01-30T17:02:23Z)
• Training Graph Neural Networks on Growing Stochastic Graphs [114.75710379125412]
  グラフニューラルネットワーク(GNN)は、ネットワーク化されたデータの意味のあるパターンを活用するために、グラフ畳み込みに依存している。 我々は,成長するグラフ列の極限オブジェクトであるグラフオンを利用して,非常に大きなグラフ上のGNNを学習することを提案する。
  論文  参考訳（メタデータ） (2022-10-27T16:00:45Z)
• Graph Kernel Neural Networks [53.91024360329517]
  本稿では、グラフ上の内部積を計算するカーネル関数であるグラフカーネルを用いて、標準畳み込み演算子をグラフ領域に拡張することを提案する。 これにより、入力グラフの埋め込みを計算する必要のない完全に構造的なモデルを定義することができる。 私たちのアーキテクチャでは,任意の種類のグラフカーネルをプラグインすることが可能です。
  論文  参考訳（メタデータ） (2021-12-14T14:48:08Z)
• Inferential SIR-GN: Scalable Graph Representation Learning [0.4699313647907615]
  グラフ表現学習法は、ネットワーク内のノードの数値ベクトル表現を生成する。 本研究では,ランダムグラフ上で事前学習されたモデルであるInferential SIR-GNを提案し,ノード表現を高速に計算する。 このモデルではノードの構造的役割情報を捉えることができ、ノードやグラフの分類タスクにおいて、目に見えないネットワーク上で優れた性能を示すことができる。
  論文  参考訳（メタデータ） (2021-11-08T20:56:37Z)
• Towards Understanding Hierarchical Learning: Benefits of Neural Representations [160.33479656108926]
  この研究で、中間的神経表現がニューラルネットワークにさらなる柔軟性をもたらすことを実証する。 提案手法は, 生の入力と比較して, サンプルの複雑度を向上できることを示す。 この結果から, 深度が深層学習においてなぜ重要かという新たな視点が得られた。
  論文  参考訳（メタデータ） (2020-06-24T02:44:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。