論文の概要: How Neural Networks Extrapolate: From Feedforward to Graph Neural Networks

• arxiv url: http://arxiv.org/abs/2009.11848v5
• Date: Tue, 2 Mar 2021 23:05:49 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-15 03:57:04.041796
• Title: How Neural Networks Extrapolate: From Feedforward to Graph Neural Networks
• Title（参考訳）: ニューラルネットワークの補間方法:feedforwardからgraph neural networkへ
• Authors: Keyulu Xu, Mozhi Zhang, Jingling Li, Simon S. Du, Ken-ichi Kawarabayashi, Stefanie Jegelka
• Abstract要約: 勾配勾配降下法によりトレーニングされたニューラルネットワークが、トレーニング分布の支持の外で学んだことを外挿する方法について検討する。 グラフニューラルネットワーク(GNN)は、より複雑なタスクでいくつかの成功を収めている。
• 参考スコア（独自算出の注目度）: 80.55378250013496
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We study how neural networks trained by gradient descent extrapolate, i.e., what they learn outside the support of the training distribution. Previous works report mixed empirical results when extrapolating with neural networks: while feedforward neural networks, a.k.a. multilayer perceptrons (MLPs), do not extrapolate well in certain simple tasks, Graph Neural Networks (GNNs) -- structured networks with MLP modules -- have shown some success in more complex tasks. Working towards a theoretical explanation, we identify conditions under which MLPs and GNNs extrapolate well. First, we quantify the observation that ReLU MLPs quickly converge to linear functions along any direction from the origin, which implies that ReLU MLPs do not extrapolate most nonlinear functions. But, they can provably learn a linear target function when the training distribution is sufficiently "diverse". Second, in connection to analyzing the successes and limitations of GNNs, these results suggest a hypothesis for which we provide theoretical and empirical evidence: the success of GNNs in extrapolating algorithmic tasks to new data (e.g., larger graphs or edge weights) relies on encoding task-specific non-linearities in the architecture or features. Our theoretical analysis builds on a connection of over-parameterized networks to the neural tangent kernel. Empirically, our theory holds across different training settings.
• Abstract（参考訳）: 勾配降下法によりトレーニングされたニューラルネットワーク、すなわちトレーニング分布の支持の外で学習されるものについて検討する。 フィードフォワードニューラルネットワーク、すなわち多層パーセプトロン(MLP)は、特定の単純なタスクではうまく外挿しないが、グラフニューラルネットワーク(GNN) -MLPモジュールを備えた構造化ネットワークは、より複雑なタスクでいくつかの成功を収めている。 理論的説明に向けて、我々はMPPとGNNがよく外挿される条件を特定する。 まず、ReLU MLPが始点から任意の方向に沿った線型関数に素早く収束するという観測を定量化し、ReLU MLPがほとんどの非線形関数を外挿しないことを示す。 しかし、トレーニング分布が十分に"多様性"である場合には、線形目標関数を確実に学習することができる。 第二に、gnnの成功と限界を分析することに関連して、これらの結果は理論的および実証的な証拠を提供する仮説を示唆する: アルゴリズム的タスクを新しいデータ(例えば、より大きなグラフやエッジ重み)に外挿するgnnの成功は、アーキテクチャや特徴におけるタスク固有の非線形性の符号化に依存している。 我々の理論的解析は、過パラメータネットワークと神経接核の接続に基づいている。 経験的に、我々の理論は異なるトレーニング環境にまたがっている。

関連論文リスト

• Graph Neural Networks Provably Benefit from Structural Information: A Feature Learning Perspective [53.999128831324576]
  グラフニューラルネットワーク(GNN)は、グラフ表現学習の先駆けとなった。 本研究では,特徴学習理論の文脈におけるグラフ畳み込みの役割について検討する。
  論文  参考訳（メタデータ） (2023-06-24T10:21:11Z)
• Graph Neural Networks are Inherently Good Generalizers: Insights by Bridging GNNs and MLPs [71.93227401463199]
  本稿では、P(ropagational)MLPと呼ばれる中間モデルクラスを導入することにより、GNNの性能向上を本質的な能力に向ける。 PMLPは、トレーニングにおいてはるかに効率的でありながら、GNNと同等(あるいはそれ以上)に動作することを観察する。
  論文  参考訳（メタデータ） (2022-12-18T08:17:32Z)
• Neural networks trained with SGD learn distributions of increasing complexity [78.30235086565388]
  勾配降下法を用いてトレーニングされたニューラルネットワークは、まず低次入力統計を用いて入力を分類する。 その後、トレーニング中にのみ高次の統計を利用する。 本稿では,DSBと他の単純度バイアスとの関係について論じ,学習における普遍性の原理にその意味を考察する。
  論文  参考訳（メタデータ） (2022-11-21T15:27:22Z)
• Optimal Learning Rates of Deep Convolutional Neural Networks: Additive Ridge Functions [19.762318115851617]
  深部畳み込みニューラルネットワークにおける平均2乗誤差解析について考察する。 付加的なリッジ関数に対しては、畳み込みニューラルネットワークとReLUアクティベーション関数を併用した1つの完全連結層が最適極小値に到達できることが示される。
  論文  参考訳（メタデータ） (2022-02-24T14:22:32Z)
• Analytic Learning of Convolutional Neural Network For Pattern Recognition [20.916630175697065]
  バックプロパゲーション(BP)を用いた学習畳み込みニューラルネットワーク(CNN)は、時間とリソースを消費する。 解析的畳み込みニューラルネットワーク学習(ACnnL)を提案する。 ACnnLは、その類似した閉形式解を構築するが、正規化の制約が異なる。
  論文  参考訳（メタデータ） (2022-02-14T06:32:21Z)
• Optimization of Graph Neural Networks: Implicit Acceleration by Skip Connections and More Depth [57.10183643449905]
  グラフニューラルネットワーク(GNN)は表現力と一般化のレンズから研究されている。 GNNのダイナミクスを深部スキップ最適化により研究する。 本研究は,GNNの成功に対する最初の理論的支援を提供する。
  論文  参考訳（メタデータ） (2021-05-10T17:59:01Z)
• Statistical Mechanics of Deep Linear Neural Networks: The Back-Propagating Renormalization Group [4.56877715768796]
  個々の単位の入力出力関数が線形である深線型ニューラルネットワーク(DLNN)における学習の統計力学について検討する。 重み空間における平衡ギブス分布を用いて教師あり学習後のネットワーク特性を正確に解く。 数値シミュレーションにより, 非線形性にもかかわらず, 理論の予測は大部分, 深さの小さいreluネットワークによって共有されていることが明らかとなった。
  論文  参考訳（メタデータ） (2020-12-07T20:08:31Z)
• Fast Learning of Graph Neural Networks with Guaranteed Generalizability: One-hidden-layer Case [93.37576644429578]
  グラフニューラルネットワーク(GNN)は、グラフ構造化データから実際に学習する上で、近年大きな進歩を遂げている。 回帰問題と二項分類問題の両方に隠れ層を持つGNNの理論的に基底的な一般化可能性解析を行う。
  論文  参考訳（メタデータ） (2020-06-25T00:45:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。