論文の概要: Forward Learning of Graph Neural Networks

• arxiv url: http://arxiv.org/abs/2403.11004v1
• Date: Sat, 16 Mar 2024 19:40:35 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-19 20:36:44.412876
• Title: Forward Learning of Graph Neural Networks
• Title（参考訳）: グラフニューラルネットワークの前方学習
• Authors: Namyong Park, Xing Wang, Antoine Simoulin, Shuai Yang, Grey Yang, Ryan Rossi, Puja Trivedi, Nesreen Ahmed,
• Abstract要約: バックプロパゲーション(BP)はディープニューラルネットワーク(NN)のトレーニングにおけるデファクトスタンダードである BPは、生物学的に理解できないだけでなく、NN学習のスケーラビリティ、並列性、柔軟性を制限しているいくつかの制約を課している。 本稿では,BPの制約を回避するために,実効的なレイヤワイドローカルフォワードトレーニングを行うForwardGNNを提案する。
• 参考スコア（独自算出の注目度）: 17.79590285482424
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Graph neural networks (GNNs) have achieved remarkable success across a wide range of applications, such as recommendation, drug discovery, and question answering. Behind the success of GNNs lies the backpropagation (BP) algorithm, which is the de facto standard for training deep neural networks (NNs). However, despite its effectiveness, BP imposes several constraints, which are not only biologically implausible, but also limit the scalability, parallelism, and flexibility in learning NNs. Examples of such constraints include storage of neural activities computed in the forward pass for use in the subsequent backward pass, and the dependence of parameter updates on non-local signals. To address these limitations, the forward-forward algorithm (FF) was recently proposed as an alternative to BP in the image classification domain, which trains NNs by performing two forward passes over positive and negative data. Inspired by this advance, we propose ForwardGNN in this work, a new forward learning procedure for GNNs, which avoids the constraints imposed by BP via an effective layer-wise local forward training. ForwardGNN extends the original FF to deal with graph data and GNNs, and makes it possible to operate without generating negative inputs (hence no longer forward-forward). Further, ForwardGNN enables each layer to learn from both the bottom-up and top-down signals without relying on the backpropagation of errors. Extensive experiments on real-world datasets show the effectiveness and generality of the proposed forward graph learning framework. We release our code at https://github.com/facebookresearch/forwardgnn.
• Abstract（参考訳）: グラフニューラルネットワーク(GNN)は、リコメンデーション、薬物発見、質問応答など、幅広いアプリケーションで顕著な成功を収めている。 GNNの成功の背後には、ディープニューラルネットワーク(NN)をトレーニングするデファクトスタンダードであるバックプロパゲーション(BP)アルゴリズムがある。 しかし、その有効性にもかかわらず、BPはいくつかの制約を課し、これは生物学的に理解できないだけでなく、NN学習のスケーラビリティ、並列性、柔軟性も制限している。 このような制約の例としては、後続の後方パスで使用する前方パスで計算された神経活動の保存、非局所的な信号に対するパラメータ更新の依存性などがある。 これらの制約に対処するため、画像分類領域におけるBPの代替としてフォワードフォワードアルゴリズム(FF)が提案されている。 この進歩に触発されて、我々はGNNのための新しい前方学習手法であるForwardGNNを提案する。 ForwardGNNは元々のFFを拡張してグラフデータやGNNを扱う。 さらに、ForwardGNNは、エラーのバックプロパゲーションに頼ることなく、各レイヤがボトムアップ信号とトップダウン信号の両方から学習できるようにする。 実世界のデータセットに対する大規模な実験は、提案したフォワードグラフ学習フレームワークの有効性と汎用性を示している。 コードについてはhttps://github.com/facebookresearch/forwardgnn.comで公開しています。

関連論文リスト

• Reducing Oversmoothing through Informed Weight Initialization in Graph Neural Networks [16.745718346575202]
  本稿では,ノードやグラフの分類タスクにおいて,過度なスムース化を抑える新しいスキーム(G-Init)を提案する。 以上の結果から,新しい手法(G-Init)は深部GNNの過剰なスムース化を低減し,その有効利用を促進することが示唆された。
  論文  参考訳（メタデータ） (2024-10-31T11:21:20Z)
• DFA-GNN: Forward Learning of Graph Neural Networks by Direct Feedback Alignment [57.62885438406724]
  グラフニューラルネットワークは、様々なアプリケーションにまたがる強力なパフォーマンスで認識されている。 BPには、その生物学的妥当性に挑戦する制限があり、グラフベースのタスクのためのトレーニングニューラルネットワークの効率、スケーラビリティ、並列性に影響を与える。 半教師付き学習のケーススタディを用いて,GNNに適した新しい前方学習フレームワークであるDFA-GNNを提案する。
  論文  参考訳（メタデータ） (2024-06-04T07:24:51Z)
• Neural Network Verification with Branch-and-Bound for General Nonlinearities [63.39918329535165]
  ブランチ・アンド・バウンド(BaB)は、ニューラルネットワーク(NN)検証において最も効果的な手法の一つである。 我々は、一般的な非線形性にBaBを実行し、一般的なアーキテクチャでNNを検証する汎用フレームワークGenBaBを開発した。 我々は、Sigmoid、Tanh、Sine、GeLUなどの活性化機能を持つNNを含む幅広いNNの検証におけるGenBaBの有効性を実証する。
  論文  参考訳（メタデータ） (2024-05-31T17:51:07Z)
• On the Initialization of Graph Neural Networks [10.153841274798829]
  グラフニューラルネットワーク層間の前方・後方伝播のばらつきを解析する。 GNN最適化(Virgo)における可変不安定化のための新しい手法を提案する。 15のデータセットで包括的な実験を行い、Virgoが優れたモデルパフォーマンスをもたらすことを示す。
  論文  参考訳（メタデータ） (2023-12-05T09:55:49Z)
• Label Deconvolution for Node Representation Learning on Large-scale Attributed Graphs against Learning Bias [75.44877675117749]
  本稿では,GNNの逆写像に対する新しい,スケーラブルな近似による学習バイアスを軽減するために,ラベルの効率的な正規化手法,すなわちラベルのデコンボリューション(LD)を提案する。 実験では、LDはOpen Graphデータセットのベンチマークで最先端のメソッドを大幅に上回っている。
  論文  参考訳（メタデータ） (2023-09-26T13:09:43Z)
• Credit Assignment Through Broadcasting a Global Error Vector [4.683806391173103]
  バックプロパゲーション(BP)は、ディープニューラルネットワーク(DNN)をトレーニングするために、詳細なユニット固有のフィードバックを使用する。 そこで本研究では,局所的な重み更新と合わせて,グローバルな放送学習信号がDNNのトレーニングを可能にする範囲について検討する。
  論文  参考訳（メタデータ） (2021-06-08T04:08:46Z)
• Online Limited Memory Neural-Linear Bandits with Likelihood Matching [53.18698496031658]
  本研究では,探索学習と表現学習の両方が重要な役割を果たす課題を解決するために,ニューラルネットワークの帯域について検討する。 破滅的な忘れ込みに対して耐性があり、完全にオンラインである可能性の高いマッチングアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-02-07T14:19:07Z)
• Overcoming Catastrophic Forgetting in Graph Neural Networks [50.900153089330175]
  破滅的な忘れは、ニューラルネットワークが新しいタスクを学ぶ前に学んだ知識を「忘れる」傾向を指します。 本稿では,この問題を克服し,グラフニューラルネットワーク(GNN)における継続学習を強化するための新しいスキームを提案する。 私たちのアプローチの中心には、トポロジ認識重量保存(TWP)と呼ばれる汎用モジュールがあります。
  論文  参考訳（メタデータ） (2020-12-10T22:30:25Z)
• Binarized Graph Neural Network [65.20589262811677]
  我々は二項化グラフニューラルネットワークを開発し、二項化ネットワークパラメータを用いてノードのバイナリ表現を学習する。 提案手法は既存のGNNベースの埋め込み手法にシームレスに統合できる。 実験により、提案された二項化グラフニューラルネットワーク、すなわちBGNは、時間と空間の両方の観点から、桁違いに効率的であることが示されている。
  論文  参考訳（メタデータ） (2020-04-19T09:43:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。