論文の概要: DFA-GNN: Forward Learning of Graph Neural Networks by Direct Feedback Alignment

• arxiv url: http://arxiv.org/abs/2406.02040v1
• Date: Tue, 4 Jun 2024 07:24:51 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-05 17:30:56.913519
• Title: DFA-GNN: Forward Learning of Graph Neural Networks by Direct Feedback Alignment
• Title（参考訳）: DFA-GNN:直接フィードバックアライメントによるグラフニューラルネットワークの前方学習
• Authors: Gongpei Zhao, Tao Wang, Congyan Lang, Yi Jin, Yidong Li, Haibin Ling,
• Abstract要約: グラフニューラルネットワークは、様々なアプリケーションにまたがる強力なパフォーマンスで認識されている。 BPには、その生物学的妥当性に挑戦する制限があり、グラフベースのタスクのためのトレーニングニューラルネットワークの効率、スケーラビリティ、並列性に影響を与える。 半教師付き学習のケーススタディを用いて,GNNに適した新しい前方学習フレームワークであるDFA-GNNを提案する。
• 参考スコア（独自算出の注目度）: 57.62885438406724
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Graph neural networks are recognized for their strong performance across various applications, with the backpropagation algorithm playing a central role in the development of most GNN models. However, despite its effectiveness, BP has limitations that challenge its biological plausibility and affect the efficiency, scalability and parallelism of training neural networks for graph-based tasks. While several non-BP training algorithms, such as the direct feedback alignment, have been successfully applied to fully-connected and convolutional network components for handling Euclidean data, directly adapting these non-BP frameworks to manage non-Euclidean graph data in GNN models presents significant challenges. These challenges primarily arise from the violation of the i.i.d. assumption in graph data and the difficulty in accessing prediction errors for all samples (nodes) within the graph. To overcome these obstacles, in this paper we propose DFA-GNN, a novel forward learning framework tailored for GNNs with a case study of semi-supervised learning. The proposed method breaks the limitations of BP by using a dedicated forward training mechanism. Specifically, DFA-GNN extends the principles of DFA to adapt to graph data and unique architecture of GNNs, which incorporates the information of graph topology into the feedback links to accommodate the non-Euclidean characteristics of graph data. Additionally, for semi-supervised graph learning tasks, we developed a pseudo error generator that spreads residual errors from training data to create a pseudo error for each unlabeled node. These pseudo errors are then utilized to train GNNs using DFA. Extensive experiments on 10 public benchmarks reveal that our learning framework outperforms not only previous non-BP methods but also the standard BP methods, and it exhibits excellent robustness against various types of noise and attacks.
• Abstract（参考訳）: グラフニューラルネットワークは、多くのGNNモデルの開発において、バックプロパゲーションアルゴリズムが中心的な役割を果たすなど、さまざまなアプリケーション間での強力なパフォーマンスで認識されている。 しかし、その効果にもかかわらず、BPはその生物学的な妥当性に挑戦し、グラフベースのタスクのためにニューラルネットワークをトレーニングする際の効率、スケーラビリティ、並列性に影響を与える制限がある。 直接フィードバックアライメントのようないくつかの非BPトレーニングアルゴリズムはユークリッドデータを扱うための完全接続および畳み込みネットワークコンポーネントにうまく適用されているが、非BPフレームワークを直接適用して非ユークリッドグラフデータをGNNモデルで管理することは重大な課題である。 これらの課題は、主にグラフデータにおけるi.d.仮定の違反と、グラフ内のすべてのサンプル(ノード)の予測エラーにアクセスすることの難しさから生じる。 本稿では,これらの障害を克服するために,半教師付き学習を事例として,GNNに適した新しい前方学習フレームワークであるDFA-GNNを提案する。 提案手法は,専用フォワードトレーニング機構を用いてBPの限界を破る。 具体的には、DFA-GNNはグラフデータに適応するDFAの原理を拡張し、グラフトポロジの情報をフィードバックリンクに組み込んで、グラフデータの非ユークリッド特性に対応する。 さらに、半教師付きグラフ学習タスクにおいて、トレーニングデータから残差エラーを拡散し、ラベルなしノード毎に擬似エラーを生成する擬似エラー生成器を開発した。 これらの疑似エラーは、DFAを使用してGNNのトレーニングに使用される。 10の公開ベンチマークにおいて、我々の学習フレームワークは従来の非BP法だけでなく標準BP法よりも優れており、様々な種類のノイズや攻撃に対して優れた堅牢性を示す。

関連論文リスト

• Forward Learning of Graph Neural Networks [17.79590285482424]
  バックプロパゲーション(BP)はディープニューラルネットワーク(NN)のトレーニングにおけるデファクトスタンダードである BPは、生物学的に理解できないだけでなく、NN学習のスケーラビリティ、並列性、柔軟性を制限しているいくつかの制約を課している。 本稿では,BPの制約を回避するために,実効的なレイヤワイドローカルフォワードトレーニングを行うForwardGNNを提案する。
  論文  参考訳（メタデータ） (2024-03-16T19:40:35Z)
• Online GNN Evaluation Under Test-time Graph Distribution Shifts [92.4376834462224]
  オンラインGNN評価という新たな研究課題は、よく訓練されたGNNが現実世界の未ラベルグラフに一般化する能力について、貴重な洞察を提供することを目的としている。 我々は、よく訓練されたGNNモデルのテスト時間一般化誤差を推定するために、LeBeDと呼ばれる効果的な学習行動不一致スコアを開発する。
  論文  参考訳（メタデータ） (2024-03-15T01:28:08Z)
• Label Deconvolution for Node Representation Learning on Large-scale Attributed Graphs against Learning Bias [75.44877675117749]
  本稿では,GNNの逆写像に対する新しい,スケーラブルな近似による学習バイアスを軽減するために,ラベルの効率的な正規化手法,すなわちラベルのデコンボリューション(LD)を提案する。 実験では、LDはOpen Graphデータセットのベンチマークで最先端のメソッドを大幅に上回っている。
  論文  参考訳（メタデータ） (2023-09-26T13:09:43Z)
• Addressing the Impact of Localized Training Data in Graph Neural Networks [0.0]
  グラフニューラルネットワーク(GNN)は、グラフ構造化データから学習において顕著な成功を収めた。 本稿では,グラフの局所化部分集合に対するGNNのトレーニングの影響を評価することを目的とする。 本稿では,局所化学習データとグラフ推論との分散不一致を最小化する正規化手法を提案する。
  論文  参考訳（メタデータ） (2023-07-24T11:04:22Z)
• Learning Strong Graph Neural Networks with Weak Information [64.64996100343602]
  我々は、弱い情報(GLWI)を用いたグラフ学習問題に対する原則的アプローチを開発する。 非完全構造を持つ入力グラフ上で長距離情報伝搬を行うデュアルチャネルGNNフレームワークであるD$2$PTを提案するが、グローバルな意味的類似性を符号化するグローバルグラフも提案する。
  論文  参考訳（メタデータ） (2023-05-29T04:51:09Z)
• DEGREE: Decomposition Based Explanation For Graph Neural Networks [55.38873296761104]
  我々は,GNN予測に対する忠実な説明を提供するためにDGREEを提案する。 GNNの情報生成と集約機構を分解することにより、DECREEは入力グラフの特定のコンポーネントのコントリビューションを最終的な予測に追跡することができる。 また,従来の手法で見過ごされるグラフノード間の複雑な相互作用を明らかにするために,サブグラフレベルの解釈アルゴリズムを設計する。
  論文  参考訳（メタデータ） (2023-05-22T10:29:52Z)
• MentorGNN: Deriving Curriculum for Pre-Training GNNs [61.97574489259085]
  本稿では,グラフ間のGNNの事前学習プロセスの監視を目的とした,MentorGNNというエンドツーエンドモデルを提案する。 我々は、事前学習したGNNの一般化誤差に自然かつ解釈可能な上限を導出することにより、関係データ(グラフ)に対するドメイン適応の問題に新たな光を当てた。
  論文  参考訳（メタデータ） (2022-08-21T15:12:08Z)
• Implicit Graph Neural Networks [46.0589136729616]
  Indicit Graph Neural Networks (IGNN) と呼ばれるグラフ学習フレームワークを提案する。 IGNNは一貫して長距離依存を捉え、最先端のGNNモデルより優れている。
  論文  参考訳（メタデータ） (2020-09-14T06:04:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。