論文の概要: Unleashing the Potential of Fractional Calculus in Graph Neural Networks with FROND

• arxiv url: http://arxiv.org/abs/2404.17099v1
• Date: Fri, 26 Apr 2024 01:20:45 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-29 14:14:08.139879
• Title: Unleashing the Potential of Fractional Calculus in Graph Neural Networks with FROND
• Title（参考訳）: FRONDを用いたグラフニューラルネットワークにおける分数計算の可能性
• Authors: Qiyu Kang, Kai Zhao, Qinxu Ding, Feng Ji, Xuhao Li, Wenfei Liang, Yang Song, Wee Peng Tay,
• Abstract要約: 本稿では,新しい連続グラフニューラルネットワーク(GNN)フレームワークであるFRactional-Order graph Neural Dynamical Network (FROND)を紹介する。 整数階微分方程式に依存する伝統的な連続GNNとは異なり、FRONDは分数計算の非局所的性質を利用するためにカプトー分数微分を用いる。
• 参考スコア（独自算出の注目度）: 27.90671314829468
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We introduce the FRactional-Order graph Neural Dynamical network (FROND), a new continuous graph neural network (GNN) framework. Unlike traditional continuous GNNs that rely on integer-order differential equations, FROND employs the Caputo fractional derivative to leverage the non-local properties of fractional calculus. This approach enables the capture of long-term dependencies in feature updates, moving beyond the Markovian update mechanisms in conventional integer-order models and offering enhanced capabilities in graph representation learning. We offer an interpretation of the node feature updating process in FROND from a non-Markovian random walk perspective when the feature updating is particularly governed by a diffusion process. We demonstrate analytically that oversmoothing can be mitigated in this setting. Experimentally, we validate the FROND framework by comparing the fractional adaptations of various established integer-order continuous GNNs, demonstrating their consistently improved performance and underscoring the framework's potential as an effective extension to enhance traditional continuous GNNs. The code is available at \url{https://github.com/zknus/ICLR2024-FROND}.
• Abstract（参考訳）: 本稿では,新しい連続グラフニューラルネットワーク(GNN)フレームワークであるFRactional-Order graph Neural Dynamical Network (FROND)を紹介する。 整数階微分方程式に依存する伝統的な連続GNNとは異なり、FRONDは分数計算の非局所的性質を利用するためにカプトー分数微分を用いる。 このアプローチは、機能更新における長期的な依存関係のキャプチャを可能にし、従来の整数順序モデルのマルコフ更新メカニズムを超えて、グラフ表現学習の強化機能を提供する。 本研究では,FRONDにおけるノード特徴更新プロセスの解釈を,非マルコフランダムウォークの観点から解釈する。 この設定で過度なスムース化を緩和できることを解析的に実証する。 実験により、確立された整数階連続GNNの分数適応を比較し、その一貫した性能を実証し、従来の連続GNNを強化する効果的な拡張としてフレームワークの可能性を示すことにより、FRONDフレームワークの有効性を検証する。 コードは \url{https://github.com/zknus/ICLR2024-FROND} で公開されている。

関連論文リスト

• Continuous Spiking Graph Neural Networks [43.28609498855841]
  連続グラフニューラルネットワーク(CGNN)は、既存の離散グラフニューラルネットワーク(GNN)を一般化する能力によって注目されている。 本稿では,2階ODEを用いたCOS-GNNの高次構造について紹介する。 我々は、COS-GNNが爆発や消滅の問題を効果的に軽減し、ノード間の長距離依存関係を捕捉できるという理論的証明を提供する。
  論文  参考訳（メタデータ） (2024-04-02T12:36:40Z)
• How Graph Neural Networks Learn: Lessons from Training Dynamics [80.41778059014393]
  グラフニューラルネットワーク(GNN)の関数空間におけるトレーニングダイナミクスについて検討する。 GNNの勾配勾配勾配最適化は暗黙的にグラフ構造を利用して学習関数を更新する。 この発見は、学習したGNN関数が一般化した時期と理由に関する新たな解釈可能な洞察を提供する。
  論文  参考訳（メタデータ） (2023-10-08T10:19:56Z)
• Label Deconvolution for Node Representation Learning on Large-scale Attributed Graphs against Learning Bias [75.44877675117749]
  本稿では,GNNの逆写像に対する新しい,スケーラブルな近似による学習バイアスを軽減するために,ラベルの効率的な正規化手法,すなわちラベルのデコンボリューション(LD)を提案する。 実験では、LDはOpen Graphデータセットのベンチマークで最先端のメソッドを大幅に上回っている。
  論文  参考訳（メタデータ） (2023-09-26T13:09:43Z)
• Re-Think and Re-Design Graph Neural Networks in Spaces of Continuous Graph Diffusion Functionals [7.6435511285856865]
  グラフニューラルネットワーク(GNN)は、ソーシャルネットワークや生体システムのようなドメインで広く使われている。 GNNのローカリティ仮定は、グラフ内の長距離依存関係とグローバルパターンをキャプチャする能力を損なう。 本稿では,ブラヒクロニスト問題から着想を得た変分解析に基づく新しい帰納バイアスを提案する。
  論文  参考訳（メタデータ） (2023-07-01T04:44:43Z)
• EIGNN: Efficient Infinite-Depth Graph Neural Networks [51.97361378423152]
  グラフニューラルネットワーク(GNN)は多くのアプリケーションでグラフ構造化データのモデリングに広く利用されている。 この制限により、無限深度GNNモデルを提案し、これをEIGNN(Efficient Infinite-Depth Graph Neural Networks)と呼ぶ。 EIGNNは、最近のベースラインよりも長距離依存関係をキャプチャする能力が優れており、常に最先端のパフォーマンスを実現していることを示す。
  論文  参考訳（メタデータ） (2022-02-22T08:16:58Z)
• Power Flow Balancing with Decentralized Graph Neural Networks [4.812718493682454]
  汎用グリッド内の電力フローのバランスをとるために,グラフニューラルネットワーク(GNN)に基づくエンドツーエンドフレームワークを提案する。 提案するフレームワークは,ディープラーニングに基づく他の解法と比較して効率的であり,グリッドコンポーネントの物理量だけでなくトポロジにも頑健である。
  論文  参考訳（メタデータ） (2021-11-03T12:14:56Z)
• Overcoming Catastrophic Forgetting in Graph Neural Networks [50.900153089330175]
  破滅的な忘れは、ニューラルネットワークが新しいタスクを学ぶ前に学んだ知識を「忘れる」傾向を指します。 本稿では,この問題を克服し,グラフニューラルネットワーク(GNN)における継続学習を強化するための新しいスキームを提案する。 私たちのアプローチの中心には、トポロジ認識重量保存(TWP)と呼ばれる汎用モジュールがあります。
  論文  参考訳（メタデータ） (2020-12-10T22:30:25Z)
• A Unified View on Graph Neural Networks as Graph Signal Denoising [49.980783124401555]
  グラフニューラルネットワーク(GNN)は,グラフ構造化データの学習表現において顕著に普及している。 本研究では,代表的GNNモデル群における集約過程を,グラフ記述問題の解法とみなすことができることを数学的に確立する。 UGNNから派生した新しいGNNモデルADA-UGNNをインスタンス化し、ノード間の適応的滑らかさでグラフを処理する。
  論文  参考訳（メタデータ） (2020-10-05T04:57:18Z)
• Implicit Graph Neural Networks [46.0589136729616]
  Indicit Graph Neural Networks (IGNN) と呼ばれるグラフ学習フレームワークを提案する。 IGNNは一貫して長距離依存を捉え、最先端のGNNモデルより優れている。
  論文  参考訳（メタデータ） (2020-09-14T06:04:55Z)
• Deep Constraint-based Propagation in Graph Neural Networks [15.27048776159285]
  本稿では,ラグランジアンフレームワークにおける制約付き最適化に基づくグラフニューラルネットワーク(GNN)の学習手法を提案する。 我々の計算構造は、重み、ノード状態変数、ラグランジュ乗算器からなる随伴空間におけるラグランジアンのサドル点を探索する。 実験により,提案手法はいくつかのベンチマークで一般的なモデルと比較された。
  論文  参考訳（メタデータ） (2020-05-05T16:50:59Z)
• Binarized Graph Neural Network [65.20589262811677]
  我々は二項化グラフニューラルネットワークを開発し、二項化ネットワークパラメータを用いてノードのバイナリ表現を学習する。 提案手法は既存のGNNベースの埋め込み手法にシームレスに統合できる。 実験により、提案された二項化グラフニューラルネットワーク、すなわちBGNは、時間と空間の両方の観点から、桁違いに効率的であることが示されている。
  論文  参考訳（メタデータ） (2020-04-19T09:43:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。