論文の概要: LightDiC: A Simple yet Effective Approach for Large-scale Digraph
Representation Learning
- arxiv url: http://arxiv.org/abs/2401.11772v1
- Date: Mon, 22 Jan 2024 09:09:10 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-23 14:48:07.932487
- Title: LightDiC: A Simple yet Effective Approach for Large-scale Digraph
Representation Learning
- Title（参考訳）: LightDiC: 大規模図形表現学習におけるシンプルかつ効果的なアプローチ
- Authors: Xunkai Li, Meihao Liao, Zhengyu Wu, Daohan Su, Wentao Zhang, Rong-Hua
Li, Guoren Wang
- Abstract要約: 磁気ラプラシアンに基づくダイグラフ畳み込みのスケーラブルな変種であるLightDiCを提案する。
LightDiCは、最も代表的な大規模データベースで満足な結果を提供する最初のDiGNNである。
- 参考スコア（独自算出の注目度）: 42.72417353512392
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Most existing graph neural networks (GNNs) are limited to undirected graphs,
whose restricted scope of the captured relational information hinders their
expressive capabilities and deployments in real-world scenarios. Compared with
undirected graphs, directed graphs (digraphs) fit the demand for modeling more
complex topological systems by capturing more intricate relationships between
nodes, such as formulating transportation and financial networks. While some
directed GNNs have been introduced, their inspiration mainly comes from deep
learning architectures, which lead to redundant complexity and computation,
making them inapplicable to large-scale databases. To address these issues, we
propose LightDiC, a scalable variant of the digraph convolution based on the
magnetic Laplacian. Since topology-related computations are conducted solely
during offline pre-processing, LightDiC achieves exceptional scalability,
enabling downstream predictions to be trained separately without incurring
recursive computational costs. Theoretical analysis shows that LightDiC
utilizes directed information to achieve message passing based on the complex
field, which corresponds to the proximal gradient descent process of the
Dirichlet energy optimization function from the perspective of digraph signal
denoising, ensuring its expressiveness. Experimental results demonstrate that
LightDiC performs comparably well or even outperforms other SOTA methods in
various downstream tasks, with fewer learnable parameters and higher training
efficiency. Notably, LightDiC is the first DiGNN to provide satisfactory
results in the most representative large-scale database (ogbn-papers100M).
- Abstract（参考訳）: 既存のグラフニューラルネットワーク(GNN)のほとんどは、キャプチャされたリレーショナル情報の制限範囲が、実世界のシナリオにおける表現能力とデプロイメントを妨げる、非ダイレクトグラフに限られている。
非有向グラフと比較して、有向グラフ (digraphs) は、輸送や金融ネットワークなどのノード間のより複雑な関係を捉えることにより、より複雑なトポロジーシステムのモデリングの要求に合致する。
いくつかの指向型GNNが導入されたが、そのインスピレーションは主にディープラーニングアーキテクチャによるもので、冗長な複雑性と計算をもたらし、大規模データベースには適用できない。
これらの問題に対処するために、磁気ラプラシアンに基づくダイグラフ畳み込みのスケーラブルな変種であるLightDiCを提案する。
トポロジ関連の計算はオフライン前処理でのみ実行されるため、lightdicは例外的なスケーラビリティを実現し、再帰的な計算コストを伴わずに下流の予測を個別に訓練することができる。
理論的解析により、lightdicはディリクレエネルギー最適化関数の近位勾配降下過程に対応する複素場に基づくメッセージパッシングを達成するために、ディグラフ信号のデノイジングの観点から有向情報を利用することが示され、その表現性が保証される。
実験の結果、LightDiCは様々な下流タスクにおいて、学習可能なパラメータが少なく、訓練効率も高く、他のSOTAメソッドよりも優れていた。
特に、LightDiCは最も代表的な大規模データベース(ogbn-papers100M)で満足できる結果を提供する最初のDiGNNである。
関連論文リスト
- MassiveGNN: Efficient Training via Prefetching for Massively Connected Distributed Graphs [11.026326555186333]
本稿では,現在最先端のAmazon DistDGL分散GNNフレームワーク上に,パラメータ化された連続プリフェッチと消去方式を提案する。
NERSC(National Energy Research Scientific Computing Center)のPerlmutterスーパーコンピュータでは、エンドツーエンドのトレーニング性能が15～40%向上している。
論文 参考訳（メタデータ） (2024-10-30T05:10:38Z) - DiRW: Path-Aware Digraph Learning for Heterophily [23.498557237805414]
グラフニューラルネットワーク(GNN)は、グラフ構造化データのための強力な表現学習ツールとして登場した。
我々は,プラグイン・アンド・プレイ戦略や革新的なニューラルアーキテクチャとみなすことができるDirected Random Walk (DiRW)を提案する。
DiRWには、歩行確率、長さ、および数の観点から最適化された方向対応パスサンプリング器が組み込まれている。
論文 参考訳（メタデータ） (2024-10-14T09:26:56Z) - DFA-GNN: Forward Learning of Graph Neural Networks by Direct Feedback Alignment [57.62885438406724]
グラフニューラルネットワークは、様々なアプリケーションにまたがる強力なパフォーマンスで認識されている。
BPには、その生物学的妥当性に挑戦する制限があり、グラフベースのタスクのためのトレーニングニューラルネットワークの効率、スケーラビリティ、並列性に影響を与える。
半教師付き学習のケーススタディを用いて,GNNに適した新しい前方学習フレームワークであるDFA-GNNを提案する。
論文 参考訳（メタデータ） (2024-06-04T07:24:51Z) - Efficient Heterogeneous Graph Learning via Random Projection [58.4138636866903]
不均一グラフニューラルネットワーク(HGNN)は、異種グラフを深層学習するための強力なツールである。
最近のプリ計算ベースのHGNNは、一時間メッセージパッシングを使用して不均一グラフを正規形テンソルに変換する。
我々はRandom Projection Heterogeneous Graph Neural Network (RpHGNN) というハイブリッド計算前HGNNを提案する。
論文 参考訳（メタデータ） (2023-10-23T01:25:44Z) - Layer-wise training for self-supervised learning on graphs [0.0]
大規模グラフ上でのグラフニューラルネットワーク(GNN)のエンドツーエンドトレーニングは、いくつかのメモリと計算上の課題を示す。
本稿では,GNN層を自己教師型で学習するアルゴリズムであるレイヤワイズ正規化グラフInfomaxを提案する。
論文 参考訳（メタデータ） (2023-09-04T10:23:39Z) - All-optical graph representation learning using integrated diffractive
photonic computing units [51.15389025760809]
フォトニックニューラルネットワークは、電子の代わりに光子を用いて脳にインスパイアされた計算を行う。
我々は、DGNN(diffractive graph neural network)と呼ばれる全光グラフ表現学習アーキテクチャを提案する。
ベンチマークデータベースを用いたノードおよびグラフレベルの分類タスクにおけるDGNN抽出機能の利用を実演し、優れた性能を実現する。
論文 参考訳（メタデータ） (2022-04-23T02:29:48Z) - Inducing Gaussian Process Networks [80.40892394020797]
本稿では,特徴空間と誘導点を同時に学習するシンプルなフレームワークであるGaussian Process Network (IGN)を提案する。
特に誘導点は特徴空間で直接学習され、複雑な構造化領域のシームレスな表現を可能にする。
実世界のデータセットに対する実験結果から,IGNは最先端の手法よりも大幅に進歩していることを示す。
論文 参考訳（メタデータ） (2022-04-21T05:27:09Z) - Tackling Oversmoothing of GNNs with Contrastive Learning [35.88575306925201]
グラフニューラルネットワーク(GNN)は、グラフデータと表現学習能力の包括的な関係を統合する。
オーバースムーシングはノードの最終的な表現を識別不能にし、ノード分類とリンク予測性能を劣化させる。
本稿では,TGCL(Topology-Guided Graph Contrastive Layer)を提案する。
論文 参考訳（メタデータ） (2021-10-26T15:56:16Z) - Towards Deeper Graph Neural Networks [63.46470695525957]
グラフ畳み込みは近傍の集約を行い、最も重要なグラフ操作の1つである。
いくつかの最近の研究で、この性能劣化は過度に滑らかな問題に起因している。
本研究では,大きな受容領域からの情報を適応的に組み込むディープ適応グラフニューラルネットワーク(DAGNN)を提案する。
論文 参考訳（メタデータ） (2020-07-18T01:11:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。