論文の概要: Towards Efficient Training of Graph Neural Networks: A Multiscale Approach

• arxiv url: http://arxiv.org/abs/2503.19666v3
• Date: Mon, 26 May 2025 19:37:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-28 14:37:19.300023
• Title: Towards Efficient Training of Graph Neural Networks: A Multiscale Approach
• Title（参考訳）: グラフニューラルネットワークの効率的な学習に向けて:マルチスケールアプローチ
• Authors: Eshed Gal, Moshe Eliasof, Carola-Bibiane Schönlieb, Ivan I. Kyrchei, Eldad Haber, Eran Treister,
• Abstract要約: グラフニューラルネットワーク(GNN)は、グラフ構造化データから学習し、さまざまなドメインにわたるアプリケーションを見つけるための強力なツールになっている。 グラフのサイズと接続性の増加に伴い、標準のGNNトレーニング手法は、計算とメモリに大きな課題に直面している。 GNNの効率的なマルチスケールトレーニングのための新しいフレームワークを提案する。
• 参考スコア（独自算出の注目度）: 19.548512384514556
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Graph Neural Networks (GNNs) have become powerful tools for learning from graph-structured data, finding applications across diverse domains. However, as graph sizes and connectivity increase, standard GNN training methods face significant computational and memory challenges, limiting their scalability and efficiency. In this paper, we present a novel framework for efficient multiscale training of GNNs. Our approach leverages hierarchical graph representations and subgraphs, enabling the integration of information across multiple scales and resolutions. By utilizing coarser graph abstractions and subgraphs, each with fewer nodes and edges, we significantly reduce computational overhead during training. Building on this framework, we propose a suite of scalable training strategies, including coarse-to-fine learning, subgraph-to-full-graph transfer, and multiscale gradient computation. We also provide some theoretical analysis of our methods and demonstrate their effectiveness across various datasets and learning tasks. Our results show that multiscale training can substantially accelerate GNN training for large scale problems while maintaining, or even improving, predictive performance.
• Abstract（参考訳）: グラフニューラルネットワーク(GNN)は、グラフ構造化データから学習し、さまざまなドメインにわたるアプリケーションを見つけるための強力なツールになっている。 しかし、グラフのサイズと接続性の増加に伴い、標準のGNNトレーニング手法は、そのスケーラビリティと効率を制限し、計算とメモリの重大な課題に直面している。 本稿では,GNNの効率的なマルチスケールトレーニングのための新しいフレームワークを提案する。 提案手法は階層的なグラフ表現とサブグラフを活用し,複数のスケールや解像度にまたがる情報の統合を可能にする。 ノードやエッジが少ない粗いグラフの抽象化とサブグラフを利用することで、トレーニング中の計算オーバーヘッドを大幅に削減する。 本稿では,この枠組みに基づいて,粗大な学習,サブグラフ・トゥ・フルグラフ転送,マルチスケール勾配計算など,スケーラブルな学習手法を提案する。 また,本手法の理論的解析を行い,各種データセットおよび学習課題における有効性を示す。 以上の結果から,大規模課題に対するGNNトレーニングの大幅な高速化と,予測性能の向上を両立させることが可能であることが示唆された。

関連論文リスト

• Training Graph Neural Networks on Growing Stochastic Graphs [114.75710379125412]
  グラフニューラルネットワーク(GNN)は、ネットワーク化されたデータの意味のあるパターンを活用するために、グラフ畳み込みに依存している。 我々は,成長するグラフ列の極限オブジェクトであるグラフオンを利用して,非常に大きなグラフ上のGNNを学習することを提案する。
  論文  参考訳（メタデータ） (2022-10-27T16:00:45Z)
• Neural Graph Matching for Pre-training Graph Neural Networks [72.32801428070749]
  グラフニューラルネットワーク(GNN)は、構造データのモデリングにおいて強力な能力を示している。 GMPTと呼ばれる新しいグラフマッチングベースのGNN事前学習フレームワークを提案する。 提案手法は,完全自己指導型プレトレーニングと粗粒型プレトレーニングに適用できる。
  論文  参考訳（メタデータ） (2022-03-03T09:53:53Z)
• Increase and Conquer: Training Graph Neural Networks on Growing Graphs [116.03137405192356]
  本稿では,このグラフからBernoulliをサンプリングしたグラフ上でGNNをトレーニングすることで,WNN(Graphon Neural Network)を学習する問題を考察する。 これらの結果から着想を得た大規模グラフ上でGNNを学習するアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-06-07T15:05:59Z)
• GraphTheta: A Distributed Graph Neural Network Learning System With Flexible Training Strategy [5.466414428765544]
  新しい分散グラフ学習システムGraphThetaを紹介します。 複数のトレーニング戦略をサポートし、大規模グラフ上で効率的でスケーラブルな学習を可能にします。 この仕事は、文学における10億規模のネットワーク上で実施された最大のエッジアトリビュートGNN学習タスクを表します。
  論文  参考訳（メタデータ） (2021-04-21T14:51:33Z)
• CogDL: A Comprehensive Library for Graph Deep Learning [55.694091294633054]
  研究者や実践者が実験を行い、メソッドを比較し、簡単かつ効率的にアプリケーションを構築することができるグラフ深層学習ライブラリであるCogDLを紹介します。 CogDLでは,様々なグラフタスクに対するGNNモデルのトレーニングと評価のための統一設計を提案し,既存のグラフ学習ライブラリに固有のものである。 我々はCogDLのための効率的なスパース演算子を開発し、効率性のための最も競争力のあるグラフライブラリとなる。
  論文  参考訳（メタデータ） (2021-03-01T12:35:16Z)
• GIST: Distributed Training for Large-Scale Graph Convolutional Networks [18.964079367668262]
  GISTはハイブリッド層とグラフサンプリング手法であり、グローバルモデルをいくつかの小さなサブGCNに分割する。 この分散フレームワークはモデルのパフォーマンスを改善し、ウォールクロックのトレーニング時間を大幅に短縮します。 GISTは、グラフ機械学習とディープラーニングの既存のギャップを埋めることを目的として、大規模なGCN実験を可能にすることを目指している。
  論文  参考訳（メタデータ） (2021-02-20T19:25:38Z)
• Graph-Based Neural Network Models with Multiple Self-Supervised Auxiliary Tasks [79.28094304325116]
  グラフ畳み込みネットワークは、構造化されたデータポイント間の関係をキャプチャするための最も有望なアプローチである。 マルチタスク方式でグラフベースニューラルネットワークモデルを学習するための3つの新しい自己教師付き補助タスクを提案する。
  論文  参考訳（メタデータ） (2020-11-14T11:09:51Z)
• Co-embedding of Nodes and Edges with Graph Neural Networks [13.020745622327894]
  グラフ埋め込みは、高次元および非ユークリッド特徴空間でデータ構造を変換しエンコードする方法である。 CensNetは一般的なグラフ埋め込みフレームワークで、ノードとエッジの両方を潜在機能空間に埋め込む。 提案手法は,4つのグラフ学習課題における最先端のパフォーマンスを達成または一致させる。
  論文  参考訳（メタデータ） (2020-10-25T22:39:31Z)
• GCC: Graph Contrastive Coding for Graph Neural Network Pre-Training [62.73470368851127]
  グラフ表現学習は現実世界の問題に対処する強力な手法として登場した。 自己教師付きグラフニューラルネットワーク事前トレーニングフレームワークであるGraph Contrastive Codingを設計する。 3つのグラフ学習タスクと10のグラフデータセットについて実験を行った。
  論文  参考訳（メタデータ） (2020-06-17T16:18:35Z)
• SIGN: Scalable Inception Graph Neural Networks [4.5158585619109495]
  本稿では,グラフサンプリングの必要性を助長する,効率的でスケーラブルなグラフ深層学習アーキテクチャを提案する。 私たちのアーキテクチャでは、異なるローカルグラフ演算子を使用して、そのタスクに最も適しています。 我々は,1億1000万のノードと15億のエッジを持つ,最大の公開グラフデータセットであるogbn-papers100Mについて,最先端の結果を得た。
  論文  参考訳（メタデータ） (2020-04-23T14:46:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。