Fugu-MT 論文翻訳(概要): Not Half Bad: Exploring Half-Precision in Graph Convolutional Neural Networks

論文の概要: Not Half Bad: Exploring Half-Precision in Graph Convolutional Neural Networks

arxiv url: http://arxiv.org/abs/2010.12635v1
Date: Fri, 23 Oct 2020 19:47:42 GMT
ステータス: 処理完了
システム内更新日: 2022-10-04 00:12:38.964393
Title: Not Half Bad: Exploring Half-Precision in Graph Convolutional Neural Networks
Title（参考訳）: グラフ畳み込みニューラルネットワークにおける半精度の探索
Authors: John Brennan, Stephen Bonner, Amir Atapour-Abarghouei, Philip T Jackson, Boguslaw Obara, Andrew Stephen McGough
Abstract要約: 現代の機械学習を用いた効率的なグラフ解析は、ますます注目を集めている。ディープラーニングアプローチは、隣接行列全体にわたって運用されることが多い。実行時間とメモリ要求の両方を削減するための効率的な対策を特定することが望ましい。
参考スコア（独自算出の注目度）: 8.460826851547294
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: With the growing significance of graphs as an effective representation of data in numerous applications, efficient graph analysis using modern machine learning is receiving a growing level of attention. Deep learning approaches often operate over the entire adjacency matrix -- as the input and intermediate network layers are all designed in proportion to the size of the adjacency matrix -- leading to intensive computation and large memory requirements as the graph size increases. It is therefore desirable to identify efficient measures to reduce both run-time and memory requirements allowing for the analysis of the largest graphs possible. The use of reduced precision operations within the forward and backward passes of a deep neural network along with novel specialised hardware in modern GPUs can offer promising avenues towards efficiency. In this paper, we provide an in-depth exploration of the use of reduced-precision operations, easily integrable into the highly popular PyTorch framework, and an analysis of the effects of Tensor Cores on graph convolutional neural networks. We perform an extensive experimental evaluation of three GPU architectures and two widely-used graph analysis tasks (vertex classification and link prediction) using well-known benchmark and synthetically generated datasets. Thus allowing us to make important observations on the effects of reduced-precision operations and Tensor Cores on computational and memory usage of graph convolutional neural networks -- often neglected in the literature.
Abstract（参考訳）: 多くのアプリケーションにおけるデータ表現としてのグラフの重要性の高まりに伴い、現代の機械学習を用いた効率的なグラフ解析が注目を集めている。入力層と中間層は、すべて隣接層のサイズに比例して設計されているため、ディープラーニングアプローチは、グラフのサイズが大きくなるにつれて、集約的な計算と大きなメモリ要求をもたらす。したがって、最大のグラフを解析できるように、実行時間とメモリ要求の両方を削減できる効率的な尺度を同定することが望ましい。ディープニューラルネットワークの前方および後方パス内での精度の低下操作と、最新のGPUにおける新たな特殊ハードウェアの使用は、効率性への有望な道を提供する。本稿では,高度に普及しているpytorchフレームワークに容易に統合可能な減算演算の利用について詳細に検討し,グラフ畳み込みニューラルネットワークにおけるテンソルコアの影響について解析する。 3つのgpuアーキテクチャと2つの広く使われているグラフ分析タスク(vertex分類とリンク予測)を、よく知られたベンチマークと合成生成されたデータセットを用いて広範囲に実験的に評価する。したがって、グラフ畳み込みニューラルネットワークの計算とメモリ使用量に対する減算演算とテンソルコアの影響について重要な観察を行うことができる。

関連論文リスト

Transductive Spiking Graph Neural Networks for Loihi [0.8684584813982095]
Loihi 2 向けに設計されたスパイキンググラフニューラルネットワークの完全なニューロモルフィック実装を提案する。本稿では、ニューロモルフィックベイズ最適化と、固定精度スパイキングニューロンを用いた引用グラフ分類の併用による性能効果を示す。
論文参考訳（メタデータ） (2024-04-25T21:15:15Z)
Efficient Heterogeneous Graph Learning via Random Projection [58.4138636866903]
不均一グラフニューラルネットワーク(HGNN)は、異種グラフを深層学習するための強力なツールである。最近のプリ計算ベースのHGNNは、一時間メッセージパッシングを使用して不均一グラフを正規形テンソルに変換する。我々はRandom Projection Heterogeneous Graph Neural Network (RpHGNN) というハイブリッド計算前HGNNを提案する。
論文参考訳（メタデータ） (2023-10-23T01:25:44Z)
Optimal Propagation for Graph Neural Networks [51.08426265813481]
最適グラフ構造を学習するための二段階最適化手法を提案する。また、時間的複雑さをさらに軽減するために、低ランク近似モデルについても検討する。
論文参考訳（メタデータ） (2022-05-06T03:37:00Z)
Graph Kernel Neural Networks [53.91024360329517]
本稿では、グラフ上の内部積を計算するカーネル関数であるグラフカーネルを用いて、標準畳み込み演算子をグラフ領域に拡張することを提案する。これにより、入力グラフの埋め込みを計算する必要のない完全に構造的なモデルを定義することができる。私たちのアーキテクチャでは,任意の種類のグラフカーネルをプラグインすることが可能です。
論文参考訳（メタデータ） (2021-12-14T14:48:08Z)
ItNet: iterative neural networks with small graphs for accurate and efficient anytime prediction [1.52292571922932]
本研究では,計算グラフの観点から,メモリフットプリントが小さいネットワークモデルについて紹介する。 CamVidおよびCityscapesデータセットでセマンティックセグメンテーションの最新の結果を示します。
論文参考訳（メタデータ） (2021-01-21T15:56:29Z)
Binary Graph Neural Networks [69.51765073772226]
グラフニューラルネットワーク(gnns)は、不規則データに対する表現学習のための強力で柔軟なフレームワークとして登場した。本稿では,グラフニューラルネットワークのバイナライゼーションのための異なる戦略を提示し,評価する。モデルの慎重な設計とトレーニングプロセスの制御によって、バイナリグラフニューラルネットワークは、挑戦的なベンチマークの精度において、適度なコストでトレーニングできることを示しています。
論文参考訳（メタデータ） (2020-12-31T18:48:58Z)
Co-embedding of Nodes and Edges with Graph Neural Networks [13.020745622327894]
グラフ埋め込みは、高次元および非ユークリッド特徴空間でデータ構造を変換しエンコードする方法である。 CensNetは一般的なグラフ埋め込みフレームワークで、ノードとエッジの両方を潜在機能空間に埋め込む。提案手法は,4つのグラフ学習課題における最先端のパフォーマンスを達成または一致させる。
論文参考訳（メタデータ） (2020-10-25T22:39:31Z)
Towards Deeper Graph Neural Networks [63.46470695525957]
グラフ畳み込みは近傍の集約を行い、最も重要なグラフ操作の1つである。いくつかの最近の研究で、この性能劣化は過度に滑らかな問題に起因している。本研究では,大きな受容領域からの情報を適応的に組み込むディープ適応グラフニューラルネットワーク(DAGNN)を提案する。
論文参考訳（メタデータ） (2020-07-18T01:11:14Z)
Fast Graph Attention Networks Using Effective Resistance Based Graph Sparsification [70.50751397870972]
FastGATは、スペクトルスペーシフィケーションを用いて、注目に基づくGNNを軽量にし、入力グラフの最適プルーニングを生成する手法である。我々は,ノード分類タスクのための大規模実世界のグラフデータセット上でFastGATを実験的に評価した。
論文参考訳（メタデータ） (2020-06-15T22:07:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。