Fugu-MT 論文翻訳(概要): Nimble GNN Embedding with Tensor-Train Decomposition

論文の概要: Nimble GNN Embedding with Tensor-Train Decomposition

arxiv url: http://arxiv.org/abs/2206.10581v1
Date: Tue, 21 Jun 2022 17:57:35 GMT
ステータス: 処理完了
システム内更新日: 2022-06-22 18:39:28.685606
Title: Nimble GNN Embedding with Tensor-Train Decomposition
Title（参考訳）: テンソル-トレイン分解によるnimble gnn埋め込み
Authors: Chunxing Yin, Da Zheng, Israt Nisa, Christos Faloutos, George Karypis, Richard Vuduc
Abstract要約: 本稿では、テンソルトレイン(TT)分解によりグラフニューラルネットワーク(GNN)の埋め込みテーブルをよりコンパクトに表現する新しい手法について述べる。場合によっては、入力に明示的なノード機能がないモデルでも、ノード機能を使用するモデルの精度にマッチすることもある。
参考スコア（独自算出の注目度）: 10.726368002799765
License: http://creativecommons.org/licenses/by/4.0/
Abstract: This paper describes a new method for representing embedding tables of graph neural networks (GNNs) more compactly via tensor-train (TT) decomposition. We consider the scenario where (a) the graph data that lack node features, thereby requiring the learning of embeddings during training; and (b) we wish to exploit GPU platforms, where smaller tables are needed to reduce host-to-GPU communication even for large-memory GPUs. The use of TT enables a compact parameterization of the embedding, rendering it small enough to fit entirely on modern GPUs even for massive graphs. When combined with judicious schemes for initialization and hierarchical graph partitioning, this approach can reduce the size of node embedding vectors by 1,659 times to 81,362 times on large publicly available benchmark datasets, achieving comparable or better accuracy and significant speedups on multi-GPU systems. In some cases, our model without explicit node features on input can even match the accuracy of models that use node features.
Abstract（参考訳）: 本稿では、テンソルトレイン(tt)分解によりよりコンパクトにグラフニューラルネットワーク(gnns)の埋め込みテーブルを表現する新しい手法を提案する。私たちが考えるシナリオは (a)ノードの特徴を欠いたグラフデータにより、トレーニング中の埋め込みの学習が必要となること。 b)大容量GPUにおいても,ホスト間GPU通信を減らすために,より小さなテーブルを必要とするGPUプラットフォームを利用したい。 TTを使用することで、埋め込みのコンパクトなパラメータ化が可能になり、巨大なグラフであっても最新のGPUに完全に適合するほど小さくすることができる。このアプローチは、初期化と階層グラフ分割のための巧妙なスキームと組み合わせることで、大規模なベンチマークデータセットでノード埋め込みベクターのサイズを1,659倍から81,362倍に削減し、マルチgpuシステムで同等あるいは優れた精度と大幅な高速化を実現する。場合によっては、入力に明示的なノード機能がないモデルでも、ノード機能を使用するモデルの精度にマッチします。

関連論文リスト

Slicing Input Features to Accelerate Deep Learning: A Case Study with Graph Neural Networks [0.24578723416255746]
本稿では,機能スライスされた大規模グラフ学習手法であるSliceGCNを紹介する。これは、ミニバッチトレーニングに典型的な精度損失を回避し、GPU間通信を減らすことを目的としている。 6つのノード分類データセットで実験を行い、興味深い分析結果を得た。
論文参考訳（メタデータ） (2024-08-21T10:18:41Z)
Communication-Free Distributed GNN Training with Vertex Cut [63.22674903170953]
CoFree-GNNは、コミュニケーションのないトレーニングを実装することで、トレーニングプロセスを大幅に高速化する、分散GNNトレーニングフレームワークである。我々は、CoFree-GNNが既存の最先端のGNNトレーニングアプローチよりも最大10倍高速なGNNトレーニングプロセスを実証した。
論文参考訳（メタデータ） (2023-08-06T21:04:58Z)
DistTGL: Distributed Memory-Based Temporal Graph Neural Network Training [18.52206409432894]
DistTGLは、分散GPUクラスタ上でメモリベースのTGNNをトレーニングするための、効率的でスケーラブルなソリューションである。実験では、DistTGLはほぼ直線収束のスピードアップを実現し、最先端のシングルマシン法を14.5%、トレーニングスループットは10.17倍に向上した。
論文参考訳（メタデータ） (2023-07-14T22:52:27Z)
NodeFormer: A Scalable Graph Structure Learning Transformer for Node Classification [70.51126383984555]
本稿では,任意のノード間のノード信号を効率的に伝搬する全ペアメッセージパッシング方式を提案する。効率的な計算は、カーナライズされたGumbel-Softmax演算子によって実現される。グラフ上のノード分類を含む様々なタスクにおいて,本手法の有望な有効性を示す実験を行った。
論文参考訳（メタデータ） (2023-06-14T09:21:15Z)
Scalable Graph Convolutional Network Training on Distributed-Memory Systems [5.169989177779801]
グラフ畳み込みネットワーク(GCN)はグラフの深層学習に広く利用されている。グラフ上の畳み込み操作は不規則なメモリアクセスパターンを誘導するので、GCNトレーニングのためのメモリと通信効率の並列アルゴリズムを設計することはユニークな課題である。本稿では,大規模プロセッサ数にスケールする並列トレーニングアルゴリズムを提案する。
論文参考訳（メタデータ） (2022-12-09T17:51:13Z)
Embedding Compression with Hashing for Efficient Representation Learning in Large-Scale Graph [21.564894767364397]
グラフニューラルネットワーク(GNN)は、グラフデータに特化したディープラーニングモデルである。本研究では,各ノードを浮動小数点ベクトルの代わりにビットベクトルでコンパクトに表現するノード埋め込み圧縮法を開発した。提案手法は,提案手法が提案手法よりも優れた性能を示すことを示す。
論文参考訳（メタデータ） (2022-08-11T05:43:39Z)
DOTIN: Dropping Task-Irrelevant Nodes for GNNs [119.17997089267124]
最近のグラフ学習アプローチでは、学習のためのグラフのサイズを減らすためのプール戦略が導入されている。我々はDOTIN(underlineDrunderlineopping underlineTask-underlineIrrelevant underlineNodes)と呼ばれる新しいアプローチを設計し、グラフのサイズを減らす。本手法は,グラフ分類やグラフ編集距離を含むグラフレベルのタスクにおいて,GATを約50%高速化する。
論文参考訳（メタデータ） (2022-04-28T12:00:39Z)
Boosting Graph Embedding on a Single GPU [3.093890460224435]
大規模グラフを最小限のハードウェア制約で埋め込むためのGPUベースのツールであるGOSHを提案する。更新の影響を高め、埋め込み作業を最小限にするため、新しいグラフ粗化アルゴリズムを採用している。また、任意の任意の大きなグラフを単一のGPUで埋め込むことができる分解スキーマも組み込まれている。
論文参考訳（メタデータ） (2021-10-19T15:25:04Z)
GNNAutoScale: Scalable and Expressive Graph Neural Networks via Historical Embeddings [51.82434518719011]
GNNAutoScale(GAS)は、任意のメッセージパスGNNを大規模グラフにスケールするためのフレームワークである。ガスは、前回のトレーニングの繰り返しから過去の埋め込みを利用して計算グラフのサブツリー全体を掘り起こします。ガスは大規模グラフ上で最先端のパフォーマンスに達する。
論文参考訳（メタデータ） (2021-06-10T09:26:56Z)
VersaGNN: a Versatile accelerator for Graph neural networks [81.1667080640009]
我々は,超効率的なサイストリックアレイベースの多用途ハードウェアアクセラレータである textitVersaGNN を提案する。 textitVersaGNNは平均3712$times$ speedup with 1301.25$times$ energy reduction on CPU、35.4$times$ speedup with 17.66$times$ energy reduction on GPUを達成している。
論文参考訳（メタデータ） (2021-05-04T04:10:48Z)
DistGNN: Scalable Distributed Training for Large-Scale Graph Neural Networks [58.48833325238537]
大規模グラフの構造を学ぶためにGNN(Graph Neural Networks)のフルバッチトレーニングは、実現可能な数百の計算ノードにスケールする必要がある重要な問題です。本稿では,CPUクラスタ上でのフルバッチトレーニングのためのDGL(Deep Graph Library)を最適化したGNNについて述べる。 4つの一般的なGNNベンチマークデータセットの結果は、1つのCPUソケットを使用して最大3.7倍のスピードアップ、128のCPUソケットを使用して最大97倍のスピードアップを示す。
論文参考訳（メタデータ） (2021-04-14T08:46:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。