Fugu-MT 論文翻訳(概要): Sparse Decomposition of Graph Neural Networks

論文の概要: Sparse Decomposition of Graph Neural Networks

arxiv url: http://arxiv.org/abs/2410.19723v1
Date: Fri, 25 Oct 2024 17:52:16 GMT
ステータス: 翻訳完了
システム内更新日: 2024-10-28 13:37:31.975954
Title: Sparse Decomposition of Graph Neural Networks
Title（参考訳）: グラフニューラルネットワークのスパース分解
Authors: Yaochen Hu, Mai Zeng, Ge Zhang, Pavel Rumiantsev, Liheng Ma, Yingxue Zhang, Mark Coates,
Abstract要約: 本稿では,集約中に含まれるノード数を削減する手法を提案する。線形変換された特徴の重み付け和を用いてノード表現の近似を学習し、スパース分解によりこれを実現できる。提案手法は推論高速化のために設計された他のベースラインよりも優れていることを示す。
参考スコア（独自算出の注目度）: 20.768412002413843
License:
Abstract: Graph Neural Networks (GNN) exhibit superior performance in graph representation learning, but their inference cost can be high, due to an aggregation operation that can require a memory fetch for a very large number of nodes. This inference cost is the major obstacle to deploying GNN models with \emph{online prediction} to reflect the potentially dynamic node features. To address this, we propose an approach to reduce the number of nodes that are included during aggregation. We achieve this through a sparse decomposition, learning to approximate node representations using a weighted sum of linearly transformed features of a carefully selected subset of nodes within the extended neighbourhood. The approach achieves linear complexity with respect to the average node degree and the number of layers in the graph neural network. We introduce an algorithm to compute the optimal parameters for the sparse decomposition, ensuring an accurate approximation of the original GNN model, and present effective strategies to reduce the training time and improve the learning process. We demonstrate via extensive experiments that our method outperforms other baselines designed for inference speedup, achieving significant accuracy gains with comparable inference times for both node classification and spatio-temporal forecasting tasks.
Abstract（参考訳）: グラフニューラルネットワーク(GNN)は、グラフ表現学習において優れた性能を示すが、非常に多数のノードに対してメモリフェッチを必要とする集約操作のため、その推論コストが高い可能性がある。この推論コストは、潜在的に動的なノード特徴を反映するために \emph{online prediction} で GNN モデルをデプロイする上で大きな障害となる。そこで本研究では,アグリゲーション中に含まれるノード数を削減できる手法を提案する。これを実現するために, 拡張近傍におけるノードの慎重に選択された部分集合の線形変換特徴の重み付け和を用いて, ノード表現を近似するスパース分解を学習する。この手法は,グラフニューラルネットワークにおける平均ノード次数と層数に対する線形複雑性を実現する。スパース分解のための最適パラメータを計算し、元のGNNモデルの正確な近似を保証するアルゴリズムを導入し、トレーニング時間を短縮し、学習プロセスを改善する効果的な戦略を示す。提案手法は,推定速度向上のために設計された他のベースラインよりも優れた性能を示し,ノード分類と時空間予測の両タスクに匹敵する推定時間で精度の高いゲインが得られることを示した。

関連論文リスト

GraphRARE: Reinforcement Learning Enhanced Graph Neural Network with Relative Entropy [21.553180564868306]
GraphRAREはノード相対エントロピーと深層強化学習に基づいて構築されたフレームワークである。革新的なノード相対エントロピーは、ノードペア間の相互情報を測定するために使用される。グラフトポロジを最適化するために,深層強化学習に基づくアルゴリズムを開発した。
論文参考訳（メタデータ） (2023-12-15T11:30:18Z)
Efficient Heterogeneous Graph Learning via Random Projection [58.4138636866903]
不均一グラフニューラルネットワーク(HGNN)は、異種グラフを深層学習するための強力なツールである。最近のプリ計算ベースのHGNNは、一時間メッセージパッシングを使用して不均一グラフを正規形テンソルに変換する。我々はRandom Projection Heterogeneous Graph Neural Network (RpHGNN) というハイブリッド計算前HGNNを提案する。
論文参考訳（メタデータ） (2023-10-23T01:25:44Z)
Layer-wise training for self-supervised learning on graphs [0.0]
大規模グラフ上でのグラフニューラルネットワーク(GNN)のエンドツーエンドトレーニングは、いくつかのメモリと計算上の課題を示す。本稿では,GNN層を自己教師型で学習するアルゴリズムであるレイヤワイズ正規化グラフInfomaxを提案する。
論文参考訳（メタデータ） (2023-09-04T10:23:39Z)
NodeFormer: A Scalable Graph Structure Learning Transformer for Node Classification [70.51126383984555]
本稿では,任意のノード間のノード信号を効率的に伝搬する全ペアメッセージパッシング方式を提案する。効率的な計算は、カーナライズされたGumbel-Softmax演算子によって実現される。グラフ上のノード分類を含む様々なタスクにおいて,本手法の有望な有効性を示す実験を行った。
論文参考訳（メタデータ） (2023-06-14T09:21:15Z)
$\rm A^2Q$: Aggregation-Aware Quantization for Graph Neural Networks [18.772128348519566]
グラフニューラルネットワーク(GNN)のための集約型混合精度量子化(rm A2Q$)を提案する。本手法は,ノードレベルのタスクとグラフレベルのタスクで最大11.4%,9.5%の精度向上を実現し,専用ハードウェアアクセラレータで最大2倍の高速化を実現する。
論文参考訳（メタデータ） (2023-02-01T02:54:35Z)
Graph Neural Network Based Node Deployment for Throughput Enhancement [20.56966053013759]
本稿では,ネットワークノード配置問題に対する新しいグラフニューラルネットワーク(GNN)手法を提案する。提案手法の理論的サポートとして,表現型GNNが関数値とトラフィック置換の両方を近似する能力を持つことを示す。
論文参考訳（メタデータ） (2022-08-19T08:06:28Z)
Optimal Propagation for Graph Neural Networks [51.08426265813481]
最適グラフ構造を学習するための二段階最適化手法を提案する。また、時間的複雑さをさらに軽減するために、低ランク近似モデルについても検討する。
論文参考訳（メタデータ） (2022-05-06T03:37:00Z)
Scaling Up Graph Neural Networks Via Graph Coarsening [18.176326897605225]
グラフニューラルネットワーク(GNN)のスケーラビリティは、マシンラーニングにおける大きな課題のひとつだ。本稿では,GNNのスケーラブルなトレーニングにグラフ粗大化を用いることを提案する。既成の粗大化法を単純に適用すれば,分類精度を著しく低下させることなく,ノード数を最大10倍に削減できることを示す。
論文参考訳（メタデータ） (2021-06-09T15:46:17Z)
Policy-GNN: Aggregation Optimization for Graph Neural Networks [60.50932472042379]
グラフニューラルネットワーク(GNN)は、局所的なグラフ構造をモデル化し、隣人からの情報を集約することで階層的なパターンを捉えることを目的としている。複雑なグラフとスパースな特徴を与えられた各ノードに対して効果的なアグリゲーション戦略を開発することは難しい課題である。本稿では,GNNのサンプリング手順とメッセージパッシングを複合学習プロセスにモデル化するメタ政治フレームワークであるPolicy-GNNを提案する。
論文参考訳（メタデータ） (2020-06-26T17:03:06Z)
Fast Graph Attention Networks Using Effective Resistance Based Graph Sparsification [70.50751397870972]
FastGATは、スペクトルスペーシフィケーションを用いて、注目に基づくGNNを軽量にし、入力グラフの最適プルーニングを生成する手法である。我々は,ノード分類タスクのための大規模実世界のグラフデータセット上でFastGATを実験的に評価した。
論文参考訳（メタデータ） (2020-06-15T22:07:54Z)
Binarized Graph Neural Network [65.20589262811677]
我々は二項化グラフニューラルネットワークを開発し、二項化ネットワークパラメータを用いてノードのバイナリ表現を学習する。提案手法は既存のGNNベースの埋め込み手法にシームレスに統合できる。実験により、提案された二項化グラフニューラルネットワーク、すなわちBGNは、時間と空間の両方の観点から、桁違いに効率的であることが示されている。
論文参考訳（メタデータ） (2020-04-19T09:43:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。