論文の概要: Fast Track to Winning Tickets: Repowering One-Shot Pruning for Graph Neural Networks

• arxiv url: http://arxiv.org/abs/2412.07605v1
• Date: Tue, 10 Dec 2024 15:45:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-11 14:36:13.635317
• Title: Fast Track to Winning Tickets: Repowering One-Shot Pruning for Graph Neural Networks
• Title（参考訳）: 高速トラックで勝利するチケット:グラフニューラルネットワークのためのワンショットプルーニングの強化
• Authors: Yanwei Yue, Guibin Zhang, Haoran Yang, Dawei Cheng,
• Abstract要約: 我々は,テキストファーストトラックの有効性を検証するために,ワンショットプルーニング・デノベーション・フレームワークを導入する。 提案手法では,重量幅の改善が1.32%～45.62%,グラフ幅が7.49%～22.71%,IMP法が1.7～44倍,MAC削減が9.3%～98.6%であった。
• 参考スコア（独自算出の注目度）: 14.403484469954982
• License:
• Abstract: Graph Neural Networks (GNNs) demonstrate superior performance in various graph learning tasks, yet their wider real-world application is hindered by the computational overhead when applied to large-scale graphs. To address the issue, the Graph Lottery Hypothesis (GLT) has been proposed, advocating the identification of subgraphs and subnetworks, \textit{i.e.}, winning tickets, without compromising performance. The effectiveness of current GLT methods largely stems from the use of iterative magnitude pruning (IMP), which offers higher stability and better performance than one-shot pruning. However, identifying GLTs is highly computationally expensive, due to the iterative pruning and retraining required by IMP. In this paper, we reevaluate the correlation between one-shot pruning and IMP: while one-shot tickets are suboptimal compared to IMP, they offer a \textit{fast track} to tickets with a stronger performance. We introduce a one-shot pruning and denoising framework to validate the efficacy of the \textit{fast track}. Compared to current IMP-based GLT methods, our framework achieves a double-win situation of graph lottery tickets with \textbf{higher sparsity} and \textbf{faster speeds}. Through extensive experiments across 4 backbones and 6 datasets, our method demonstrates $1.32\% - 45.62\%$ improvement in weight sparsity and a $7.49\% - 22.71\%$ increase in graph sparsity, along with a $1.7-44 \times$ speedup over IMP-based methods and $95.3\%-98.6\%$ MAC savings.
• Abstract（参考訳）: グラフニューラルネットワーク(GNN)は、様々なグラフ学習タスクにおいて優れた性能を示すが、大規模グラフに適用した場合の計算オーバーヘッドにより、より広い現実世界のアプリケーションが妨げられる。 この問題に対処するため、Graph Lottery hypothesis (GLT) が提案され、サブグラフとサブネットの識別、 \textit{i.e.} が、パフォーマンスを損なうことなく、チケットを勝ち取ることを提唱している。 現在のGLT法の有効性は、単発プルーニングよりも高い安定性と優れた性能を提供するイテレーティブ・マグニチュード・プルーニング(IMP)の使用に大きく影響している。 しかし、IMPが要求する反復的なプルーニングと再訓練のため、GLTの同定は非常に高価である。 本稿では,ワンショットプルーニングとIMPの相関性を再評価する:ワンショットチケットはIMPに比べて最適であるが,より強力なパフォーマンスを持つチケットに「textit{fast track}」を提供する。 本稿では, 単発プルーニング・デノベーション・フレームワークを導入し, textit{fast track}の有効性を検証する。 現在のIMPベースのGLT法と比較して,本フレームワークは,グラフ抽選チケットの両勝状況を, \textbf{higher sparsity} と \textbf{faster speeds} で実現している。 4つのバックボーンと6つのデータセットにわたる広範な実験を通じて、我々の手法は、重量空間の1.32\% - 45.62\%$改善と、グラフ空間の7.49\% - 22.71\%$増加、IMPベースのメソッドの1.7-44 \times$高速化、9.3\%-98.6\%$MAC削減を実証した。

関連論文リスト

• Graph Sparsification via Mixture of Graphs [67.40204130771967]
  そこで我々はMixture-of-Graphs (MoG)を導入し、各ノードに対して動的に調整されたプルーニングソリューションを選択する。 MoGには複数のスパシファイアの専門家が組み込まれており、それぞれが独自のスパーシリティレベルとプルーニング基準によって特徴付けられ、各ノードに対して適切な専門家を選択する。 5つのGNNを備えた4つの大規模OGBデータセットと2つのスーパーピクセルデータセットの実験により、MoGはより高い空間レベルのサブグラフを識別することを示した。
  論文  参考訳（メタデータ） (2024-05-23T07:40:21Z)
• Two Heads Are Better Than One: Boosting Graph Sparse Training via Semantic and Topological Awareness [80.87683145376305]
  グラフニューラルネットワーク(GNN)は、様々なグラフ学習タスクに優れるが、大規模グラフに適用した場合、計算上の課題に直面している。 データレベルで空間を動的に操作するグラフスパーストレーニング(GST)を提案する。 GSTは、最大位相整合性と性能劣化のないスパースグラフを生成する。
  論文  参考訳（メタデータ） (2024-02-02T09:10:35Z)
• Less Can Be More: Unsupervised Graph Pruning for Large-scale Dynamic Graphs [42.864057751606616]
  動的グラフ上での教師なしグラフプルーニングの問題を提案し,検討する。 提案するSTEPフレームワークは,入力動的グラフから潜在的に冗長なエッジを取り除くことを学習する。 実世界の3つのデータセットに対する我々の結果は、GNNの有効性、堅牢性、効率性を改善する利点を実証している。
  論文  参考訳（メタデータ） (2023-05-18T03:23:53Z)
• Rethinking Graph Lottery Tickets: Graph Sparsity Matters [22.494153884469288]
  Lottery Ticket hypothesis (LTH) は、オリジナルの高密度ネットワークに対する競争性能を達成できる勝利チケットの存在を主張している。 本稿では,グラフ間隔が高い場合のGNN性能を改善するための2つの手法を提案する。
  論文  参考訳（メタデータ） (2023-05-03T15:35:15Z)
• DOTIN: Dropping Task-Irrelevant Nodes for GNNs [119.17997089267124]
  最近のグラフ学習アプローチでは、学習のためのグラフのサイズを減らすためのプール戦略が導入されている。 我々はDOTIN(underlineDrunderlineopping underlineTask-underlineIrrelevant underlineNodes)と呼ばれる新しいアプローチを設計し、グラフのサイズを減らす。 本手法は,グラフ分類やグラフ編集距離を含むグラフレベルのタスクにおいて,GATを約50%高速化する。
  論文  参考訳（メタデータ） (2022-04-28T12:00:39Z)
• Large-Scale Network Embedding in Apache Spark [1.3769786711365102]
  本稿では,Apache Sparkを用いた大規模グラフへのネットワーク埋め込みのための効率的かつ効率的な分散アルゴリズムを提案する。 提案手法は数時間で数十億のエッジを持つグラフを処理でき、最先端のアプローチよりも少なくとも4倍高速であることを示す。
  論文  参考訳（メタデータ） (2021-06-20T04:42:24Z)
• GNNAutoScale: Scalable and Expressive Graph Neural Networks via Historical Embeddings [51.82434518719011]
  GNNAutoScale(GAS)は、任意のメッセージパスGNNを大規模グラフにスケールするためのフレームワークである。 ガスは、前回のトレーニングの繰り返しから過去の埋め込みを利用して計算グラフのサブツリー全体を掘り起こします。 ガスは大規模グラフ上で最先端のパフォーマンスに達する。
  論文  参考訳（メタデータ） (2021-06-10T09:26:56Z)
• Scalable Graph Neural Networks via Bidirectional Propagation [89.70835710988395]
  グラフニューラルネットワーク(GNN)は、非ユークリッドデータを学習するための新興分野である。 本稿では、特徴ベクトルとトレーニング/テストノードの両方から局所的な双方向伝搬プロセスを利用するスケーラブルなGNNであるGBPを提案する。 実証実験により、GBPは、トレーニング/テスト時間を大幅に減らして最先端のパフォーマンスを達成することが示された。
  論文  参考訳（メタデータ） (2020-10-29T08:55:33Z)
• Fast Graph Attention Networks Using Effective Resistance Based Graph Sparsification [70.50751397870972]
  FastGATは、スペクトルスペーシフィケーションを用いて、注目に基づくGNNを軽量にし、入力グラフの最適プルーニングを生成する手法である。 我々は,ノード分類タスクのための大規模実世界のグラフデータセット上でFastGATを実験的に評価した。
  論文  参考訳（メタデータ） (2020-06-15T22:07:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。