論文の概要: Multicoated and Folded Graph Neural Networks with Strong Lottery Tickets
- arxiv url: http://arxiv.org/abs/2312.03236v1
- Date: Wed, 6 Dec 2023 02:16:44 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-07 16:17:28.695360
- Title: Multicoated and Folded Graph Neural Networks with Strong Lottery Tickets
- Title（参考訳）: 強力な宝くじ券を持つマルチコートおよび折り畳み型グラフニューラルネットワーク
- Authors: Jiale Yan, Hiroaki Ito, \'Angel L\'opez Garc\'ia-Arias, Yasuyuki
Okoshi, Hikari Otsuka, Kazushi Kawamura, Thiem Van Chu, Masato Motomura
- Abstract要約: 本稿では,アーキテクチャとパラメータの両面から検索空間を拡張するためのマルチステージ・フォールディング法とアンシャレッド・マスク法を提案する。
高空間性、競争性能、高メモリ効率を最大98.7%の削減で達成することにより、エネルギー効率の高いグラフ処理に適していることを示す。
- 参考スコア（独自算出の注目度）: 3.0894823679470087
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The Strong Lottery Ticket Hypothesis (SLTH) demonstrates the existence of
high-performing subnetworks within a randomly initialized model, discoverable
through pruning a convolutional neural network (CNN) without any weight
training. A recent study, called Untrained GNNs Tickets (UGT), expanded SLTH
from CNNs to shallow graph neural networks (GNNs). However, discrepancies
persist when comparing baseline models with learned dense weights.
Additionally, there remains an unexplored area in applying SLTH to deeper GNNs,
which, despite delivering improved accuracy with additional layers, suffer from
excessive memory requirements. To address these challenges, this work utilizes
Multicoated Supermasks (M-Sup), a scalar pruning mask method, and implements it
in GNNs by proposing a strategy for setting its pruning thresholds adaptively.
In the context of deep GNNs, this research uncovers the existence of untrained
recurrent networks, which exhibit performance on par with their trained
feed-forward counterparts. This paper also introduces the Multi-Stage Folding
and Unshared Masks methods to expand the search space in terms of both
architecture and parameters. Through the evaluation of various datasets,
including the Open Graph Benchmark (OGB), this work establishes a triple-win
scenario for SLTH-based GNNs: by achieving high sparsity, competitive
performance, and high memory efficiency with up to 98.7\% reduction, it
demonstrates suitability for energy-efficient graph processing.
- Abstract（参考訳）: strong lottery ticket hypothesis (slth) は、無作為初期化モデル内で高パフォーマンスサブネットワークの存在を示し、重みトレーニングなしで畳み込みニューラルネットワーク(cnn)をprunすることで発見できる。
Untrained GNNs Tickets (UGT)と呼ばれる最近の研究は、SLTHをCNNから浅いグラフニューラルネットワーク(GNN)に拡張した。
しかし、ベースラインモデルと学習された密度重みを比較する際には相違が続く。
さらに、より深いGNNにSLTHを適用する際の未調査領域も残っており、追加のレイヤで精度が向上したにもかかわらず、過剰なメモリ要求に悩まされている。
これらの課題に対処するために、スカラープルーニングマスク法であるMulticoated Supermasks (M-Sup)を用いて、プルーニング閾値を適応的に設定する戦略を提案し、GNNに実装する。
ディープgnnの文脈では、この研究はトレーニング済みのフィードフォワードと同等のパフォーマンスを示す、訓練されていないリカレントネットワークの存在を明らかにする。
また,マルチステージ折り畳み法と非共有マスク法を導入して,検索空間をアーキテクチャとパラメータの両方の観点から拡張する。
Open Graph Benchmark (OGB) を含む様々なデータセットの評価を通じて、この研究は、SLTHベースのGNNの3倍のシナリオを確立している。
関連論文リスト
- Scalable and Consistent Graph Neural Networks for Distributed Mesh-based Data-driven Modeling [0.0]
この研究は、メッシュベースのモデリングアプリケーションのための分散グラフニューラルネットワーク(GNN)方法論を開発する。
一貫性とは、1つのランク(1つの大きなグラフ)で訓練され評価されたGNNが、複数のランク(分割グラフ)での評価と算術的に等価であるという事実を指す。
NekRSメッシュのパーティショニングが分散GNNトレーニングと推論ルーチンにどのようにリンクできるかを示し、スケーラブルなメッシュベースのデータ駆動モデリングワークフローを実現する。
論文 参考訳（メタデータ） (2024-10-02T15:22:27Z) - Tackling Oversmoothing in GNN via Graph Sparsification: A Truss-based Approach [1.4854797901022863]
本稿では,グラフの高密度領域からエッジを抽出する新鮮で柔軟なトラスグラフスペーシフィケーションモデルを提案する。
次に、GIN、SAGPool、GMT、DiffPool、MinCutPool、HGP-SL、DMonPool、AdamGNNといった最先端のベースラインGNNとプールモデルでスパーシフィケーションモデルを利用する。
論文 参考訳（メタデータ） (2024-07-16T17:21:36Z) - Pursing the Sparse Limitation of Spiking Deep Learning Structures [42.334835610250714]
スパイキングニューラルネットワーク(SNN)はその優れた計算とエネルギー効率のために注目を集めている。
重量とパッチレベルの当選チケットを同時に識別できる革新的なアルゴリズムを提案する。
我々は, モデル構造が極めて疎い場合でも, スパイキング抽選券が同等あるいは優れた性能を達成できることを実証した。
論文 参考訳（メタデータ） (2023-11-18T17:00:40Z) - T-GAE: Transferable Graph Autoencoder for Network Alignment [79.89704126746204]
T-GAEはグラフオートエンコーダフレームワークで、GNNの転送性と安定性を活用して、再トレーニングなしに効率的なネットワークアライメントを実現する。
実験の結果、T-GAEは最先端の最適化手法と最高のGNN手法を最大38.7%、50.8%で上回っていることがわかった。
論文 参考訳（メタデータ） (2023-10-05T02:58:29Z) - You Can Have Better Graph Neural Networks by Not Training Weights at
All: Finding Untrained GNNs Tickets [105.24703398193843]
グラフニューラルネットワーク(GNN)の未訓練作業はまだ謎のままだ。
得られた未学習作品によって,GNNの過度なスムース化問題を大幅に軽減できることを示す。
また,そのような未学習作業が,入力摂動の分布外検出と堅牢性に優れていることも観察した。
論文 参考訳（メタデータ） (2022-11-28T14:17:36Z) - A Comprehensive Study on Large-Scale Graph Training: Benchmarking and
Rethinking [124.21408098724551]
グラフニューラルネットワーク(GNN)の大規模グラフトレーニングは、非常に難しい問題である
本稿では,既存の問題に対処するため,EnGCNという新たなアンサンブルトレーニング手法を提案する。
提案手法は,大規模データセット上でのSOTA(State-of-the-art)の性能向上を実現している。
論文 参考訳（メタデータ） (2022-10-14T03:43:05Z) - A Biased Graph Neural Network Sampler with Near-Optimal Regret [57.70126763759996]
グラフニューラルネットワーク(GNN)は、グラフおよびリレーショナルデータにディープネットワークアーキテクチャを適用する手段として登場した。
本論文では,既存の作業に基づいて,GNN近傍サンプリングをマルチアームバンディット問題として扱う。
そこで本研究では,分散を低減し,不安定かつ非限定的な支払いを回避すべく設計されたバイアスをある程度導入した報酬関数を提案する。
論文 参考訳（メタデータ） (2021-03-01T15:55:58Z) - A Unified Lottery Ticket Hypothesis for Graph Neural Networks [82.31087406264437]
本稿では,グラフ隣接行列とモデルの重み付けを同時に行う統一GNNスペーシフィケーション(UGS)フレームワークを提案する。
グラフ宝くじ(GLT)をコアサブデータセットとスパースサブネットワークのペアとして定義することにより、人気のある宝くじチケット仮説を初めてGNNsにさらに一般化します。
論文 参考訳（メタデータ） (2021-02-12T21:52:43Z) - Recurrent Graph Tensor Networks: A Low-Complexity Framework for
Modelling High-Dimensional Multi-Way Sequence [24.594587557319837]
我々は、リカレントニューラルネットワーク(RNN)における隠れ状態のモデリングを近似するグラフフィルタフレームワークを開発する。
提案するフレームワークは、複数のマルチウェイシーケンスモデリングタスクを通じて検証され、従来のRNNに対してベンチマークされる。
提案したRGTNは,標準RNNよりも優れるだけでなく,従来のRNNと関連する次元の曲線を緩和できることを示す。
論文 参考訳（メタデータ） (2020-09-18T10:13:36Z) - Binarized Graph Neural Network [65.20589262811677]
我々は二項化グラフニューラルネットワークを開発し、二項化ネットワークパラメータを用いてノードのバイナリ表現を学習する。
提案手法は既存のGNNベースの埋め込み手法にシームレスに統合できる。
実験により、提案された二項化グラフニューラルネットワーク、すなわちBGNは、時間と空間の両方の観点から、桁違いに効率的であることが示されている。
論文 参考訳（メタデータ） (2020-04-19T09:43:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。