論文の概要: One-Shot Multi-Rate Pruning of Graph Convolutional Networks

• arxiv url: http://arxiv.org/abs/2312.17615v1
• Date: Fri, 29 Dec 2023 14:20:00 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-02 09:51:40.914260
• Title: One-Shot Multi-Rate Pruning of Graph Convolutional Networks
• Title（参考訳）: グラフ畳み込みネットワークのワンショットマルチレートプルーニング
• Authors: Hichem Sahbi
• Abstract要約: 我々は、MRMP(Multi-Rate Magnitude Pruning)と呼ばれる新しい軽量グラフ畳み込みネットワーク(GCN)の設計を考案した。 本手法は,学習したネットワークの重み分布を事前分布と整合させることにより,変動し,進行する。 一方、MRMPは、重みを調整することなく、任意の目標プルーニング速度で正確なネットワークを推定するために、共有重みの上に複数のGCNを共同で訓練する。
• 参考スコア（独自算出の注目度）: 5.656581242851759
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this paper, we devise a novel lightweight Graph Convolutional Network (GCN) design dubbed as Multi-Rate Magnitude Pruning (MRMP) that jointly trains network topology and weights. Our method is variational and proceeds by aligning the weight distribution of the learned networks with an a priori distribution. In the one hand, this allows implementing any fixed pruning rate, and also enhancing the generalization performances of the designed lightweight GCNs. In the other hand, MRMP achieves a joint training of multiple GCNs, on top of shared weights, in order to extrapolate accurate networks at any targeted pruning rate without retraining their weights. Extensive experiments conducted on the challenging task of skeleton-based recognition show a substantial gain of our lightweight GCNs particularly at very high pruning regimes.
• Abstract（参考訳）: 本稿では,マルチレート・マグニチュード・プルーニング(Multi-Rate Magnitude Pruning,MRMP)と呼ばれる,ネットワークトポロジと重みを併用した軽量なグラフ畳み込みネットワーク(GCN)の設計を提案する。 本手法は,学習したネットワークの重み分布を事前分布と整合させることにより,変動し,進行する。 一方で、任意の固定プルーニングレートを実装したり、設計した軽量gcnの一般化性能を向上させることができる。 一方、MRMPは、重みを調整することなく、任意の目標プルーニング速度で正確なネットワークを推定するために、共有重みの上に複数のGCNを共同で訓練する。 骨格に基づく認識の課題に対して行われた大規模な実験は、特に非常に高い刈取体制下で、我々の軽量GCNのかなりの増加を示している。

関連論文リスト

• T-GAE: Transferable Graph Autoencoder for Network Alignment [79.89704126746204]
  T-GAEはグラフオートエンコーダフレームワークで、GNNの転送性と安定性を活用して、再トレーニングなしに効率的なネットワークアライメントを実現する。 実験の結果、T-GAEは最先端の最適化手法と最高のGNN手法を最大38.7%、50.8%で上回っていることがわかった。
  論文  参考訳（メタデータ） (2023-10-05T02:58:29Z)
• Budget-Aware Graph Convolutional Network Design using Probabilistic Magnitude Pruning [12.18340575383456]
  我々は確率的マグニチュード・プルーニング(PMP)と呼ばれる新しい軽量グラフ畳み込みネットワーク(GCN)の設計を考案した。 本手法は,学習したネットワークの重み分布と事前分布とを整合させることにより,変動的かつ進行する。 骨格に基づく認識の困難な課題に対して行われた実験は、我々の軽量GCNのかなりの増加を示している。
  論文  参考訳（メタデータ） (2023-05-30T18:12:13Z)
• Training Lightweight Graph Convolutional Networks with Phase-field Models [12.18340575383456]
  我々は、位相場モデル(PFM)と呼ばれる特定の正規化器のクラスを用いて、軽量グラフ畳み込みネットワーク(GCN)を設計する。 PFMは、一つの「エンドツーエンド」最適化問題の一部として、GCNのトポロジーと重みパラメータの両方をトレーニングできる特定の超局所項を用いて、二相挙動を示す。
  論文  参考訳（メタデータ） (2022-12-19T12:49:03Z)
• A Comprehensive Survey on Distributed Training of Graph Neural Networks [59.785830738482474]
  グラフニューラルネットワーク(GNN)は、幅広いアプリケーション分野において強力なアルゴリズムモデルであることが示されている。 GNNトレーニングを大規模かつ継続的なグラフにスケールアップするために、最も有望なソリューションは分散トレーニングである。 分散GNNトレーニングに関する研究の規模は、非常に広範であり、出版のペースは極めて速い。
  論文  参考訳（メタデータ） (2022-11-10T06:22:12Z)
• Lightweight Graph Convolutional Networks with Topologically Consistent Magnitude Pruning [12.18340575383456]
  グラフ畳み込みネットワーク(GCN)は現在、不規則データによる学習で主流である。 本稿では,軽量GCN設計のための新しい手法を提案する。 提案手法は, トポロジ的整合性を確保しつつ, 最大等級で解析し, 選定する。
  論文  参考訳（メタデータ） (2022-03-25T12:34:11Z)
• RawlsGCN: Towards Rawlsian Difference Principle on Graph Convolutional Network [102.27090022283208]
  グラフ畳み込みネットワーク(GCN)は多くの現実世界のアプリケーションにおいて重要な役割を担っている。 GCNはしばしばノードの次数に対する性能の相違を示し、結果として低次ノードの予測精度が悪化する。 我々は、Rawlsian差分原理の観点から、GCNの次数関連性能格差を緩和する問題を定式化する。
  論文  参考訳（メタデータ） (2022-02-28T05:07:57Z)
• Distributed Optimization of Graph Convolutional Network using Subgraph Variance [8.510726499008204]
  グラフ拡張に基づく分散GCNフレームワーク(GAD)を提案する。 GADには、GAD-PartitionとGAD-rの2つの主要コンポーネントがある。 我々のフレームワークは通信オーバーヘッドを50%削減し、最先端手法と比較して収束速度(2X)と精度(0.45%)をわずかに向上させる。
  論文  参考訳（メタデータ） (2021-10-06T18:01:47Z)
• Spatio-Temporal Inception Graph Convolutional Networks for Skeleton-Based Action Recognition [126.51241919472356]
  我々はスケルトンに基づく行動認識のためのシンプルで高度にモジュール化されたグラフ畳み込みネットワークアーキテクチャを設計する。 ネットワークは,空間的および時間的経路から多粒度情報を集約するビルディングブロックを繰り返すことで構築される。
  論文  参考訳（メタデータ） (2020-11-26T14:43:04Z)
• Geometric Scattering Attention Networks [14.558882688159297]
  適応的なタスク駆動ノード表現を生成するための新しいアテンションベースアーキテクチャを提案する。 得られた幾何散乱注意ネットワーク(GSAN)は、半教師付きノード分類において、以前のネットワークより優れていることを示す。
  論文  参考訳（メタデータ） (2020-10-28T14:36:40Z)
• Improve Generalization and Robustness of Neural Networks via Weight Scale Shifting Invariant Regularizations [52.493315075385325]
  重み劣化を含む正則化器の族は、均質な活性化関数を持つネットワークに対する本質的な重みのノルムをペナルティ化するのに有効でないことを示す。 そこで我々は,ニューラルネットワークの本質的な規範を効果的に制約する改良型正規化器を提案する。
  論文  参考訳（メタデータ） (2020-08-07T02:55:28Z)
• Fitting the Search Space of Weight-sharing NAS with Graph Convolutional Networks [100.14670789581811]
  サンプルサブネットワークの性能に適合するグラフ畳み込みネットワークを訓練する。 この戦略により、選択された候補集合において、より高いランク相関係数が得られる。
  論文  参考訳（メタデータ） (2020-04-17T19:12:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。