Fugu-MT 論文翻訳(概要): Budget-Aware Graph Convolutional Network Design using Probabilistic Magnitude Pruning

論文の概要: Budget-Aware Graph Convolutional Network Design using Probabilistic Magnitude Pruning

arxiv url: http://arxiv.org/abs/2305.19343v1
Date: Tue, 30 May 2023 18:12:13 GMT
ステータス: 処理完了
システム内更新日: 2023-06-01 20:07:41.040868
Title: Budget-Aware Graph Convolutional Network Design using Probabilistic Magnitude Pruning
Title（参考訳）: 確率的マグニチュードプルーニングを用いた予算対応グラフ畳み込みネットワーク設計
Authors: Hichem Sahbi
Abstract要約: 我々は確率的マグニチュード・プルーニング(PMP)と呼ばれる新しい軽量グラフ畳み込みネットワーク(GCN)の設計を考案した。本手法は,学習したネットワークの重み分布と事前分布とを整合させることにより,変動的かつ進行する。骨格に基づく認識の困難な課題に対して行われた実験は、我々の軽量GCNのかなりの増加を示している。
参考スコア（独自算出の注目度）: 12.18340575383456
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Graph convolutional networks (GCNs) are nowadays becoming mainstream in solving many image processing tasks including skeleton-based recognition. Their general recipe consists in learning convolutional and attention layers that maximize classification performances. With multi-head attention, GCNs are highly accurate but oversized, and their deployment on edge devices requires their pruning. Among existing methods, magnitude pruning (MP) is relatively effective but its design is clearly suboptimal as network topology selection and weight retraining are achieved independently. In this paper, we devise a novel lightweight GCN design dubbed as Probabilistic Magnitude Pruning (PMP) that jointly trains network topology and weights. Our method is variational and proceeds by aligning the weight distribution of the learned networks with an a priori distribution. This allows implementing any fixed pruning rate, and also enhancing the generalization performances of the designed lightweight GCNs. Extensive experiments conducted on the challenging task of skeleton-based recognition show a substantial gain of our lightweight GCNs particularly at very high pruning regimes.
Abstract（参考訳）: グラフ畳み込みネットワーク(GCN)は、骨格に基づく認識を含む多くの画像処理タスクの解決において、近年主流になりつつある。彼らの一般的なレシピは、分類性能を最大化する畳み込み層と注意層の学習である。マルチヘッドの注意を向けると、gcnは非常に正確だが、サイズが大きすぎる。既存の手法の中では、マグニチュードプルーニング(MP)は比較的効果的であるが、ネットワークトポロジの選択と重み付けが独立して達成されるため、その設計は明らかに最適以下である。本稿では,ネットワークトポロジと重みを協調的にトレーニングする,確率的マグニチュード・プルーニング(PMP)と呼ばれる新しい軽量GCN設計を提案する。本手法は,学習したネットワークの重み分布を事前分布と整合させることにより,変動し,進行する。これにより、固定プルーニングレートの実装や、設計された軽量GCNの一般化性能の向上が可能になる。骨格に基づく認識の課題に対して行われた大規模な実験は、特に非常に高い刈取体制下で、我々の軽量GCNのかなりの増加を示している。

関連論文リスト

One-Shot Multi-Rate Pruning of Graph Convolutional Networks [5.656581242851759]
我々は、MRMP(Multi-Rate Magnitude Pruning)と呼ばれる新しい軽量グラフ畳み込みネットワーク(GCN)の設計を考案した。本手法は,学習したネットワークの重み分布を事前分布と整合させることにより,変動し,進行する。一方、MRMPは、重みを調整することなく、任意の目標プルーニング速度で正確なネットワークを推定するために、共有重みの上に複数のGCNを共同で訓練する。
論文参考訳（メタデータ） (2023-12-29T14:20:00Z)
T-GAE: Transferable Graph Autoencoder for Network Alignment [79.89704126746204]
T-GAEはグラフオートエンコーダフレームワークで、GNNの転送性と安定性を活用して、再トレーニングなしに効率的なネットワークアライメントを実現する。実験の結果、T-GAEは最先端の最適化手法と最高のGNN手法を最大38.7%、50.8%で上回っていることがわかった。
論文参考訳（メタデータ） (2023-10-05T02:58:29Z)
Iterative Soft Shrinkage Learning for Efficient Image Super-Resolution [91.3781512926942]
画像超解像(SR)は、CNNからトランスフォーマーアーキテクチャへの広範なニューラルネットワーク設計を目撃している。本研究は,市販のネットワーク設計を生かし,基礎となる計算オーバーヘッドを低減するため,超高解像度イテレーションにおけるネットワークプルーニングの可能性について検討する。本研究では, ランダムネットワークのスパース構造を最適化し, 重要でない重みを小さめに微調整することにより, 反復型軟収縮率(ISS-P)法を提案する。
論文参考訳（メタデータ） (2023-03-16T21:06:13Z)
Training Lightweight Graph Convolutional Networks with Phase-field Models [12.18340575383456]
我々は、位相場モデル(PFM)と呼ばれる特定の正規化器のクラスを用いて、軽量グラフ畳み込みネットワーク(GCN)を設計する。 PFMは、一つの「エンドツーエンド」最適化問題の一部として、GCNのトポロジーと重みパラメータの両方をトレーニングできる特定の超局所項を用いて、二相挙動を示す。
論文参考訳（メタデータ） (2022-12-19T12:49:03Z)
Lightweight Graph Convolutional Networks with Topologically Consistent Magnitude Pruning [12.18340575383456]
グラフ畳み込みネットワーク(GCN)は現在、不規則データによる学習で主流である。本稿では,軽量GCN設計のための新しい手法を提案する。提案手法は, トポロジ的整合性を確保しつつ, 最大等級で解析し, 選定する。
論文参考訳（メタデータ） (2022-03-25T12:34:11Z)
Learning Pruned Structure and Weights Simultaneously from Scratch: an Attention based Approach [4.284071491453377]
我々は、新しい非構造化プルーニングパイプライン、注意に基づく同時スパース構造と重み学習(ASWL)を提案する。 ASWLは, 各層毎の層単位でのプルーニング比を計算する効率的なアルゴリズムを提案し, 密集ネットワークとスパースネットワークの重みをランダムな重みから同時に学習するように追従する。 MNIST, Cifar10, ImageNet を用いた実験により, ASWL は精度, プルーニング率, 運転効率の点で, 優れたプルーニング結果が得られることが示された。
論文参考訳（メタデータ） (2021-11-01T02:27:44Z)
Haar Wavelet Feature Compression for Quantized Graph Convolutional Networks [7.734726150561088]
グラフ畳み込みニューラルネットワーク(GCN)は様々なアプリケーションで広く使われており、標準畳み込みニューラルネットワーク(CNN)の非構造化バージョンと見なすことができる。 CNNと同様に、大きな入力グラフに対するGCNの計算コストは高く、特に計算資源の少ない環境では、これらのネットワークの使用を阻害することができる。本稿では,Haarウェーブレット圧縮と光量子化を利用して,ネットワークの計算量と帯域幅を削減することを提案する。
論文参考訳（メタデータ） (2021-10-10T15:25:37Z)
Spatio-Temporal Inception Graph Convolutional Networks for Skeleton-Based Action Recognition [126.51241919472356]
我々はスケルトンに基づく行動認識のためのシンプルで高度にモジュール化されたグラフ畳み込みネットワークアーキテクチャを設計する。ネットワークは,空間的および時間的経路から多粒度情報を集約するビルディングブロックを繰り返すことで構築される。
論文参考訳（メタデータ） (2020-11-26T14:43:04Z)
DeeperGCN: All You Need to Train Deeper GCNs [66.64739331859226]
グラフ畳み込みネットワーク(GCN)はグラフ上での表現学習の力で注目されている。非常に深いレイヤを積み重ねることのできる畳み込みニューラルネットワーク(CNN)とは異なり、GCNはより深く進むと、勾配の消失、過度なスムース化、過度に適合する問題に悩まされる。本稿では,非常に深いGCNを正常かつ確実に訓練できるDeeperGCNを提案する。
論文参考訳（メタデータ） (2020-06-13T23:00:22Z)
ResNeSt: Split-Attention Networks [86.25490825631763]
このアーキテクチャは、異なるネットワークブランチにチャンネルワイズを応用し、機能間相互作用のキャプチャと多様な表現の学習の成功を活用する。我々のモデルはResNeStと呼ばれ、画像分類の精度と遅延トレードオフにおいてEfficientNetより優れています。
論文参考訳（メタデータ） (2020-04-19T20:40:31Z)
Large-Scale Gradient-Free Deep Learning with Recursive Local Representation Alignment [84.57874289554839]
大規模データセット上でディープニューラルネットワークをトレーニングするには、重要なハードウェアリソースが必要である。これらのネットワークをトレーニングするためのワークホースであるバックプロパゲーションは、本質的に並列化が難しいシーケンシャルなプロセスである。本稿では、深層ネットワークのトレーニングに使用できるバックプロップに代わる、神経生物学的に有望な代替手段を提案する。
論文参考訳（メタデータ） (2020-02-10T16:20:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。