論文の概要: Haar Wavelet Feature Compression for Quantized Graph Convolutional Networks

• arxiv url: http://arxiv.org/abs/2110.04824v1
• Date: Sun, 10 Oct 2021 15:25:37 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-12 16:39:01.474179
• Title: Haar Wavelet Feature Compression for Quantized Graph Convolutional Networks
• Title（参考訳）: 量子化グラフ畳み込みネットワークのためのハールウェーブレット特徴圧縮
• Authors: Moshe Eliasof, Benjamin Bodner, Eran Treister
• Abstract要約: グラフ畳み込みニューラルネットワーク(GCN)は様々なアプリケーションで広く使われており、標準畳み込みニューラルネットワーク(CNN)の非構造化バージョンと見なすことができる。 CNNと同様に、大きな入力グラフに対するGCNの計算コストは高く、特に計算資源の少ない環境では、これらのネットワークの使用を阻害することができる。 本稿では,Haarウェーブレット圧縮と光量子化を利用して,ネットワークの計算量と帯域幅を削減することを提案する。
• 参考スコア（独自算出の注目度）: 7.734726150561088
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Graph Convolutional Networks (GCNs) are widely used in a variety of applications, and can be seen as an unstructured version of standard Convolutional Neural Networks (CNNs). As in CNNs, the computational cost of GCNs for large input graphs (such as large point clouds or meshes) can be high and inhibit the use of these networks, especially in environments with low computational resources. To ease these costs, quantization can be applied to GCNs. However, aggressive quantization of the feature maps can lead to a significant degradation in performance. On a different note, Haar wavelet transforms are known to be one of the most effective and efficient approaches to compress signals. Therefore, instead of applying aggressive quantization to feature maps, we propose to utilize Haar wavelet compression and light quantization to reduce the computations and the bandwidth involved with the network. We demonstrate that this approach surpasses aggressive feature quantization by a significant margin, for a variety of problems ranging from node classification to point cloud classification and part and semantic segmentation.
• Abstract（参考訳）: グラフ畳み込みニューラルネットワーク(GCN)は様々なアプリケーションで広く使われており、標準畳み込みニューラルネットワーク(CNN)の非構造化バージョンと見なすことができる。 CNNと同様に、大きな入力グラフ(大点雲やメッシュなど)に対するGCNの計算コストは高く、特に計算資源の少ない環境ではこれらのネットワークの使用を阻害することができる。 これらのコストを緩和するために、量子化はGCNに適用できる。 しかし、特徴写像の積極的な量子化は性能を著しく低下させる可能性がある。 別の注意として、ハールウェーブレット変換は信号圧縮の最も効果的で効率的な方法の1つとして知られている。 そこで本稿では,特徴写像にアグレッシブ量子化を適用する代わりに,Haarウェーブレット圧縮と光量子化を用いて,ネットワークの計算と帯域幅を削減することを提案する。 この手法は,ノード分類からポイントクラウド分類,パートセグメンテーション,セマンティクスセグメンテーションに至るまで,さまざまな問題に対して,攻撃的な特徴量化をかなりのマージンで超えることを実証する。

関連論文リスト

• Binary Graph Convolutional Network with Capacity Exploration [58.99478502486377]
  ネットワークパラメータと入力ノード属性の両方を二項化するバイナリグラフ畳み込みネットワーク(Bi-GCN)を提案する。 我々のBi-GCNは、ネットワークパラメータと入力データの両方で平均31倍のメモリ消費を削減でき、推論速度を平均51倍に加速できる。
  論文  参考訳（メタデータ） (2022-10-24T12:05:17Z)
• Dynamic Graph Message Passing Networks for Visual Recognition [112.49513303433606]
  長距離依存のモデリングは、コンピュータビジョンにおけるシーン理解タスクに不可欠である。 完全連結グラフはそのようなモデリングには有益であるが、計算オーバーヘッドは禁じられている。 本稿では,計算複雑性を大幅に低減する動的グラフメッセージパッシングネットワークを提案する。
  論文  参考訳（メタデータ） (2022-09-20T14:41:37Z)
• CoNLoCNN: Exploiting Correlation and Non-Uniform Quantization for Energy-Efficient Low-precision Deep Convolutional Neural Networks [13.520972975766313]
  本研究では、重みの非一様量子化を利用して、エネルギー効率の低い深部畳み込みニューラルネットワーク推論を可能にする枠組みを提案する。 また、重みのビット幅を圧縮する新しいデータ表現形式Encoded Low-Precision Binary Signed Digitを提案する。
  論文  参考訳（メタデータ） (2022-07-31T01:34:56Z)
• Rewiring Networks for Graph Neural Network Training Using Discrete Geometry [0.0]
  情報オーバースカッシングはグラフニューラルネットワーク(GNN)のトレーニングに大きな影響を与える問題である 本稿では,ネットワーク上の情報の流れをモデル化し,それらを再構成するために,古典幾何学的な曲率の概念の離散アナログを用いて検討する。 これらの古典的概念は、様々な実世界のネットワークデータセット上でのGNNトレーニング精度において、最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2022-07-16T21:50:39Z)
• Spectral Graph Convolutional Networks With Lifting-based Adaptive Graph Wavelets [81.63035727821145]
  スペクトルグラフ畳み込みネットワーク(SGCN)はグラフ表現学習において注目を集めている。 本稿では,適応グラフウェーブレットを用いたグラフ畳み込みを実装した新しいスペクトルグラフ畳み込みネットワークを提案する。
  論文  参考訳（メタデータ） (2021-08-03T17:57:53Z)
• MWQ: Multiscale Wavelet Quantized Neural Networks [45.22093693422084]
  本稿では,周波数領域の画像特性に触発された新しいマルチスケールウェーブレット量子化(MWQ)法を提案する。 空間領域における量子化による情報損失を軽減するために、マルチスケールの周波数と空間情報を利用する。 MWQの柔軟性のため、ImageNetとCOCOデータセット上の3つのアプリケーションを実演する。
  論文  参考訳（メタデータ） (2021-03-09T11:21:59Z)
• ItNet: iterative neural networks with small graphs for accurate and efficient anytime prediction [1.52292571922932]
  本研究では,計算グラフの観点から,メモリフットプリントが小さいネットワークモデルについて紹介する。 CamVidおよびCityscapesデータセットでセマンティックセグメンテーションの最新の結果を示します。
  論文  参考訳（メタデータ） (2021-01-21T15:56:29Z)
• Spatio-Temporal Inception Graph Convolutional Networks for Skeleton-Based Action Recognition [126.51241919472356]
  我々はスケルトンに基づく行動認識のためのシンプルで高度にモジュール化されたグラフ畳み込みネットワークアーキテクチャを設計する。 ネットワークは,空間的および時間的経路から多粒度情報を集約するビルディングブロックを繰り返すことで構築される。
  論文  参考訳（メタデータ） (2020-11-26T14:43:04Z)
• Dynamic Graph: Learning Instance-aware Connectivity for Neural Networks [78.65792427542672]
  動的グラフネットワーク(DG-Net)は完全な有向非巡回グラフであり、ノードは畳み込みブロックを表し、エッジは接続経路を表す。 ネットワークの同じパスを使用する代わりに、DG-Netは各ノードの機能を動的に集約する。
  論文  参考訳（メタデータ） (2020-10-02T16:50:26Z)
• Graph Highway Networks [77.38665506495553]
  グラフ畳み込みネットワーク(GCN)は、グラフ表現の有効性と効率性から、グラフ表現の学習に広く利用されている。 彼らは、多くの層が積み重ねられたとき、学習された表現が類似したベクトルに収束するという悪名高い過度に滑らかな問題に悩まされる。 本稿では,GCN学習プロセスにおける均一性と不均一性との間のトレードオフのバランスをとるため,ゲーティングユニットを利用したグラフハイウェイネットワークを提案する。
  論文  参考訳（メタデータ） (2020-04-09T16:26:43Z)
• Scattering GCN: Overcoming Oversmoothness in Graph Convolutional Networks [0.0]
  グラフ畳み込みネットワーク(GCN)は,構造認識の特徴を抽出することによって,グラフデータ処理において有望な結果を示した。 本稿では、幾何学的散乱変換と残差畳み込みによる従来のGCNの増大を提案する。 前者はグラフ信号の帯域通過フィルタリングが可能であり、GCNでしばしば発生する過度な過度な処理を緩和する。
  論文  参考訳（メタデータ） (2020-03-18T18:03:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。