論文の概要: Neural network compression via learnable wavelet transforms

• arxiv url: http://arxiv.org/abs/2004.09569v3
• Date: Thu, 20 Aug 2020 11:59:07 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-11 17:52:04.840276
• Title: Neural network compression via learnable wavelet transforms
• Title（参考訳）: 学習可能なウェーブレット変換によるニューラルネットワーク圧縮
• Authors: Moritz Wolter (Bonn University, Fraunhofer Center for Machine Learning and SCAI) and Shaohui Lin (National University of Singapore) and Angela Yao (National University of Singapore)
• Abstract要約: 本稿では,高速ウェーブレット変換を用いてニューラルネットワークの線形層を圧縮する方法を示す。 我々はウェーブレット基底と対応する係数の両方を学習し、RNNの線形層を効率的に表現する。 我々のウェーブレット圧縮RNNは、パラメータが著しく少ないが、合成および実世界のRNNベンチマークで最先端のRNNと競合する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Wavelets are well known for data compression, yet have rarely been applied to the compression of neural networks. This paper shows how the fast wavelet transform can be used to compress linear layers in neural networks. Linear layers still occupy a significant portion of the parameters in recurrent neural networks (RNNs). Through our method, we can learn both the wavelet bases and corresponding coefficients to efficiently represent the linear layers of RNNs. Our wavelet compressed RNNs have significantly fewer parameters yet still perform competitively with the state-of-the-art on synthetic and real-world RNN benchmarks. Wavelet optimization adds basis flexibility, without large numbers of extra weights. Source code is available at https://github.com/v0lta/Wavelet-network-compression.
• Abstract（参考訳）: ウェーブレットはデータ圧縮でよく知られているが、ニューラルネットワークの圧縮にはほとんど適用されていない。 本稿では,高速ウェーブレット変換を用いてニューラルネットワークの線形層を圧縮する方法を示す。 線形層は、リカレントニューラルネットワーク(RNN)のパラメータのかなりの部分を占めている。 提案手法により,ウェーブレット基底と対応する係数の両方を学習し,RNNの線形層を効率的に表現することができる。 我々のウェーブレット圧縮RNNは、パラメータが著しく少ないが、合成および実世界のRNNベンチマークの最先端と競合する。 ウェーブレット最適化は、多くの余分な重みを伴わず、基盤の柔軟性を付加する。 ソースコードはhttps://github.com/v0lta/wavelet-network-compressionで入手できる。

関連論文リスト

• "Lossless" Compression of Deep Neural Networks: A High-dimensional Neural Tangent Kernel Approach [49.744093838327615]
  広帯域かつ完全接続型エンフディープニューラルネットに対する新しい圧縮手法を提案する。 提案手法の利点を支えるために, 合成データと実世界のデータの両方の実験を行った。
  論文  参考訳（メタデータ） (2024-03-01T03:46:28Z)
• Masked Wavelet Representation for Compact Neural Radiance Fields [5.279919461008267]
  3Dシーンやオブジェクトを表現するために多層パーセプトロンを使用するには、膨大な計算資源と時間が必要である。 本稿では,データ構造を付加することの利点を損なうことなく,サイズを小さくする方法を提案する。 提案したマスクと圧縮パイプラインにより,2MBのメモリ予算で最先端の性能を実現した。
  論文  参考訳（メタデータ） (2022-12-18T11:43:32Z)
• Variable Bitrate Neural Fields [75.24672452527795]
  本稿では,特徴格子を圧縮し,メモリ消費を最大100倍に削減する辞書手法を提案する。 辞書の最適化をベクトル量子化オートデコーダ問題として定式化し、直接監督できない空間において、エンドツーエンドの離散神経表現を学習する。
  論文  参考訳（メタデータ） (2022-06-15T17:58:34Z)
• Trainable Wavelet Neural Network for Non-Stationary Signals [0.0]
  本研究は,非定常信号に適合するフィルタバンクを学習するためのウェーブレットニューラルネットワークを導入し,デジタル信号処理の解釈性と性能を向上させる。 このネットワークは、複雑なモレットウェーブレットのパラメータ化関数である畳み込みがニューラルネットワークの第1層としてウェーブレット変換を使用する。
  論文  参考訳（メタデータ） (2022-05-06T16:41:27Z)
• Nonlinear Tensor Ring Network [39.89070144585793]
  最先端のディープニューラルネットワーク(DNN)は、様々な現実世界のアプリケーションに広く適用されており、認知問題に対して大きなパフォーマンスを実現している。 冗長モデルをコンパクトなモデルに変換することで、圧縮技術はストレージとメモリ消費を減らすための実用的な解決策であるように見える。 本稿では,完全連結層と畳み込み層の両方を圧縮した非線形テンソルリングネットワーク(NTRN)を開発する。
  論文  参考訳（メタデータ） (2021-11-12T02:02:55Z)
• Haar Wavelet Feature Compression for Quantized Graph Convolutional Networks [7.734726150561088]
  グラフ畳み込みニューラルネットワーク(GCN)は様々なアプリケーションで広く使われており、標準畳み込みニューラルネットワーク(CNN)の非構造化バージョンと見なすことができる。 CNNと同様に、大きな入力グラフに対するGCNの計算コストは高く、特に計算資源の少ない環境では、これらのネットワークの使用を阻害することができる。 本稿では,Haarウェーブレット圧縮と光量子化を利用して,ネットワークの計算量と帯域幅を削減することを提案する。
  論文  参考訳（メタデータ） (2021-10-10T15:25:37Z)
• Compact representations of convolutional neural networks via weight pruning and quantization [63.417651529192014]
  本稿では、音源符号化に基づく畳み込みニューラルネットワーク(CNN)の新しいストレージフォーマットを提案し、重み付けと量子化の両方を活用する。 我々は、全接続層で0.6%、ネットワーク全体で5.44%のスペース占有率を削減し、最低でもベースラインと同じくらいの競争力を発揮する。
  論文  参考訳（メタデータ） (2021-08-28T20:39:54Z)
• Block-term Tensor Neural Networks [29.442026567710435]
  ブロック終端テンソル層(BT層)は,CNNやRNNなどのニューラルネットワークモデルに容易に適用可能であることを示す。 CNNとRNNのBT層は、元のDNNの表現力を維持したり改善したりしながら、パラメータ数に対して非常に大きな圧縮比を達成することができる。
  論文  参考訳（メタデータ） (2020-10-10T09:58:43Z)
• Data-Driven Learning of Geometric Scattering Networks [74.3283600072357]
  最近提案された幾何散乱変換の緩和に基づく新しいグラフニューラルネットワーク(GNN)モジュールを提案する。 我々の学習可能な幾何散乱(LEGS)モジュールは、ウェーブレットの適応的なチューニングを可能にし、学習された表現に帯域通過の特徴が現れるように促す。
  論文  参考訳（メタデータ） (2020-10-06T01:20:27Z)
• Towards Understanding Hierarchical Learning: Benefits of Neural Representations [160.33479656108926]
  この研究で、中間的神経表現がニューラルネットワークにさらなる柔軟性をもたらすことを実証する。 提案手法は, 生の入力と比較して, サンプルの複雑度を向上できることを示す。 この結果から, 深度が深層学習においてなぜ重要かという新たな視点が得られた。
  論文  参考訳（メタデータ） (2020-06-24T02:44:54Z)
• Tensor train decompositions on recurrent networks [60.334946204107446]
  マトリックス製品状態(MPS)テンソルトレインは、ストレージの削減と推論時の計算時間の観点から、MPOよりも魅力的な特徴を持つ。 理論解析により,MPSテンソル列車はLSTMネットワーク圧縮の最前線に置かれるべきであることを示す。
  論文  参考訳（メタデータ） (2020-06-09T18:25:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。