Fugu-MT 論文翻訳(概要): Bayesian Sparsification Methods for Deep Complex-valued Networks

論文の概要: Bayesian Sparsification Methods for Deep Complex-valued Networks

arxiv url: http://arxiv.org/abs/2003.11413v2
Date: Sun, 28 Jun 2020 03:53:14 GMT
ステータス: 処理完了
システム内更新日: 2022-12-20 02:47:11.388398
Title: Bayesian Sparsification Methods for Deep Complex-valued Networks
Title（参考訳）: 深部複素値ネットワークに対するベイズスパルシフィケーション法
Authors: Ivan Nazarov and Evgeny Burnaev
Abstract要約: Sparse Variational Dropout を複素数値ニューラルネットワークに拡張する。我々はC値ネットワークの性能圧縮トレードオフを2つのタスクで大規模に数値的に研究する。我々は、Trabelsiらによる、50-100xで圧縮された複雑な値のネットワークを、小さなパフォーマンスペナルティで、MusicNet上で再現する。
参考スコア（独自算出の注目度）: 18.00411355850543
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: With continual miniaturization ever more applications of deep learning can be found in embedded systems, where it is common to encounter data with natural complex domain representation. To this end we extend Sparse Variational Dropout to complex-valued neural networks and verify the proposed Bayesian technique by conducting a large numerical study of the performance-compression trade-off of C-valued networks on two tasks: image recognition on MNIST-like and CIFAR10 datasets and music transcription on MusicNet. We replicate the state-of-the-art result by Trabelsi et al. [2018] on MusicNet with a complex-valued network compressed by 50-100x at a small performance penalty.
Abstract（参考訳）: 継続的な小型化により、深層学習のさらなる応用が組み込みシステムで見られ、自然に複雑なドメイン表現を持つデータに遭遇することが一般的である。そこで,提案手法は,mnistライクな画像認識とcifar10データセット,musicnet上の音楽書き起こしの2つのタスクにおいて,c値ネットワークの性能圧縮トレードオフを大規模に数値的に検討することで検証した。 Trabelsiらによる最先端の結果を再現する。複素数値ネットワークを50-100倍圧縮した MusicNet 上の[2018] のペナルティは小さい。

関連論文リスト

i-SpaSP: Structured Neural Pruning via Sparse Signal Recovery [11.119895959906085]
ニューラルネットワークのための新しい構造化プルーニングアルゴリズム - i-SpaSPと呼ばれる反復型スパース構造化プルーニングを提案する。 i-SpaSPはネットワーク内の重要なパラメータ群を識別することで動作し、プルーニングされたネットワーク出力と高密度なネットワーク出力の残差に最も寄与する。高い性能のサブネットワークを発見し, 証明可能なベースライン手法のプルーニング効率を, 数桁の精度で向上させることが示されている。
論文参考訳（メタデータ） (2021-12-07T05:26:45Z)
Self-supervised Neural Networks for Spectral Snapshot Compressive Imaging [15.616674529295366]
我々は、訓練されていないニューラルネットワークを用いて、スナップショット圧縮画像(SCI)の再構成問題を解決することを検討する。本稿では,DIP(Deep Image Priors)やディープデコーダ(Deep Decoder)といった未学習のニューラルネットワークにヒントを得て,DIPをプラグアンドプレイシステムに統合して,スペクトルSCI再構成のための自己教師型ネットワークを構築する。
論文参考訳（メタデータ） (2021-08-28T14:17:38Z)
Semi-supervised Network Embedding with Differentiable Deep Quantisation [81.49184987430333]
我々はネットワーク埋め込みのための微分可能な量子化法であるd-SNEQを開発した。 d-SNEQは、学習された量子化符号にリッチな高次情報を与えるためにランク損失を組み込む。トレーニング済みの埋め込みのサイズを大幅に圧縮できるため、ストレージのフットプリントが減少し、検索速度が向上する。
論文参考訳（メタデータ） (2021-08-20T11:53:05Z)
Over-and-Under Complete Convolutional RNN for MRI Reconstruction [57.95363471940937]
MR画像再構成のための最近のディープラーニングに基づく手法は、通常、汎用的なオートエンコーダアーキテクチャを利用する。 OUCR(Over-and-Under Complete Convolu?tional Recurrent Neural Network)を提案する。提案手法は, トレーニング可能なパラメータの少ない圧縮されたセンシングと, 一般的なディープラーニングに基づく手法に対して, 大幅な改善を実現する。
論文参考訳（メタデータ） (2021-06-16T15:56:34Z)
Deep Neural Networks and End-to-End Learning for Audio Compression [2.084078990567849]
本稿では,変分オートエンコーダ(VAE)のトレーニング戦略において,リカレントニューラルネットワーク(RNN)と潜時空間のバイナリ表現を組み合わせたエンドツーエンドのディープラーニング手法を提案する。 RNNを用いた1つの音声圧縮モデルのエンドツーエンド学習としてはこれが初めてであり、我々のモデルは20.54のSDR(Signal to Distortion Ratio)を達成する。
論文参考訳（メタデータ） (2021-05-25T05:36:30Z)
Learning Frequency-aware Dynamic Network for Efficient Super-Resolution [56.98668484450857]
本稿では、離散コサイン変換(dct)領域の係数に応じて入力を複数の部分に分割する新しい周波数認識動的ネットワークについて検討する。実際、高周波部は高価な操作で処理され、低周波部は計算負荷を軽減するために安価な操作が割り当てられる。ベンチマークSISRモデルおよびデータセット上での実験は、周波数認識動的ネットワークが様々なSISRニューラルネットワークに使用できることを示している。
論文参考訳（メタデータ） (2021-03-15T12:54:26Z)
Anomaly Detection on Attributed Networks via Contrastive Self-Supervised Learning [50.24174211654775]
本論文では,アトリビュートネットワーク上の異常検出のためのコントラスト型自己監視学習フレームワークを提案する。このフレームワークは、新しいタイプのコントラストインスタンスペアをサンプリングすることで、ネットワークデータからのローカル情報を完全に活用します。高次元特性と局所構造から情報埋め込みを学習するグラフニューラルネットワークに基づくコントラスト学習モデルを提案する。
論文参考訳（メタデータ） (2021-02-27T03:17:20Z)
Learning low-rank latent mesoscale structures in networks [1.1470070927586016]
ネットワークにおける低ランクメソスケール構造を記述するための新しい手法を提案する。いくつかの合成ネットワークモデルと経験的友情、協調、タンパク質-タンパク質相互作用(PPI)ネットワークを使用します。破損したネットワークから直接学習する潜在モチーフのみを用いて、破損したネットワークを認知する方法を示す。
論文参考訳（メタデータ） (2021-02-13T18:54:49Z)
ESPN: Extremely Sparse Pruned Networks [50.436905934791035]
簡単な反復マスク探索法により,非常に深いネットワークの最先端の圧縮を実現することができることを示す。本アルゴリズムは,シングルショット・ネットワーク・プルーニング法とロッテ・ティケット方式のハイブリッド・アプローチを示す。
論文参考訳（メタデータ） (2020-06-28T23:09:27Z)
Complexity Analysis of an Edge Preserving CNN SAR Despeckling Algorithm [1.933681537640272]
我々は, 畳み込みニューラルネットワークの複雑化によるSARの切り離し効果を生かした。より深いネットワークは、シミュレートされた画像と実際の画像の両方でより一般化される。
論文参考訳（メタデータ） (2020-04-17T17:02:01Z)
Large-Scale Gradient-Free Deep Learning with Recursive Local Representation Alignment [84.57874289554839]
大規模データセット上でディープニューラルネットワークをトレーニングするには、重要なハードウェアリソースが必要である。これらのネットワークをトレーニングするためのワークホースであるバックプロパゲーションは、本質的に並列化が難しいシーケンシャルなプロセスである。本稿では、深層ネットワークのトレーニングに使用できるバックプロップに代わる、神経生物学的に有望な代替手段を提案する。
論文参考訳（メタデータ） (2020-02-10T16:20:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。