論文の概要: A Structured Pruning Algorithm for Model-based Deep Learning
- arxiv url: http://arxiv.org/abs/2311.02003v1
- Date: Fri, 3 Nov 2023 16:05:51 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-06 13:30:42.346017
- Title: A Structured Pruning Algorithm for Model-based Deep Learning
- Title（参考訳）: モデルベース深層学習のための構造化プルーニングアルゴリズム
- Authors: Chicago Park, Weijie Gan, Zihao Zou, Yuyang Hu, Zhixin Sun, Ulugbek S.
Kamilov
- Abstract要約: MBDLネットワークにおける最初の構造化プルーニングアルゴリズムとして,モデルベースディープラーニング(SPADE)のための構造化プルーニングアルゴリズムを提案する。
本稿では,性能損失を最小限に抑えるために,分割されたMBDLネットワークを微調整する3つの戦略を提案する。
以上の結果から,SPADEで刈り取ったMBDLモデルは,競争性能を維持しつつ,試験時間を大幅に高速化できることがわかった。
- 参考スコア（独自算出の注目度）: 8.09765408941809
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: There is a growing interest in model-based deep learning (MBDL) for solving
imaging inverse problems. MBDL networks can be seen as iterative algorithms
that estimate the desired image using a physical measurement model and a
learned image prior specified using a convolutional neural net (CNNs). The
iterative nature of MBDL networks increases the test-time computational
complexity, which limits their applicability in certain large-scale
applications. We address this issue by presenting structured pruning algorithm
for model-based deep learning (SPADE) as the first structured pruning algorithm
for MBDL networks. SPADE reduces the computational complexity of CNNs used
within MBDL networks by pruning its non-essential weights. We propose three
distinct strategies to fine-tune the pruned MBDL networks to minimize the
performance loss. Each fine-tuning strategy has a unique benefit that depends
on the presence of a pre-trained model and a high-quality ground truth. We
validate SPADE on two distinct inverse problems, namely compressed sensing MRI
and image super-resolution. Our results highlight that MBDL models pruned by
SPADE can achieve substantial speed up in testing time while maintaining
competitive performance.
- Abstract（参考訳）: 画像逆問題に対するモデルベースディープラーニング(MBDL)への関心が高まっている。
mbdlネットワークは、物理計測モデルと畳み込みニューラルネットワーク(cnns)を用いて予め指定した学習画像を用いて所望の画像を推定する反復アルゴリズムと見なすことができる。
MBDLネットワークの反復性は、テスト時間計算の複雑さを増大させ、特定の大規模アプリケーションに適用性を制限する。
本稿では,モデルベースディープラーニング(SPADE)のための構造化プルーニングアルゴリズムを,MBDLネットワークにおける最初の構造化プルーニングアルゴリズムとして提示する。
SPADEは、MBDLネットワーク内で使用されるCNNの計算量を減らす。
我々は,pruned mbdlネットワークの性能低下を最小限に抑えるための3つの戦略を提案する。
それぞれの微調整戦略には独自の利点があり、事前訓練されたモデルと高品質の地上真実の存在に依存する。
我々はSPADEを2つの異なる逆問題、すなわち圧縮されたセンシングMRIと画像超解像で検証する。
以上の結果から,SPADEで刈り取ったMBDLモデルは,競争性能を維持しつつ,試験時間を大幅に高速化できることがわかった。
関連論文リスト
- Concurrent Training and Layer Pruning of Deep Neural Networks [0.0]
トレーニングの初期段階において、ニューラルネットワークの無関係な層を特定し、排除できるアルゴリズムを提案する。
本研究では,非線形区間を切断した後にネットワークを流れる情報の流れを,非線形ネットワーク区間の周囲の残差接続を用いた構造を用いる。
論文 参考訳（メタデータ） (2024-06-06T23:19:57Z) - Optimization Guarantees of Unfolded ISTA and ADMM Networks With Smooth
Soft-Thresholding [57.71603937699949]
我々は,学習エポックの数の増加とともに,ほぼゼロに近いトレーニング損失を達成するための最適化保証について検討した。
トレーニングサンプル数に対する閾値は,ネットワーク幅の増加とともに増加することを示す。
論文 参考訳（メタデータ） (2023-09-12T13:03:47Z) - Unfolded proximal neural networks for robust image Gaussian denoising [7.018591019975253]
本稿では,二元FBと二元Chambolle-Pockアルゴリズムの両方に基づいて,ガウス分母タスクのためのPNNを統一的に構築するフレームワークを提案する。
また、これらのアルゴリズムの高速化により、関連するNN層におけるスキップ接続が可能であることを示す。
論文 参考訳（メタデータ） (2023-08-06T15:32:16Z) - Iterative Soft Shrinkage Learning for Efficient Image Super-Resolution [91.3781512926942]
画像超解像(SR)は、CNNからトランスフォーマーアーキテクチャへの広範なニューラルネットワーク設計を目撃している。
本研究は,市販のネットワーク設計を生かし,基礎となる計算オーバーヘッドを低減するため,超高解像度イテレーションにおけるネットワークプルーニングの可能性について検討する。
本研究では, ランダムネットワークのスパース構造を最適化し, 重要でない重みを小さめに微調整することにより, 反復型軟収縮率(ISS-P)法を提案する。
論文 参考訳（メタデータ） (2023-03-16T21:06:13Z) - Go Beyond Multiple Instance Neural Networks: Deep-learning Models based
on Local Pattern Aggregation [0.0]
畳み込みニューラルネットワーク(CNN)は、臨床心電図(ECG)と話者非依存音声の処理においてブレークスルーをもたらした。
本稿では,局所的なパターン集約に基づくディープラーニングモデルを提案する。
LPANetと呼ばれる新しいネットワーク構造には、トリミングと集約操作が組み込まれている。
論文 参考訳（メタデータ） (2022-05-28T13:18:18Z) - Learning from Images: Proactive Caching with Parallel Convolutional
Neural Networks [94.85780721466816]
本稿では,プロアクティブキャッシングのための新しいフレームワークを提案する。
モデルベースの最適化とデータ駆動技術を組み合わせて、最適化問題をグレースケールのイメージに変換する。
数値計算の結果,提案手法は71.6%の計算時間を0.8%のコストで削減できることがわかった。
論文 参考訳（メタデータ） (2021-08-15T21:32:47Z) - Manifold Regularized Dynamic Network Pruning [102.24146031250034]
本稿では,全インスタンスの多様体情報をプルーンドネットワークの空間に埋め込むことにより,冗長フィルタを動的に除去する新しいパラダイムを提案する。
提案手法の有効性をいくつかのベンチマークで検証し,精度と計算コストの両面で優れた性能を示す。
論文 参考訳（メタデータ） (2021-03-10T03:59:03Z) - Wide-band butterfly network: stable and efficient inversion via
multi-frequency neural networks [1.2891210250935143]
広帯域散乱データから逆散乱マップを近似するために,広帯域蝶ネットワーク(WideBNet)と呼ばれるエンドツーエンドのディープラーニングアーキテクチャを導入する。
このアーキテクチャでは、バタフライの分解のような計算調和解析や、クーリー・テューキーFFTアルゴリズムのような伝統的なマルチスケール手法のツールが組み込まれている。
論文 参考訳（メタデータ） (2020-11-24T21:48:43Z) - Perceptually Optimizing Deep Image Compression [53.705543593594285]
平均二乗誤差(MSE)と$ell_p$ノルムは、ニューラルネットワークの損失の測定で大きく支配されている。
本稿では,定量的知覚モデルに対して,画像解析ネットワークを最適化するための異なるプロキシ手法を提案する。
論文 参考訳（メタデータ） (2020-07-03T14:33:28Z) - Belief Propagation Reloaded: Learning BP-Layers for Labeling Problems [83.98774574197613]
最も単純な推論手法の1つとして、切り詰められた最大積のBelief伝播を取り上げ、それをディープラーニングモデルの適切なコンポーネントにするために必要となるものを加えます。
このBP-Layerは畳み込みニューラルネットワーク(CNN)の最終ブロックまたは中間ブロックとして使用できる
このモデルは様々な密集予測問題に適用可能であり、パラメータ効率が高く、ステレオ、光フロー、セマンティックセグメンテーションにおける堅牢な解を提供する。
論文 参考訳（メタデータ） (2020-03-13T13:11:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。