論文の概要: Hybrid ISTA: Unfolding ISTA With Convergence Guarantees Using Free-Form
Deep Neural Networks
- arxiv url: http://arxiv.org/abs/2204.11640v1
- Date: Mon, 25 Apr 2022 13:17:57 GMT
- ステータス: 処理完了
- システム内更新日: 2022-04-26 13:44:24.489119
- Title: Hybrid ISTA: Unfolding ISTA With Convergence Guarantees Using Free-Form
Deep Neural Networks
- Title(参考訳): ハイブリッドISTA:自由形ディープニューラルネットワークを用いた収束保証付きISTAの展開
- Authors: Ziyang Zheng, Wenrui Dai, Duoduo Xue, Chenglin Li, Junni Zou, Hongkai
Xiong
- Abstract要約: 学習可能なパラメータを持つディープニューラルネットワーク(DNN)として反復アルゴリズムを展開させることで、線形逆問題を解決することを約束している。
既存のISTAベースのアンフォールドアルゴリズムは、収束を保証するために部分重結合構造で繰り返し更新するネットワークアーキテクチャを制限する。
本論文は,ISTAに基づく非折り畳みアルゴリズムにおける自由形式DNNを実現するための収束証明可能なフレームワークを初めて提供するものである。
- 参考スコア(独自算出の注目度): 50.193061099112626
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: It is promising to solve linear inverse problems by unfolding iterative
algorithms (e.g., iterative shrinkage thresholding algorithm (ISTA)) as deep
neural networks (DNNs) with learnable parameters. However, existing ISTA-based
unfolded algorithms restrict the network architectures for iterative updates
with the partial weight coupling structure to guarantee convergence. In this
paper, we propose hybrid ISTA to unfold ISTA with both pre-computed and learned
parameters by incorporating free-form DNNs (i.e., DNNs with arbitrary feasible
and reasonable network architectures), while ensuring theoretical convergence.
We first develop HCISTA to improve the efficiency and flexibility of classical
ISTA (with pre-computed parameters) without compromising the convergence rate
in theory. Furthermore, the DNN-based hybrid algorithm is generalized to
popular variants of learned ISTA, dubbed HLISTA, to enable a free architecture
of learned parameters with a guarantee of linear convergence. To our best
knowledge, this paper is the first to provide a convergence-provable framework
that enables free-form DNNs in ISTA-based unfolded algorithms. This framework
is general to endow arbitrary DNNs for solving linear inverse problems with
convergence guarantees. Extensive experiments demonstrate that hybrid ISTA can
reduce the reconstruction error with an improved convergence rate in the tasks
of sparse recovery and compressive sensing.
- Abstract(参考訳): 反復的縮小しきい値アルゴリズム(ISTA)を学習可能なパラメータを持つディープニューラルネットワーク(DNN)として展開することで、線形逆問題を解決することを約束している。
しかし、既存のistaベースの展開アルゴリズムは、部分重み結合構造を持つ反復更新のためにネットワークアーキテクチャを制限し、収束を保証する。
本稿では,自由形式のDNN(すなわち任意のネットワークアーキテクチャを持つDNN)を組み込んで,理論収束性を確保しつつ,ISTAを事前計算および学習パラメータで拡張するハイブリッドISTAを提案する。
まず,理論上の収束率を損なうことなく,古典的istaの効率と柔軟性を向上させるためにhcistaを開発した。
さらに、DNNベースのハイブリッドアルゴリズムは、学習パラメータの自由なアーキテクチャを線形収束を保証するため、HLISTAと呼ばれる学習ISTAの一般的な変種に一般化される。
本稿では,istaベースの展開型アルゴリズムにおいて,自由形式のdnnを実現する収束可能なフレームワークを初めて提供する。
このフレームワークは、収束保証を伴う線形逆問題を解くために任意のDNNを与えるのが一般的である。
広汎な実験により、ハイブリッドISTAはスパースリカバリおよび圧縮センシングのタスクにおける収束率の向上により再構成誤差を低減できることが示された。
関連論文リスト
- Stable Nonconvex-Nonconcave Training via Linear Interpolation [51.668052890249726]
本稿では,ニューラルネットワークトレーニングを安定化(大規模)するための原理的手法として,線形アヘッドの理論解析を提案する。
最適化過程の不安定性は、しばしば損失ランドスケープの非単調性によって引き起こされるものであり、非拡張作用素の理論を活用することによって線型性がいかに役立つかを示す。
論文 参考訳(メタデータ) (2023-10-20T12:45:12Z) - Stochastic Unrolled Federated Learning [85.6993263983062]
本稿では,UnRolled Federated Learning (SURF)を導入する。
提案手法は,この拡張における2つの課題,すなわち,非学習者へのデータセット全体の供給の必要性と,フェデレート学習の分散的性質に対処する。
論文 参考訳(メタデータ) (2023-05-24T17:26:22Z) - Tree ensemble kernels for Bayesian optimization with known constraints
over mixed-feature spaces [54.58348769621782]
木アンサンブルはアルゴリズムチューニングやニューラルアーキテクチャ検索といったブラックボックス最適化タスクに適している。
ブラックボックス最適化にツリーアンサンブルを使うことの2つのよく知られた課題は、探索のためのモデル不確実性を効果的に定量化し、また、 (ii) ピースワイドな定値取得関数を最適化することである。
我々のフレームワークは、連続/離散的機能に対する非拘束ブラックボックス最適化のための最先端の手法と同様に、混合変数の特徴空間と既知の入力制約を組み合わせた問題の競合する手法よりも優れている。
論文 参考訳(メタデータ) (2022-07-02T16:59:37Z) - Orthogonal Stochastic Configuration Networks with Adaptive Construction
Parameter for Data Analytics [6.940097162264939]
ランダム性により、SCNは冗長で品質の低い近似線形相関ノードを生成する可能性が高まる。
機械学習の基本原理、すなわち、パラメータが少ないモデルでは、一般化が向上する。
本稿では,ネットワーク構造低減のために,低品質な隠れノードをフィルタする直交SCN(OSCN)を提案する。
論文 参考訳(メタデータ) (2022-05-26T07:07:26Z) - Comparative Analysis of Interval Reachability for Robust Implicit and
Feedforward Neural Networks [64.23331120621118]
我々は、暗黙的ニューラルネットワーク(INN)の堅牢性を保証するために、区間到達可能性分析を用いる。
INNは暗黙の方程式をレイヤとして使用する暗黙の学習モデルのクラスである。
提案手法は, INNに最先端の区間境界伝搬法を適用するよりも, 少なくとも, 一般的には, 有効であることを示す。
論文 参考訳(メタデータ) (2022-04-01T03:31:27Z) - Only Train Once: A One-Shot Neural Network Training And Pruning
Framework [31.959625731943675]
構造化プルーニング(Structured pruning)は、リソース制約のあるデバイスにディープニューラルネットワーク(DNN)をデプロイする際に一般的に使用されるテクニックである。
我々は,DNNが競争性能と,OTO(Not-Train-Once)によるFLOPの大幅な削減に敏感なフレームワークを提案する。
OTOには2つのキーが含まれている: (i) DNNのパラメータをゼロ不変群に分割し、出力に影響を与えることなくゼロ群をプルークすることができる; (ii)ゼロ群をプロモートするために、構造化画像最適化アルゴリズムであるHalf-Space Projected (HSPG)を定式化する。
OTOの有効性を示すために、私たちはトレーニングとトレーニングを行います。
論文 参考訳(メタデータ) (2021-07-15T17:15:20Z) - Neurally Augmented ALISTA [15.021419552695066]
本稿では、LSTMネットワークを用いて、再構成中の各ターゲットベクトルのステップサイズと閾値を個別に計算するニューラルネットワークALISTAを提案する。
提案手法はスパース再構成における経験的性能をさらに向上させ,特に圧縮比がより困難になるにつれて,既存のアルゴリズムのマージンが向上することを示す。
論文 参考訳(メタデータ) (2020-10-05T11:39:49Z) - ACDC: Weight Sharing in Atom-Coefficient Decomposed Convolution [57.635467829558664]
我々は,CNNにおいて,畳み込みカーネル間の構造正則化を導入する。
我々はCNNがパラメータや計算量を劇的に減らして性能を維持していることを示す。
論文 参考訳(メタデータ) (2020-09-04T20:41:47Z) - Deeply Shared Filter Bases for Parameter-Efficient Convolutional Neural
Networks [0.0]
現代の畳み込みニューラルネットワーク(CNN)は、大きな同一の畳み込みブロックを持つ。
本稿では,トレーニング中の勾配問題を効果的に回避しつつ,フィルタベースを分離して学習する方法を示す。
画像分類とオブジェクト検出の実験結果から,従来のパラメータ共有手法と異なり,パラメータを節約するために性能を交換しないことがわかった。
論文 参考訳(メタデータ) (2020-06-09T06:09:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。