論文の概要: Interpretable Deep Recurrent Neural Networks via Unfolding Reweighted $\ell_1$-$\ell_1$ Minimization: Architecture Design and Generalization Analysis

• arxiv url: http://arxiv.org/abs/2003.08334v1
• Date: Wed, 18 Mar 2020 17:02:10 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-22 09:23:54.956463
• Title: Interpretable Deep Recurrent Neural Networks via Unfolding Reweighted $\ell_1$-$\ell_1$ Minimization: Architecture Design and Generalization Analysis
• Title（参考訳）: unfolding reweighted $\ell_1$-$\ell_1$ による解釈可能なディープリカレントニューラルネットワーク:アーキテクチャ設計と一般化解析
• Authors: Huynh Van Luong, Boris Joukovsky, Nikos Deligiannis
• Abstract要約: 本稿では、再重み付き最小化アルゴリズムの展開により、新しいディープリカレントニューラルネットワーク(coined reweighted-RNN)を開発する。 我々の知る限りでは、これは再重み付け最小化を探求する最初の深層展開法である。 移動MNISTデータセットの実験結果から,提案した深度再重み付きRNNは既存のRNNモデルよりも大幅に優れていた。
• 参考スコア（独自算出の注目度）: 19.706363403596196
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Deep unfolding methods---for example, the learned iterative shrinkage thresholding algorithm (LISTA)---design deep neural networks as learned variations of optimization methods. These networks have been shown to achieve faster convergence and higher accuracy than the original optimization methods. In this line of research, this paper develops a novel deep recurrent neural network (coined reweighted-RNN) by the unfolding of a reweighted $\ell_1$-$\ell_1$ minimization algorithm and applies it to the task of sequential signal reconstruction. To the best of our knowledge, this is the first deep unfolding method that explores reweighted minimization. Due to the underlying reweighted minimization model, our RNN has a different soft-thresholding function (alias, different activation functions) for each hidden unit in each layer. Furthermore, it has higher network expressivity than existing deep unfolding RNN models due to the over-parameterizing weights. Importantly, we establish theoretical generalization error bounds for the proposed reweighted-RNN model by means of Rademacher complexity. The bounds reveal that the parameterization of the proposed reweighted-RNN ensures good generalization. We apply the proposed reweighted-RNN to the problem of video frame reconstruction from low-dimensional measurements, that is, sequential frame reconstruction. The experimental results on the moving MNIST dataset demonstrate that the proposed deep reweighted-RNN significantly outperforms existing RNN models.
• Abstract（参考訳）: 例えば、学習された反復収縮しきい値アルゴリズム(LISTA)は、最適化方法の学習的なバリエーションとして、ディープニューラルネットワークを設計する。 これらのネットワークは、元の最適化手法よりも高速な収束と高精度を実現することが示されている。 本稿では,再重み付けされた$\ell_1$-$\ell_1$最小化アルゴリズムを展開することにより,新しいディープリカレントニューラルネットワーク (coined reweighted-rnn) を開発し,シーケンシャル信号再構成のタスクに適用する。 私たちの知る限りでは、これは再重み付け最小化を探求する最初の深い展開方法です。 下位の再重み付け最小化モデルにより、rnnは各層内の隠れたユニットごとに異なるソフトthresholding関数(alia、異なるアクティベーション関数)を持つ。 さらに、オーバーパラメータ化重みによる既存の深部展開RNNモデルよりも高いネットワーク表現性を有する。 重要なことは、Rademacher複雑性を用いて提案したreweighted-RNNモデルの理論的一般化誤差境界を確立することである。 境界は、提案されたreweighted-RNNのパラメータ化が良い一般化を保証することを示している。 本研究では,低次元計測による映像フレーム再構成問題,すなわち逐次フレーム再構成問題に対して,提案手法を適用した。 移動MNISTデータセットの実験結果から,提案した深度再重み付きRNNは既存のRNNモデルよりも大幅に優れていた。

関連論文リスト

• Precise asymptotics of reweighted least-squares algorithms for linear diagonal networks [15.074950361970194]
  我々は、IRLS、最近提案されたリンリン-RFMアルゴリズム、交互対角ニューラルネットワークを含むアルゴリズム群を統一的に分析する。 適切に選択された再重み付けポリシーにより、少数のスパース構造が良好な性能が得られることを示す。 また、これを再重み付け方式で活用することで、座標ワイド再重み付けよりもテスト誤差が良好に向上することを示す。
  論文  参考訳（メタデータ） (2024-06-04T20:37:17Z)
• Iterative Soft Shrinkage Learning for Efficient Image Super-Resolution [91.3781512926942]
  画像超解像(SR)は、CNNからトランスフォーマーアーキテクチャへの広範なニューラルネットワーク設計を目撃している。 本研究は,市販のネットワーク設計を生かし,基礎となる計算オーバーヘッドを低減するため,超高解像度イテレーションにおけるネットワークプルーニングの可能性について検討する。 本研究では, ランダムネットワークのスパース構造を最適化し, 重要でない重みを小さめに微調整することにより, 反復型軟収縮率(ISS-P)法を提案する。
  論文  参考訳（メタデータ） (2023-03-16T21:06:13Z)
• Robust lEarned Shrinkage-Thresholding (REST): Robust unrolling for sparse recover [87.28082715343896]
  我々は、モデルミス特定を前進させるのに堅牢な逆問題を解決するためのディープニューラルネットワークについて検討する。 我々は,アルゴリズムの展開手法を根底にある回復問題のロバストバージョンに適用することにより,新しい堅牢なディープニューラルネットワークアーキテクチャを設計する。 提案したRESTネットワークは,圧縮センシングとレーダイメージングの両問題において,最先端のモデルベースおよびデータ駆動アルゴリズムを上回る性能を示す。
  論文  参考訳（メタデータ） (2021-10-20T06:15:45Z)
• A Fully Tensorized Recurrent Neural Network [48.50376453324581]
  重み付けされたRNNアーキテクチャを導入し、各リカレントセル内の個別の重み付け行列を共同で符号化する。 このアプローチはモデルのサイズを数桁削減するが、通常のRNNと同等あるいは優れた性能を維持している。
  論文  参考訳（メタデータ） (2020-10-08T18:24:12Z)
• A Deep-Unfolded Reference-Based RPCA Network For Video Foreground-Background Separation [86.35434065681925]
  本稿では,ロバスト主成分分析(RPCA)問題に対するディープアンフォールディングに基づくネットワーク設計を提案する。 既存の設計とは異なり,本手法は連続するビデオフレームのスパース表現間の時間的相関をモデル化することに焦点を当てている。 移動MNISTデータセットを用いた実験により、提案したネットワークは、ビデオフォアグラウンドとバックグラウンドの分離作業において、最近提案された最先端のRPCAネットワークより優れていることが示された。
  論文  参考訳（メタデータ） (2020-10-02T11:40:09Z)
• Modeling from Features: a Mean-field Framework for Over-parameterized Deep Neural Networks [54.27962244835622]
  本稿では、オーバーパラメータ化ディープニューラルネットワーク(DNN)のための新しい平均場フレームワークを提案する。 このフレームワークでは、DNNは連続的な極限におけるその特徴に対する確率測度と関数によって表現される。 本稿では、標準DNNとResidual Network(Res-Net)アーキテクチャを通してフレームワークを説明する。
  論文  参考訳（メタデータ） (2020-07-03T01:37:16Z)
• Iterative Network for Image Super-Resolution [69.07361550998318]
  単一画像超解像(SISR)は、最近の畳み込みニューラルネットワーク(CNN)の発展により、大幅に活性化されている。 本稿では、従来のSISRアルゴリズムに関する新たな知見を提供し、反復最適化に依存するアプローチを提案する。 反復最適化の上に,新しい反復型超解像ネットワーク (ISRN) を提案する。
  論文  参考訳（メタデータ） (2020-05-20T11:11:47Z)
• Unsupervised Adaptive Neural Network Regularization for Accelerated Radial Cine MRI [3.6280929178575994]
  本研究では,浅部畳み込みニューラルネットワークの非教師なし学習に基づく2次元放射状シネMRIの反復的再構成手法を提案する。 ネットワークは、再構築中の解の現在の推定値のパッチを近似するように訓練される。
  論文  参考訳（メタデータ） (2020-02-10T14:47:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。