論文の概要: Recursions Are All You Need: Towards Efficient Deep Unfolding Networks

• arxiv url: http://arxiv.org/abs/2305.05505v1
• Date: Tue, 9 May 2023 14:54:41 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-10 12:31:59.481383
• Title: Recursions Are All You Need: Towards Efficient Deep Unfolding Networks
• Title（参考訳）: 再帰(recursions)は必要なのは、効率的なディープ展開ネットワークへ
• Authors: Rawwad Alhejaili (1 and 2 and 3), Motaz Alfarraj (1 and 2 and 3), Hamzah Luqman (1 and 4), Ali Al-Shaikhi (1 and 2) ((1) King Fahd University of Petroleum and Minerals, (2) Electrical Engineering Department, (3) SDAIA-KFUPM Joint Research Center for Artificial Intelligence, (4) Information and Computer Science Department)
• Abstract要約: 再帰は、深層展開ネットワークにおける冗長性を排除するために用いられる。 学習可能なユニットを導入し、反復回数と現在の反復指数に基づいてモデルの特徴を変調する。 提案するフレームワークにより,学習可能なパラメータの最大75%を削減できると同時に,性能もほぼ維持できる。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The use of deep unfolding networks in compressive sensing (CS) has seen wide success as they provide both simplicity and interpretability. However, since most deep unfolding networks are iterative, this incurs significant redundancies in the network. In this work, we propose a novel recursion-based framework to enhance the efficiency of deep unfolding models. First, recursions are used to effectively eliminate the redundancies in deep unfolding networks. Secondly, we randomize the number of recursions during training to decrease the overall training time. Finally, to effectively utilize the power of recursions, we introduce a learnable unit to modulate the features of the model based on both the total number of iterations and the current iteration index. To evaluate the proposed framework, we apply it to both ISTA-Net+ and COAST. Extensive testing shows that our proposed framework allows the network to cut down as much as 75% of its learnable parameters while mostly maintaining its performance, and at the same time, it cuts around 21% and 42% from the training time for ISTA-Net+ and COAST respectively. Moreover, when presented with a limited training dataset, the recursive models match or even outperform their respective non-recursive baseline. Codes and pretrained models are available at https://github.com/Rawwad-Alhejaili/Recursions-Are-All-You-Need .
• Abstract（参考訳）: 圧縮センシング(CS)における深層展開ネットワークの利用は、単純性と解釈可能性の両方を提供するため、広く成功している。 しかし、ほとんどの深層展開ネットワークは反復的であるため、ネットワークに重大な冗長性をもたらす。 本研究では,深部展開モデルの効率化を目的とした再帰型フレームワークを提案する。 まず、深層展開ネットワークにおける冗長性を効果的に除去するために再帰を用いる。 第2に,トレーニング中の再帰回数をランダム化し,トレーニング時間の短縮を図る。 最後に、再帰の力を効果的に活用するために、繰り返しの総数と現在の反復指数の両方に基づいてモデルの特徴を変調する学習可能なユニットを導入する。 提案手法をISTA-Net+とCOASTの両方に適用する。 大規模なテストの結果,提案フレームワークは学習可能なパラメータの最大75%を削減できると同時に,ISTA-Net+とCOASTのトレーニング時間から約21%,42%の削減を実現している。 さらに、限られたトレーニングデータセットで提示すると、再帰モデルがそれぞれの非再帰的ベースラインと一致したり、あるいは上回ったりします。 コードと事前トレーニングされたモデルは、https://github.com/Rawwad-Alhejaili/Recursions-Are-All-You-Need で公開されている。

関連論文リスト

• ChannelDropBack: Forward-Consistent Stochastic Regularization for Deep Networks [5.00301731167245]
  既存のテクニックでは、しばしば特別なレイヤを追加することによってネットワークのアーキテクチャを変更する必要がある。 本稿では,逆情報フローにのみランダム性を導入する単純な正規化手法であるChannelDropBackを提案する。 アーキテクチャを変更することなく、任意のモデルやレイヤのトレーニングプロセスにシームレスに統合することができます。
  論文  参考訳（メタデータ） (2024-11-16T21:24:44Z)
• Auto-Train-Once: Controller Network Guided Automatic Network Pruning from Scratch [72.26822499434446]
  オートトレインオース (Auto-Train-Once, ATO) は、DNNの計算コストと記憶コストを自動的に削減するために設計された、革新的なネットワークプルーニングアルゴリズムである。 総合的な収束解析と広範な実験を行い,本手法が様々なモデルアーキテクチャにおける最先端性能を実現することを示す。
  論文  参考訳（メタデータ） (2024-03-21T02:33:37Z)
• Dr$^2$Net: Dynamic Reversible Dual-Residual Networks for Memory-Efficient Finetuning [81.0108753452546]
  本稿では,メモリ消費を大幅に削減した事前学習モデルを微調整するために,動的可逆2次元ネットワーク(Dr$2$Net)を提案する。 Dr$2$Netは2種類の残差接続を含み、1つは事前訓練されたモデルの残差構造を維持し、もう1つはネットワークを可逆的にしている。 Dr$2$Netは従来の微調整に匹敵する性能を持つが、メモリ使用量は大幅に少ない。
  論文  参考訳（メタデータ） (2024-01-08T18:59:31Z)
• Recursive Algorithmic Reasoning [5.877778007271621]
  本稿では,グラフニューラルネットワーク(GNN)をスタックで拡張する方法を提案する。 このスタックにより、ネットワークは特定のタイミングでネットワークの状態の一部を保存およびリコールすることを学ぶことができる。 私たちが提案した提案は、deep-first search (DFS) の先行研究よりも、より大きな入力グラフへの一般化を著しく改善していることを実証的に実証した。
  論文  参考訳（メタデータ） (2023-07-01T13:33:03Z)
• Iterative Soft Shrinkage Learning for Efficient Image Super-Resolution [91.3781512926942]
  画像超解像(SR)は、CNNからトランスフォーマーアーキテクチャへの広範なニューラルネットワーク設計を目撃している。 本研究は,市販のネットワーク設計を生かし,基礎となる計算オーバーヘッドを低減するため,超高解像度イテレーションにおけるネットワークプルーニングの可能性について検討する。 本研究では, ランダムネットワークのスパース構造を最適化し, 重要でない重みを小さめに微調整することにより, 反復型軟収縮率(ISS-P)法を提案する。
  論文  参考訳（メタデータ） (2023-03-16T21:06:13Z)
• Learning a Consensus Sub-Network with Polarization Regularization and One Pass Training [3.2214522506924093]
  プルーニングスキームは、静的プルーニングのための反復的なトレーニングと微調整、動的プルーニンググラフの繰り返し計算によって、余分なオーバーヘッドを生み出す。 本稿では,より軽量なサブネットワークを学習するためのパラメータ解析手法を提案する。 CIFAR-10 と CIFAR-100 を用いた結果,分類精度が1% 未満の深層ネットワークにおける接続の50%を除去できることが示唆された。
  論文  参考訳（メタデータ） (2023-02-17T09:37:17Z)
• Learning Modular Structures That Generalize Out-of-Distribution [1.7034813545878589]
  本稿では、O.O.D.の一般化手法について述べる。トレーニングを通じて、複数のトレーニング領域にまたがってよく再利用されるネットワークの機能のみをモデルが保持することを奨励する。 本手法は,2つの相補的ニューロンレベル正規化器とネットワーク上の確率的微分可能なバイナリマスクを組み合わせることで,元のネットワークよりも優れたO.O.D.性能を実現するモジュールサブネットワークを抽出する。
  論文  参考訳（メタデータ） (2022-08-07T15:54:19Z)
• Learning in Feedback-driven Recurrent Spiking Neural Networks using full-FORCE Training [4.124948554183487]
  本稿では,トレーニング中にのみ第2のネットワークを導入するRSNNの教師付きトレーニング手順を提案する。 提案したトレーニング手順は、リカレント層とリードアウト層の両方のターゲットを生成することで構成される。 本研究では,8つの力学系をモデル化するためのフルFORCEトレーニング手法の性能向上とノイズ堅牢性を示す。
  論文  参考訳（メタデータ） (2022-05-26T19:01:19Z)
• A Model-driven Deep Neural Network for Single Image Rain Removal [52.787356046951494]
  完全解釈可能なネットワーク構造を持つモデル駆動型ディープニューラルネットワークを提案する。 雨を表現するための畳み込み辞書学習機構に基づいて,新しい単一画像デレーニングモデルを提案する。 すべてのレインカーネルとオペレータは自動的に抽出され、レイン層とクリーンなバックグラウンド層の両方の特徴を忠実に特徴付けることができる。
  論文  参考訳（メタデータ） (2020-05-04T09:13:25Z)
• Network Adjustment: Channel Search Guided by FLOPs Utilization Ratio [101.84651388520584]
  本稿では,ネットワークの精度をFLOPの関数として考慮した,ネットワーク調整という新しいフレームワークを提案する。 標準画像分類データセットと幅広いベースネットワークの実験は、我々のアプローチの有効性を実証している。
  論文  参考訳（メタデータ） (2020-04-06T15:51:00Z)
• Large-Scale Gradient-Free Deep Learning with Recursive Local Representation Alignment [84.57874289554839]
  大規模データセット上でディープニューラルネットワークをトレーニングするには、重要なハードウェアリソースが必要である。 これらのネットワークをトレーニングするためのワークホースであるバックプロパゲーションは、本質的に並列化が難しいシーケンシャルなプロセスである。 本稿では、深層ネットワークのトレーニングに使用できるバックプロップに代わる、神経生物学的に有望な代替手段を提案する。
  論文  参考訳（メタデータ） (2020-02-10T16:20:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。