論文の概要: A Design Space Study for LISTA and Beyond
- arxiv url: http://arxiv.org/abs/2104.04110v1
- Date: Thu, 8 Apr 2021 23:01:52 GMT
- ステータス: 処理完了
- システム内更新日: 2021-04-12 14:00:16.368229
- Title: A Design Space Study for LISTA and Beyond
- Title(参考訳): LISTAとそれを超える設計空間の研究
- Authors: Tianjian Meng, Xiaohan Chen, Yifan Jiang, Zhangyang Wang
- Abstract要約: 近年では、反復アルゴリズムの展開による問題固有のディープネットワーク構築に大きな成功を収めている。
本稿では,深層ネットワークにおける設計アプローチとしてのアンローリングの役割について再考する。
スパースリカバリのためのlistaを代表例として,未ロールモデルに対する設計空間調査を初めて実施した。
- 参考スコア(独自算出の注目度): 79.76740811464597
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In recent years, great success has been witnessed in building
problem-specific deep networks from unrolling iterative algorithms, for solving
inverse problems and beyond. Unrolling is believed to incorporate the
model-based prior with the learning capacity of deep learning. This paper
revisits the role of unrolling as a design approach for deep networks: to what
extent its resulting special architecture is superior, and can we find better?
Using LISTA for sparse recovery as a representative example, we conduct the
first thorough design space study for the unrolled models. Among all possible
variations, we focus on extensively varying the connectivity patterns and
neuron types, leading to a gigantic design space arising from LISTA. To
efficiently explore this space and identify top performers, we leverage the
emerging tool of neural architecture search (NAS). We carefully examine the
searched top architectures in a number of settings, and are able to discover
networks that are consistently better than LISTA. We further present more
visualization and analysis to "open the black box", and find that the searched
top architectures demonstrate highly consistent and potentially transferable
patterns. We hope our study to spark more reflections and explorations on how
to better mingle model-based optimization prior and data-driven learning.
- Abstract(参考訳): 近年、問題固有のディープネットワークの構築において、反復アルゴリズムの展開、逆問題の解決など、大きな成功を収めている。
unrollingは、モデルベースのpremierをディープラーニングの学習能力に組み込むと考えられている。
本稿では,ディープネットワークの設計アプローチとしてのアンロールの役割を再検討する。
スパースリカバリのためのlistaを代表例として,未ロールモデルに対する設計空間調査を初めて実施した。
あらゆる可能性のあるバリエーションの中で、接続パターンやニューロンタイプを大きく変化させることに重点を置いており、LISTAから生じる巨大な設計空間につながっている。
この空間を効率的に探索し、トップパフォーマーを特定するために、ニューラルアーキテクチャサーチ(NAS)の新たなツールを活用する。
検索したトップアーキテクチャを多くの設定で慎重に検討し、LISTAよりも一貫して優れたネットワークを発見することができる。
さらに,"箱を開ける"ために,さらに可視化と分析を行い,検索したトップアーキテクチャが高度に一貫性があり,潜在的に転送可能なパターンを示していることを示す。
私たちの研究は、モデルベースの最適化とデータ駆動学習をうまく組み合わせる方法について、さらなるリフレクションと調査のきっかけになることを期待しています。
関連論文リスト
- Visual Prompting Upgrades Neural Network Sparsification: A Data-Model
Perspective [67.25782152459851]
より優れた重量空間を実現するために、新しいデータモデル共設計視点を導入する。
具体的には、提案したVPNフレームワークでニューラルネットワークのスパーシフィケーションをアップグレードするために、カスタマイズされたVisual Promptが実装されている。
論文 参考訳(メタデータ) (2023-12-03T13:50:24Z) - Masked Autoencoders Are Robust Neural Architecture Search Learners [14.965550562292476]
本研究では,Masked Autoencoders (MAE) に基づく新しいNASフレームワークを提案する。
教師あり学習対象を画像再構成タスクに置き換えることで,ネットワークアーキテクチャの堅牢な発見を可能にする。
論文 参考訳(メタデータ) (2023-11-20T13:45:21Z) - Searching a High-Performance Feature Extractor for Text Recognition
Network [92.12492627169108]
優れた特徴抽出器を持つための原理を探求し,ドメイン固有の検索空間を設計する。
空間は巨大で複雑な構造であるため、既存のNASアルゴリズムを適用することはできない。
本研究では,空間内を効率的に探索する2段階のアルゴリズムを提案する。
論文 参考訳(メタデータ) (2022-09-27T03:49:04Z) - SuperNet in Neural Architecture Search: A Taxonomic Survey [14.037182039950505]
このサーベイは、ウェイトシェアリングを使用して、すべてのアーキテクチャをサブモデルとして組み立てるニューラルネットワークを構築するスーパーネット最適化に焦点を当てている。
データ側最適化、低ランク相関緩和、多数のデプロイメントシナリオに対するトランスファー可能なNASなどです。
論文 参考訳(メタデータ) (2022-04-08T08:29:52Z) - One-Shot Neural Ensemble Architecture Search by Diversity-Guided Search
Space Shrinking [97.60915598958968]
本稿では,この2つの課題に対処するワンショットニューラルアンサンブルアーキテクチャサーチ(NEAS)ソリューションを提案する。
最初の課題として,探索空間の縮小を導くために,多様性に基づく新しい指標を導入する。
第2の課題として,異なるモデル間の階層共有を効率向上のために学習する新たな探索次元を実現する。
論文 参考訳(メタデータ) (2021-04-01T16:29:49Z) - NAS-DIP: Learning Deep Image Prior with Neural Architecture Search [65.79109790446257]
近年の研究では、深部畳み込みニューラルネットワークの構造が、以前に構造化された画像として利用できることが示されている。
我々は,より強い画像の先行を捉えるニューラルネットワークの探索を提案する。
既存のニューラルネットワーク探索アルゴリズムを利用して,改良されたネットワークを探索する。
論文 参考訳(メタデータ) (2020-08-26T17:59:36Z) - AlphaGAN: Fully Differentiable Architecture Search for Generative
Adversarial Networks [15.740179244963116]
GAN (Generative Adversarial Networks) はミニマックスゲーム問題として定式化され、ジェネレータは差別者に対する対戦学習によって実際のデータ分布にアプローチしようとする。
本研究は,ネットワークアーキテクチャの観点からのモデル学習を促進することを目的として,GANに自動アーキテクチャ探索の最近の進歩を取り入れた。
我々は,αGANと呼ばれる,生成的敵ネットワークのための,完全に差別化可能な検索フレームワークを提案する。
論文 参考訳(メタデータ) (2020-06-16T13:27:30Z) - Stage-Wise Neural Architecture Search [65.03109178056937]
ResNetやNASNetのような現代の畳み込みネットワークは、多くのコンピュータビジョンアプリケーションで最先端の結果を得た。
これらのネットワークは、同じ解像度で表現を操作するレイヤのセットであるステージで構成されている。
各ステージにおけるレイヤー数の増加はネットワークの予測能力を向上させることが示されている。
しかし、結果として得られるアーキテクチャは、浮動小数点演算、メモリ要求、推論時間の観点から計算的に高価になる。
論文 参考訳(メタデータ) (2020-04-23T14:16:39Z) - Neural Architecture Generator Optimization [9.082931889304723]
我々はまず,NASを最適ネットワーク生成器の探索問題として検討する。
本稿では,非常に多様なネットワークタイプを表現可能な,階層的でグラフベースの検索空間を提案する。
論文 参考訳(メタデータ) (2020-04-03T06:38:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。