論文の概要: A Design Space Study for LISTA and Beyond

• arxiv url: http://arxiv.org/abs/2104.04110v1
• Date: Thu, 8 Apr 2021 23:01:52 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-12 14:00:16.368229
• Title: A Design Space Study for LISTA and Beyond
• Title（参考訳）: LISTAとそれを超える設計空間の研究
• Authors: Tianjian Meng, Xiaohan Chen, Yifan Jiang, Zhangyang Wang
• Abstract要約: 近年では、反復アルゴリズムの展開による問題固有のディープネットワーク構築に大きな成功を収めている。 本稿では,深層ネットワークにおける設計アプローチとしてのアンローリングの役割について再考する。 スパースリカバリのためのlistaを代表例として,未ロールモデルに対する設計空間調査を初めて実施した。
• 参考スコア（独自算出の注目度）: 79.76740811464597
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In recent years, great success has been witnessed in building problem-specific deep networks from unrolling iterative algorithms, for solving inverse problems and beyond. Unrolling is believed to incorporate the model-based prior with the learning capacity of deep learning. This paper revisits the role of unrolling as a design approach for deep networks: to what extent its resulting special architecture is superior, and can we find better? Using LISTA for sparse recovery as a representative example, we conduct the first thorough design space study for the unrolled models. Among all possible variations, we focus on extensively varying the connectivity patterns and neuron types, leading to a gigantic design space arising from LISTA. To efficiently explore this space and identify top performers, we leverage the emerging tool of neural architecture search (NAS). We carefully examine the searched top architectures in a number of settings, and are able to discover networks that are consistently better than LISTA. We further present more visualization and analysis to "open the black box", and find that the searched top architectures demonstrate highly consistent and potentially transferable patterns. We hope our study to spark more reflections and explorations on how to better mingle model-based optimization prior and data-driven learning.
• Abstract（参考訳）: 近年、問題固有のディープネットワークの構築において、反復アルゴリズムの展開、逆問題の解決など、大きな成功を収めている。 unrollingは、モデルベースのpremierをディープラーニングの学習能力に組み込むと考えられている。 本稿では,ディープネットワークの設計アプローチとしてのアンロールの役割を再検討する。 スパースリカバリのためのlistaを代表例として,未ロールモデルに対する設計空間調査を初めて実施した。 あらゆる可能性のあるバリエーションの中で、接続パターンやニューロンタイプを大きく変化させることに重点を置いており、LISTAから生じる巨大な設計空間につながっている。 この空間を効率的に探索し、トップパフォーマーを特定するために、ニューラルアーキテクチャサーチ(NAS)の新たなツールを活用する。 検索したトップアーキテクチャを多くの設定で慎重に検討し、LISTAよりも一貫して優れたネットワークを発見することができる。 さらに,"箱を開ける"ために,さらに可視化と分析を行い,検索したトップアーキテクチャが高度に一貫性があり,潜在的に転送可能なパターンを示していることを示す。 私たちの研究は、モデルベースの最適化とデータ駆動学習をうまく組み合わせる方法について、さらなるリフレクションと調査のきっかけになることを期待しています。

関連論文リスト

• Technical Report: Enhancing LLM Reasoning with Reward-guided Tree Search [95.06503095273395]
  o1のような推論アプローチは困難で、研究者はこのオープンな研究領域を前進させようとさまざまな試みを行ってきた。 本稿では,報酬誘導木探索アルゴリズムを用いて,LLMの推論能力を高めるための予備的な検討を行う。
  論文  参考訳（メタデータ） (2024-11-18T16:15:17Z)
• LT-DARTS: An Architectural Approach to Enhance Deep Long-Tailed Learning [5.214135587370722]
  我々はLong-Tailed Differential Architecture Search (LT-DARTS)を紹介する。 長いデータに対して優れたパフォーマンスを示すアーキテクチャコンポーネントを探索するために、広範な実験を行います。 これにより、検索プロセスを通じて得られたアーキテクチャが優れたコンポーネントを組み込むことが保証される。
  論文  参考訳（メタデータ） (2024-11-09T07:19:56Z)
• Visual Prompting Upgrades Neural Network Sparsification: A Data-Model Perspective [64.04617968947697]
  より優れた重量空間を実現するために、新しいデータモデル共設計視点を導入する。 具体的には、提案したVPNフレームワークでニューラルネットワークのスパーシフィケーションをアップグレードするために、カスタマイズされたVisual Promptが実装されている。
  論文  参考訳（メタデータ） (2023-12-03T13:50:24Z)
• Searching a High-Performance Feature Extractor for Text Recognition Network [92.12492627169108]
  優れた特徴抽出器を持つための原理を探求し,ドメイン固有の検索空間を設計する。 空間は巨大で複雑な構造であるため、既存のNASアルゴリズムを適用することはできない。 本研究では,空間内を効率的に探索する2段階のアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-09-27T03:49:04Z)
• SuperNet in Neural Architecture Search: A Taxonomic Survey [14.037182039950505]
  このサーベイは、ウェイトシェアリングを使用して、すべてのアーキテクチャをサブモデルとして組み立てるニューラルネットワークを構築するスーパーネット最適化に焦点を当てている。 データ側最適化、低ランク相関緩和、多数のデプロイメントシナリオに対するトランスファー可能なNASなどです。
  論文  参考訳（メタデータ） (2022-04-08T08:29:52Z)
• One-Shot Neural Ensemble Architecture Search by Diversity-Guided Search Space Shrinking [97.60915598958968]
  本稿では,この2つの課題に対処するワンショットニューラルアンサンブルアーキテクチャサーチ(NEAS)ソリューションを提案する。 最初の課題として,探索空間の縮小を導くために,多様性に基づく新しい指標を導入する。 第2の課題として,異なるモデル間の階層共有を効率向上のために学習する新たな探索次元を実現する。
  論文  参考訳（メタデータ） (2021-04-01T16:29:49Z)
• NAS-DIP: Learning Deep Image Prior with Neural Architecture Search [65.79109790446257]
  近年の研究では、深部畳み込みニューラルネットワークの構造が、以前に構造化された画像として利用できることが示されている。 我々は,より強い画像の先行を捉えるニューラルネットワークの探索を提案する。 既存のニューラルネットワーク探索アルゴリズムを利用して,改良されたネットワークを探索する。
  論文  参考訳（メタデータ） (2020-08-26T17:59:36Z)
• AlphaGAN: Fully Differentiable Architecture Search for Generative Adversarial Networks [15.740179244963116]
  GAN (Generative Adversarial Networks) はミニマックスゲーム問題として定式化され、ジェネレータは差別者に対する対戦学習によって実際のデータ分布にアプローチしようとする。 本研究は,ネットワークアーキテクチャの観点からのモデル学習を促進することを目的として,GANに自動アーキテクチャ探索の最近の進歩を取り入れた。 我々は,αGANと呼ばれる,生成的敵ネットワークのための,完全に差別化可能な検索フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-06-16T13:27:30Z)
• Neural Architecture Generator Optimization [9.082931889304723]
  我々はまず,NASを最適ネットワーク生成器の探索問題として検討する。 本稿では,非常に多様なネットワークタイプを表現可能な,階層的でグラフベースの検索空間を提案する。
  論文  参考訳（メタデータ） (2020-04-03T06:38:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。