論文の概要: Exploring Complicated Search Spaces with Interleaving-Free Sampling

• arxiv url: http://arxiv.org/abs/2112.02488v1
• Date: Sun, 5 Dec 2021 06:42:48 GMT
• ステータス: 処理完了
• システム内更新日: 2021-12-07 15:00:00.988401
• Title: Exploring Complicated Search Spaces with Interleaving-Free Sampling
• Title（参考訳）: インターリービングフリーサンプリングによる複雑な検索空間の探索
• Authors: Yunjie Tian, Lingxi Xie, Jiemin Fang, Jianbin Jiao, Qixiang Ye, Qi Tian
• Abstract要約: 本稿では,長距離接続を伴う複雑な検索空間上に探索アルゴリズムを構築する。 我々はtextbfIF-NAS という単純なアルゴリズムを提案し、異なるサブネットワークを構築するために周期的なサンプリング戦略を実行する。 提案した探索空間において、IF-NASはランダムサンプリングと従来の重み付け検索のアルゴリズムを有意差で上回っている。
• 参考スコア（独自算出の注目度）: 127.07551427957362
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The existing neural architecture search algorithms are mostly working on search spaces with short-distance connections. We argue that such designs, though safe and stable, obstacles the search algorithms from exploring more complicated scenarios. In this paper, we build the search algorithm upon a complicated search space with long-distance connections, and show that existing weight-sharing search algorithms mostly fail due to the existence of \textbf{interleaved connections}. Based on the observation, we present a simple yet effective algorithm named \textbf{IF-NAS}, where we perform a periodic sampling strategy to construct different sub-networks during the search procedure, avoiding the interleaved connections to emerge in any of them. In the proposed search space, IF-NAS outperform both random sampling and previous weight-sharing search algorithms by a significant margin. IF-NAS also generalizes to the micro cell-based spaces which are much easier. Our research emphasizes the importance of macro structure and we look forward to further efforts along this direction.
• Abstract（参考訳）: 既存のニューラルネットワーク検索アルゴリズムは、主に近距離接続のある検索空間に取り組んでいる。 このような設計は安全かつ安定ではあるが、検索アルゴリズムがより複雑なシナリオを探索することを妨げていると主張する。 本稿では, 長距離接続を持つ複雑な検索空間上に探索アルゴリズムを構築し, 既存の重み付け検索アルゴリズムは, 主に \textbf{interleaved Connect} の存在により失敗することを示す。 そこで我々は,探索処理中に異なるサブネットワークを構築するための定期的なサンプリング戦略を実行し,各サブネットワークにインターリーブされた接続が出現しないようにする,簡単なアルゴリズムである「textbf{IF-NAS}」を提案する。 提案した探索空間において、IF-NASはランダムサンプリングと以前の重み付け検索のアルゴリズムを有意差で上回っている。 IF-NASは、より容易にマイクロセルベースの空間に一般化する。 本研究はマクロ構造の重要性を強調し,今後の方向性を期待する。

関連論文リスト

• TopoNAS: Boosting Search Efficiency of Gradient-based NAS via Topological Simplification [11.08910129925713]
  TopoNASは勾配に基づくワンショットNASのモデルに依存しないアプローチである。 探索可能な経路のトポロジ的単純化により検索時間とメモリ使用量を大幅に削減する。
  論文  参考訳（メタデータ） (2024-08-02T15:01:29Z)
• Construction of Hierarchical Neural Architecture Search Spaces based on Context-free Grammars [66.05096551112932]
  文脈自由文法に基づく統一検索空間設計フレームワークを提案する。 それらの特性の強化と利用により,完全なアーキテクチャの探索を効果的に行うことができる。 既存のニューラルアーキテクチャ検索手法よりも検索戦略が優れていることを示す。
  論文  参考訳（メタデータ） (2022-11-03T14:23:00Z)
• Automated Dominative Subspace Mining for Efficient Neural Architecture Search [36.06889021273405]
  DSM-NAS(Dominative Subspace Mining)を用いたニューラルアーキテクチャ探索手法を提案する。 DSM-NASは自動的にマイニングされたサブスペースで有望なアーキテクチャを見つける。 実験の結果,DSM-NASは検索コストを削減できるだけでなく,様々なベンチマーク検索空間における最先端手法よりも優れたアーキテクチャも発見できることがわかった。
  論文  参考訳（メタデータ） (2022-10-31T09:54:28Z)
• Searching a High-Performance Feature Extractor for Text Recognition Network [92.12492627169108]
  優れた特徴抽出器を持つための原理を探求し,ドメイン固有の検索空間を設計する。 空間は巨大で複雑な構造であるため、既存のNASアルゴリズムを適用することはできない。 本研究では,空間内を効率的に探索する2段階のアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-09-27T03:49:04Z)
• Efficient Joint-Dimensional Search with Solution Space Regularization for Real-Time Semantic Segmentation [27.94898516315886]
  この問題に対して,リアルタイムに実行可能な最適ネットワーク構造を探索する。 新たな解空間規則化(SSR)損失は、スーパーネットが離散的に収束することを効果的に促すために最初に提案される。 より高効率な探索を実現するために,新しい階層的・プログレッシブ・ソリューション・スペース・スライキング法を提案する。
  論文  参考訳（メタデータ） (2022-08-10T11:07:33Z)
• RF-Next: Efficient Receptive Field Search for Convolutional Neural Networks [86.6139619721343]
  そこで本研究では,グローバル・ローカル・サーチ手法を用いて,より優れた受容場の組み合わせを求める。 我々の検索手法は, 粗い組み合わせを見つけるためにグローバル検索と, 洗練された受容場の組み合わせを得るために局所探索の両方を利用する。 我々のRF-Nextモデルは、様々なモデルに受容場探索を接続し、多くのタスクのパフォーマンスを高める。
  論文  参考訳（メタデータ） (2022-06-14T06:56:26Z)
• CrossBeam: Learning to Search in Bottom-Up Program Synthesis [51.37514793318815]
  ボトムアップ合成のためのハンズオン検索ポリシーを学習するためのニューラルネットワークのトレーニングを提案する。 私たちのアプローチは、CrossBeamと呼ばれ、ニューラルモデルを使用して、以前に探索されたプログラムを新しいプログラムに組み合わせる方法を選択します。 我々はCrossBeamが効率的に検索することを学び、最先端技術と比較してプログラム空間のより小さな部分を探索する。
  論文  参考訳（メタデータ） (2022-03-20T04:41:05Z)
• AutoSpace: Neural Architecture Search with Less Human Interference [84.42680793945007]
  現在のニューラルネットワークアーキテクチャ検索(NAS)アルゴリズムは、ネットワーク構築のための検索空間を設計するための専門知識と努力を必要とします。 探索空間を最適なものに進化させる新しい微分可能な進化フレームワークであるAutoSpaceを提案する。 学習した検索空間では、最近のNASアルゴリズムの性能は、以前手作業で設計した空間に比べて大幅に改善できる。
  論文  参考訳（メタデータ） (2021-03-22T13:28:56Z)
• Searching for a Search Method: Benchmarking Search Algorithms for Generating NLP Adversarial Examples [10.993342896547691]
  自然言語処理(NLP)タスクの逆例を生成するために,複数のブラックボックス探索アルゴリズムの動作について検討した。 検索アルゴリズム,検索空間,検索予算の3つの要素を詳細に分析する。
  論文  参考訳（メタデータ） (2020-09-09T17:04:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。