論文の概要: Neural Architecture Search by Learning a Hierarchical Search Space

• arxiv url: http://arxiv.org/abs/2503.21061v1
• Date: Thu, 27 Mar 2025 00:20:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-28 12:52:52.023321
• Title: Neural Architecture Search by Learning a Hierarchical Search Space
• Title（参考訳）: 階層型探索空間の学習によるニューラルアーキテクチャ探索
• Authors: Mehraveh Javan Roshtkhari, Matthew Toews, Marco Pedersoli,
• Abstract要約: Monte-Carlo Tree Search (MCTS) は、対戦ゲームのような多くの非微分不可能な検索関連問題に対して強力なツールである。 ニューラルネットワーク探索(NAS)では、最終アーキテクチャだけが重要なので、分岐の訪問順序を最適化して学習を改善することができる。 アーキテクチャの階層的クラスタリングにより分岐を学習することを提案する。
• 参考スコア（独自算出の注目度）: 7.154749344931972
• License:
• Abstract: Monte-Carlo Tree Search (MCTS) is a powerful tool for many non-differentiable search related problems such as adversarial games. However, the performance of such approach highly depends on the order of the nodes that are considered at each branching of the tree. If the first branches cannot distinguish between promising and deceiving configurations for the final task, the efficiency of the search is exponentially reduced. In Neural Architecture Search (NAS), as only the final architecture matters, the visiting order of the branching can be optimized to improve learning. In this paper, we study the application of MCTS to NAS for image classification. We analyze several sampling methods and branching alternatives for MCTS and propose to learn the branching by hierarchical clustering of architectures based on their similarity. The similarity is measured by the pairwise distance of output vectors of architectures. Extensive experiments on two challenging benchmarks on CIFAR10 and ImageNet show that MCTS, if provided with a good branching hierarchy, can yield promising solutions more efficiently than other approaches for NAS problems.
• Abstract（参考訳）: Monte-Carlo Tree Search (MCTS) は、対戦ゲームのような多くの非微分不可能な検索関連問題に対して強力なツールである。 しかし、そのような手法の性能は、木の分岐ごとに考慮されるノードの順序に大きく依存する。 第1のブランチが最終タスクの有望な構成と消極的な構成を区別できない場合、探索の効率は指数関数的に低下する。 ニューラルネットワーク探索(NAS)では、最終アーキテクチャだけが重要なので、分岐の訪問順序を最適化して学習を改善することができる。 本稿では,画像分類におけるNASへのMCTSの適用について検討する。 我々は,MCTSのサンプリング手法と分岐代替手法を分析し,その類似性に基づいてアーキテクチャの階層的クラスタリングによって分岐を学習することを提案する。 類似度は、アーキテクチャの出力ベクトルのペア距離によって測定される。 CIFAR10とImageNetの2つの挑戦的なベンチマークに関する大規模な実験は、MCTSが優れた分岐階層を備えると、NAS問題に対する他のアプローチよりも効率的に、有望なソリューションが得られることを示している。

関連論文リスト

• Pruning-as-Search: Efficient Neural Architecture Search via Channel Pruning and Structural Reparameterization [50.50023451369742]
  プルーニング・アズ・サーチ(Pruning-as-Search、PaS)は、必要なサブネットワークを自動的に効率的に検索するエンドツーエンドのプルーニング手法である。 提案したアーキテクチャは,ImageNet-1000分類タスクにおいて,1.0%$ Top-1精度で先行技術より優れていた。
  論文  参考訳（メタデータ） (2022-06-02T17:58:54Z)
• RankNAS: Efficient Neural Architecture Search by Pairwise Ranking [30.890612901949307]
  本稿では,ペアランキングを用いたパフォーマンスランキング手法(RankNAS)を提案する。 トレーニングの例をはるかに少なくして、効率的なアーキテクチャ検索を可能にする。 最先端のNASシステムよりも桁違いに高速でありながら、高性能なアーキテクチャを設計することができる。
  論文  参考訳（メタデータ） (2021-09-15T15:43:08Z)
• Prioritized Architecture Sampling with Monto-Carlo Tree Search [54.72096546595955]
  ワンショットニューラルアーキテクチャサーチ(NAS)法は,検索空間全体を1つのネットワークとして考えることにより,検索コストを大幅に削減する。 本稿では,モンテカルロ木(MCT)をモデルとした探索空間を用いたモンテカルロ木探索(MCTS)に基づくサンプリング戦略について紹介する。 公平な比較のために、CIFAR-10で評価されたマクロ検索空間、すなわちNAS-Bench-MacroのオープンソースNASベンチマークを構築する。
  論文  参考訳（メタデータ） (2021-03-22T15:09:29Z)
• Contrastive Neural Architecture Search with Neural Architecture Comparators [46.45102111497492]
  neural architecture search(nas)における重要なステップの1つは、候補アーキテクチャのパフォーマンスを見積もることである。 既存のメソッドは、バリデーションパフォーマンスを直接使用するか、あるいは予測子を学習してパフォーマンスを見積もる。 本稿では,アーキテクチャ間の比較結果を報奨としてアーキテクチャ探索を行うCTNAS(Contrastive Neural Architecture Search)手法を提案する。
  論文  参考訳（メタデータ） (2021-03-08T11:24:07Z)
• Neural Architecture Search via Combinatorial Multi-Armed Bandit [43.29214413461234]
  NASをCMAB(Combinial Multi-Armed Bandit)問題(CMAB-NAS)として定式化します。 これにより、大きな検索空間を小さなブロックに分解し、木探索手法をより効率的かつ効率的に適用することができます。 我々はNested Monte-Carlo Searchと呼ばれる木に基づく手法を用いてCMAB-NAS問題に取り組む。 CIFAR-10では,0.58GPU日で,最先端技術に匹敵する低エラー率を実現するセル構造を探索する。
  論文  参考訳（メタデータ） (2021-01-01T23:29:33Z)
• Auto-Panoptic: Cooperative Multi-Component Architecture Search for Panoptic Segmentation [144.50154657257605]
  本稿では、バックボーン、セグメンテーションブランチ、フィーチャーフュージョンモジュールを含むすべての主要コンポーネントを同時に検索する効率的なフレームワークを提案する。 検索したアーキテクチャ、すなわちAuto-Panopticは、挑戦的なCOCOとADE20Kベンチマークに関する新しい最先端技術を実現します。
  論文  参考訳（メタデータ） (2020-10-30T08:34:35Z)
• ISTA-NAS: Efficient and Consistent Neural Architecture Search by Sparse Coding [86.40042104698792]
  スパース符号問題としてニューラルアーキテクチャ探索を定式化する。 実験では、CIFAR-10の2段階法では、検索にわずか0.05GPUしか必要としない。 本手法は,CIFAR-10とImageNetの両方において,評価時間のみのコストで最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2020-10-13T04:34:24Z)
• Theory-Inspired Path-Regularized Differential Network Architecture Search [206.93821077400733]
  差分アーキテクチャサーチ(DARTS)における高速ネットワーク最適化に対するスキップ接続の影響と,他のタイプの操作に対する競争上の優位性について検討する。 i)操作間の不当競争を避けるために各操作に導入された差分群構造スパース二乗ゲートと,(ii)浅部より収束する深部アーキテクチャの探索を誘導するために用いられる経路深度正規化の2つの主要なモジュールからなる理論に着想を得た経路規則化DARTSを提案する。
  論文  参考訳（メタデータ） (2020-06-30T05:28:23Z)
• DC-NAS: Divide-and-Conquer Neural Architecture Search [108.57785531758076]
  本稿では,ディープ・ニューラル・アーキテクチャーを効果的かつ効率的に探索するためのディバイド・アンド・コンカ(DC)手法を提案する。 ImageNetデータセットで75.1%の精度を達成しており、これは同じ検索空間を使った最先端の手法よりも高い。
  論文  参考訳（メタデータ） (2020-05-29T09:02:16Z)
• MixPath: A Unified Approach for One-shot Neural Architecture Search [13.223963114415552]
  本稿では,異なる特徴統計を正規化するためのシャドウバッチ正規化(SBN)と呼ばれる新しいメカニズムを提案する。 我々は、統合されたマルチパスワンショットアプローチをMixPathと呼び、ImageNet上で最先端の結果を得る一連のモデルを生成する。
  論文  参考訳（メタデータ） (2020-01-16T15:24:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。