論文の概要: Landmark Regularization: Ranking Guided Super-Net Training in Neural Architecture Search

• arxiv url: http://arxiv.org/abs/2104.05309v1
• Date: Mon, 12 Apr 2021 09:32:33 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-13 14:31:26.247111
• Title: Landmark Regularization: Ranking Guided Super-Net Training in Neural Architecture Search
• Title（参考訳）: landmark regularization: ranking guided super-net training in neural architecture search
• Authors: Kaicheng Yu, Rene Ranftl, Mathieu Salzmann
• Abstract要約: 重量共有は、コモディティハードウェア上での検索を可能にするため、ニューラルネットワークアーキテクチャ検索のデファクトスタンダードとなっています。 近年の研究では、スタンドアロンアーキテクチャのパフォーマンスと対応する共有重み付きネットワークのパフォーマンスのランキング障害が実証されている。 本稿では,共有重みネットワークの性能ランキングとスタンドアロンアーキテクチャのパフォーマンスランキングの相関を最大化することを目的とした正規化用語を提案する。
• 参考スコア（独自算出の注目度）: 70.57382341642418
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Weight sharing has become a de facto standard in neural architecture search because it enables the search to be done on commodity hardware. However, recent works have empirically shown a ranking disorder between the performance of stand-alone architectures and that of the corresponding shared-weight networks. This violates the main assumption of weight-sharing NAS algorithms, thus limiting their effectiveness. We tackle this issue by proposing a regularization term that aims to maximize the correlation between the performance rankings of the shared-weight network and that of the standalone architectures using a small set of landmark architectures. We incorporate our regularization term into three different NAS algorithms and show that it consistently improves performance across algorithms, search-spaces, and tasks.
• Abstract（参考訳）: ウェイトシェアリングは、コモディティハードウェア上での検索を可能にするため、ニューラルネットワーク検索におけるデファクトスタンダードとなっている。 しかし、近年の研究では、スタンドアロンアーキテクチャのパフォーマンスと対応する共有重み付きネットワークのパフォーマンスのランキング障害が実証されている。 これは重量共有NASアルゴリズムの主な仮定に反し、その有効性を制限する。 本稿では,共有重みネットワークのパフォーマンスランキングと,少数のランドマークアーキテクチャを用いたスタンドアロンアーキテクチャとの相関を最大化することを目的とした正規化用語を提案する。 正規化項を3つの異なるNASアルゴリズムに組み込んで、アルゴリズム、検索空間、タスク間のパフォーマンスを一貫して改善することを示す。

関連論文リスト

• Efficient Multi-Objective Neural Architecture Search via Pareto Dominance-based Novelty Search [0.0]
  Neural Architecture Search (NAS)は、高性能なディープニューラルネットワークアーキテクチャの発見を自動化することを目的としている。 従来のNASアプローチは一般的に、興味深いネットワーク構成を含む可能性のあるアーキテクチャ検索空間の大部分を見下ろす特定のパフォーマンス指標(例えば予測精度)を最適化する。 本稿では,Multiple Training-Free Metrics (MTF-PDNS) を用いた多目的NASの新しい検索手法を提案する。
  論文  参考訳（メタデータ） (2024-07-30T08:52:10Z)
• A General-Purpose Transferable Predictor for Neural Architecture Search [22.883809911265445]
  本稿では,探索空間を横断的に移動可能なニューラルネットワーク探索(NAS)のための汎用ニューラルネットワーク予測器を提案する。 NAS-Bench-101, 201, 301の実験結果から, 提案手法の有効性が示された。
  論文  参考訳（メタデータ） (2023-02-21T17:28:05Z)
• Generalizing Few-Shot NAS with Gradient Matching [165.5690495295074]
  One-Shotメソッドは、1つのスーパーネットをトレーニングし、ウェイトシェアリングを通じて検索空間内の全てのアーキテクチャのパフォーマンスを近似する。 Few-Shot NASは、One-Shotスーパーネットを複数のサブスーパーネットに分割することで、ウェイトシェアリングのレベルを下げる。 Few-Shotよりも優れており、派生したアーキテクチャの精度という点では、従来の同等の手法をはるかに上回っている。
  論文  参考訳（メタデータ） (2022-03-29T03:06:16Z)
• An Analysis of Super-Net Heuristics in Weight-Sharing NAS [70.57382341642418]
  単純なランダム探索は,スーパーネットを適切に訓練した場合に,複雑なNASアルゴリズムと競合する性能が得られることを示す。 単純なランダム探索は,スーパーネットを適切に訓練した場合に,複雑なNASアルゴリズムと競合する性能が得られることを示す。
  論文  参考訳（メタデータ） (2021-10-04T02:18:44Z)
• On Constrained Optimization in Differentiable Neural Architecture Search [3.0682439731292592]
  微分可能なアーキテクチャ探索(DARTS)は、微分可能な緩和に基づく最近提案されたニューラルアーキテクチャ探索(NAS)手法である。 本稿では,アーキテクチャの重み付け競争,更新スケジューリング,離散化に向けた正規化の3つの改善を提案し,分析する。
  論文  参考訳（メタデータ） (2021-06-22T10:22:31Z)
• Hierarchical Neural Architecture Search for Deep Stereo Matching [131.94481111956853]
  本稿では, ディープステレオマッチングのための最初のエンドツーエンド階層型NASフレームワークを提案する。 我々のフレームワークは、タスク固有の人間の知識をニューラルアーキテクチャ検索フレームワークに組み込んでいる。 KITTI stereo 2012、2015、Middleburyベンチマークで1位、SceneFlowデータセットで1位にランクインしている。
  論文  参考訳（メタデータ） (2020-10-26T11:57:37Z)
• Fitting the Search Space of Weight-sharing NAS with Graph Convolutional Networks [100.14670789581811]
  サンプルサブネットワークの性能に適合するグラフ畳み込みネットワークを訓練する。 この戦略により、選択された候補集合において、より高いランク相関係数が得られる。
  論文  参考訳（メタデータ） (2020-04-17T19:12:39Z)
• Scalable NAS with Factorizable Architectural Parameters [102.51428615447703]
  Neural Architecture Search (NAS)は、機械学習とコンピュータビジョンにおける新たなトピックである。 本稿では,多数の候補演算子をより小さな部分空間に分解することで,スケーラブルなアルゴリズムを提案する。 検索コストが少なめに増加し、再トレーニングに余分なコストがかからないため、これまで調査されなかった興味深いアーキテクチャが見つかる。
  論文  参考訳（メタデータ） (2019-12-31T10:26:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。