論文の概要: Fitness Landscape Footprint: A Framework to Compare Neural Architecture Search Problems

• arxiv url: http://arxiv.org/abs/2111.01584v1
• Date: Tue, 2 Nov 2021 13:20:01 GMT
• ステータス: 処理完了
• システム内更新日: 2021-11-03 12:42:55.574280
• Title: Fitness Landscape Footprint: A Framework to Compare Neural Architecture Search Problems
• Title（参考訳）: 適合性ランドスケープフットプリント:ニューラルネットワークの検索問題を比較するフレームワーク
• Authors: Kalifou Ren\'e Traor\'e, Andr\'es Camero and Xiao Xiang Zhu
• Abstract要約: 我々は、フィットネスランドスケープ分析を用いて、ニューラルアーキテクチャー探索問題を研究する。 本稿では,古典画像分類ベンチマークCIFAR-10とリモートセンシング問題So2Sat LCZ42の2つの問題について検討する。
• 参考スコア（独自算出の注目度）: 12.901952926144258
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Neural architecture search is a promising area of research dedicated to automating the design of neural network models. This field is rapidly growing, with a surge of methodologies ranging from Bayesian optimization,neuroevoltion, to differentiable search, and applications in various contexts. However, despite all great advances, few studies have presented insights on the difficulty of the problem itself, thus the success (or fail) of these methodologies remains unexplained. In this sense, the field of optimization has developed methods that highlight key aspects to describe optimization problems. The fitness landscape analysis stands out when it comes to characterize reliably and quantitatively search algorithms. In this paper, we propose to use fitness landscape analysis to study a neural architecture search problem. Particularly, we introduce the fitness landscape footprint, an aggregation of eight (8)general-purpose metrics to synthesize the landscape of an architecture search problem. We studied two problems, the classical image classification benchmark CIFAR-10, and the Remote-Sensing problem So2Sat LCZ42. The results present a quantitative appraisal of the problems, allowing to characterize the relative difficulty and other characteristics, such as the ruggedness or the persistence, that helps to tailor a search strategy to the problem. Also, the footprint is a tool that enables the comparison of multiple problems.
• Abstract（参考訳）: ニューラルアーキテクチャサーチは、ニューラルネットワークモデルの設計を自動化する研究分野として有望である。 この分野は急速に成長しており、ベイズ最適化、ニューロエボリューション、微分可能な探索、様々な文脈での応用など様々な手法が普及している。 しかし、大きな進歩にもかかわらず、問題自体の難しさに関する洞察を提示する研究はほとんどなく、これらの方法論の成功(あるいは失敗)はいまだに説明されていない。 この意味で、最適化の分野は最適化問題を記述するための重要な側面を強調する手法を開発した。 フィットネスのランドスケープ分析は、信頼性と定量的な検索アルゴリズムの特徴として際立っている。 本稿では、フィットネスランドスケープ分析を用いてニューラルアーキテクチャ探索問題を研究することを提案する。 特に、アーキテクチャ探索問題の景観を合成するために、8(8)の一般目的メトリクスを集約したフィットネスランドスケープフットプリントを導入する。 従来の画像分類ベンチマーク cifar-10 とリモートセンシング問題 so2sat lcz42 について検討した。 その結果,問題の定量的評価を行い,厳密性や永続性などの相対的難易度や特徴を特徴付けることにより,問題の探索戦略の調整に役立てることができた。 また、フットプリントは複数の問題の比較を可能にするツールである。

関連論文リスト

• Unsupervised Graph Neural Architecture Search with Disentangled Self-supervision [51.88848982611515]
  教師なしグラフニューラルアーキテクチャサーチは、文献では未発見のままである。 本稿では,Distangled Self-supervised Graph Neural Architecture Searchモデルを提案する。 我々のモデルは、教師なしの方法で、いくつかのベースライン手法に対して最先端のパフォーマンスを達成することができる。
  論文  参考訳（メタデータ） (2024-03-08T05:23:55Z)
• Interactive Multi-Objective Evolutionary Optimization of Software Architectures [0.0]
  人間をループに入れることで、検索ベースのソフトウェアエンジニアリング分野に新たな課題がもたらされる。 本稿では,人間の判断を探索プロセスに統合するための基礎として,インタラクティブな進化的計算がいかに役立つかを考察する。
  論文  参考訳（メタデータ） (2024-01-08T19:15:40Z)
• GLUECons: A Generic Benchmark for Learning Under Constraints [102.78051169725455]
  本研究では,自然言語処理とコンピュータビジョンの分野における9つのタスクの集合であるベンチマークを作成する。 外部知識を制約としてモデル化し、各タスクの制約のソースを特定し、これらの制約を使用するさまざまなモデルを実装します。
  論文  参考訳（メタデータ） (2023-02-16T16:45:36Z)
• A Collection of Deep Learning-based Feature-Free Approaches for Characterizing Single-Objective Continuous Fitness Landscapes [0.0]
  ランドスケープの洞察は、問題を理解するだけでなく、ベンチマークセットの多様性と構成を評価するためにも重要である。 本研究では、最適化ランドスケープを特徴付ける様々なアプローチのコレクションを提供する。 我々は、Deep Learningの助けを借りて、BBOBテストベッド上で考案した手法を実証し、検証し、予測する。
  論文  参考訳（メタデータ） (2022-04-12T12:46:31Z)
• SuperNet in Neural Architecture Search: A Taxonomic Survey [14.037182039950505]
  このサーベイは、ウェイトシェアリングを使用して、すべてのアーキテクチャをサブモデルとして組み立てるニューラルネットワークを構築するスーパーネット最適化に焦点を当てている。 データ側最適化、低ランク相関緩和、多数のデプロイメントシナリオに対するトランスファー可能なNASなどです。
  論文  参考訳（メタデータ） (2022-04-08T08:29:52Z)
• Fine-Grained Image Analysis with Deep Learning: A Survey [146.22351342315233]
  きめ細かい画像解析(FGIA)は、コンピュータビジョンとパターン認識における長年の根本的な問題である。 本稿では、FGIAの分野を再定義し、FGIAの2つの基礎研究領域、細粒度画像認識と細粒度画像検索を統合することで、FGIAの分野を広げようとしている。
  論文  参考訳（メタデータ） (2021-11-11T09:43:56Z)
• Making Differentiable Architecture Search less local [9.869449181400466]
  微分可能なニューラルネットワークアーキテクチャ検索(DARTS)は、検索効率を劇的に向上させる有望なNASアプローチである。 これは、検索がしばしば有害なアーキテクチャにつながるパフォーマンスの崩壊に苦しむことが示されています。 DARTS問題の定式化を変更することなく、空間をよりよく探索できる、よりグローバルな最適化スキームを開発する。
  論文  参考訳（メタデータ） (2021-04-21T10:36:43Z)
• NAS-Navigator: Visual Steering for Explainable One-Shot Deep Neural Network Synthesis [53.106414896248246]
  本稿では,分析者がドメイン知識を注入することで,解のサブグラフ空間を効果的に構築し,ネットワーク探索をガイドするフレームワークを提案する。 このテクニックを反復的に適用することで、アナリストは、与えられたアプリケーションに対して最高のパフォーマンスのニューラルネットワークアーキテクチャに収束することができる。
  論文  参考訳（メタデータ） (2020-09-28T01:48:45Z)
• Disentangling Neural Architectures and Weights: A Case Study in Supervised Classification [8.976788958300766]
  本研究は、神経構造とそのエッジウェイトの役割を解消する問題について考察する。 十分に訓練されたアーキテクチャでは、重み付けのリンク固有の微調整は不要である。 我々は、ハードアーキテクチャ探索問題を実現可能な最適化問題に変換する、新しい計算効率のよい手法を用いる。
  論文  参考訳（メタデータ） (2020-09-11T11:22:22Z)
• Neural Topological SLAM for Visual Navigation [112.73876869904]
  意味論を生かし、近似幾何学的推論を行う空間のトポロジ的表現を設計する。 本稿では,ノイズのあるアクティベーションの下でそのような表現を構築し,維持し,使用することができる教師付き学習ベースアルゴリズムについて述べる。
  論文  参考訳（メタデータ） (2020-05-25T17:56:29Z)
• RC-DARTS: Resource Constrained Differentiable Architecture Search [162.7199952019152]
  資源制約付き微分可能なアーキテクチャ探索法(RC-DARTS)を提案する。 RC-DARTS法は,モデルサイズが小さく,計算量も少ない,軽量なニューラルアーキテクチャを学習する。
  論文  参考訳（メタデータ） (2019-12-30T05:02:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。