論文の概要: Accelerating Neural Architecture Exploration Across Modalities Using Genetic Algorithms

• arxiv url: http://arxiv.org/abs/2202.12934v1
• Date: Fri, 25 Feb 2022 20:01:36 GMT
• ステータス: 処理完了
• システム内更新日: 2023-02-23 23:16:56.478307
• Title: Accelerating Neural Architecture Exploration Across Modalities Using Genetic Algorithms
• Title（参考訳）: 遺伝的アルゴリズムを用いたモダリティを横断するニューラルアーキテクチャ探索の高速化
• Authors: Daniel Cummings, Sharath Nittur Sridhar, Anthony Sarah, Maciej Szankin
• Abstract要約: 多目的アーキテクチャ探索を加速するために, 遺伝的アルゴリズムと軽量に訓練された客観予測器を反復サイクルで組み合わせる方法を示す。 NASの研究はコンピュータビジョンのタスクを中心に行われており、最近になって自然言語処理の急速な発展など他のモダリティも深く研究されている。
• 参考スコア（独自算出の注目度）: 5.620334754517149
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Neural architecture search (NAS), the study of automating the discovery of optimal deep neural network architectures for tasks in domains such as computer vision and natural language processing, has seen rapid growth in the machine learning research community. While there have been many recent advancements in NAS, there is still a significant focus on reducing the computational cost incurred when validating discovered architectures by making search more efficient. Evolutionary algorithms, specifically genetic algorithms, have a history of usage in NAS and continue to gain popularity versus other optimization approaches as a highly efficient way to explore the architecture objective space. Most NAS research efforts have centered around computer vision tasks and only recently have other modalities, such as the rapidly growing field of natural language processing, been investigated in depth. In this work, we show how genetic algorithms can be paired with lightly trained objective predictors in an iterative cycle to accelerate multi-objective architectural exploration in a way that works in the modalities of both machine translation and image classification.
• Abstract（参考訳）: neural architecture search(nas)は、コンピュータビジョンや自然言語処理などの領域におけるタスクに最適なディープニューラルネットワークアーキテクチャの発見を自動化する研究であり、機械学習研究コミュニティで急速に成長している。 NASの最近の進歩は数多くあるが、探索をより効率的にすることで発見されたアーキテクチャを検証する際に生じる計算コストの削減に依然として大きな焦点が当てられている。 進化的アルゴリズム、特に遺伝的アルゴリズムはNASでの使用の歴史を持ち、アーキテクチャの目的空間を探索する非常に効率的な方法として、他の最適化アプローチよりも人気を得続けている。 nasの研究のほとんどがコンピュータビジョンのタスクに集中しており、最近になって自然言語処理の分野が急速に拡大するなど、他のモダリティも深く研究されている。 本研究では, 遺伝的アルゴリズムを, 反復サイクルにおいて, 学習された目標予測器と組み合わせることで, 多目的アーキテクチャ探索を, 機械翻訳と画像分類の両方のモダリティで行うことができることを示す。

関連論文リスト

• A Pairwise Comparison Relation-assisted Multi-objective Evolutionary Neural Architecture Search Method with Multi-population Mechanism [58.855741970337675]
  ニューラルアーキテクチャサーチ(NAS)により、リサーチ者は広大なサーチスペースを自動的に探索し、効率的なニューラルネットワークを見つけることができる。 NASは重要なボトルネックに悩まされており、探索プロセス中に多くのアーキテクチャを評価する必要がある。 SMEM-NASは,多集団構造に基づく多目的進化アルゴリズムである。
  論文  参考訳（メタデータ） (2024-07-22T12:46:22Z)
• Evolution and Efficiency in Neural Architecture Search: Bridging the Gap Between Expert Design and Automated Optimization [1.7385545432331702]
  本稿では,ニューラルネットワーク検索の概要について概説する。 手動設計から自動化された計算駆動アプローチへの進化を強調している。 医療画像や自然言語処理など、さまざまな分野の応用を強調している。
  論文  参考訳（メタデータ） (2024-02-11T18:27:29Z)
• An Approach for Efficient Neural Architecture Search Space Definition [0.0]
  本稿では, 理解や操作が容易な新しいセルベース階層型検索空間を提案する。 提案手法の目的は,検索時間を最適化し,CNNアーキテクチャのほとんどの状態を扱うのに十分な一般性を得ることである。
  論文  参考訳（メタデータ） (2023-10-25T08:07:29Z)
• Neural Architecture Search: Insights from 1000 Papers [50.27255667347091]
  ニューラルアーキテクチャサーチの組織的で包括的なガイドを提供する。 検索空間、アルゴリズム、スピードアップのテクニックを分類する。 ベンチマークやベストプラクティス,その他の調査,オープンソースライブラリなどのリソースについて論じる。
  論文  参考訳（メタデータ） (2023-01-20T18:47:24Z)
• HiveNAS: Neural Architecture Search using Artificial Bee Colony Optimization [0.0]
  本研究では,ニューラルネットワーク探索のための人工蜂コロニー最適化の実現可能性を評価する。 提案するフレームワークであるHiveNASは、最先端のSwarm IntelligenceベースのNASフレームワークを短時間で上回ります。
  論文  参考訳（メタデータ） (2022-11-18T14:11:47Z)
• Neural Architecture Search for Dense Prediction Tasks in Computer Vision [74.9839082859151]
  ディープラーニングは、ニューラルネットワークアーキテクチャエンジニアリングに対する需要の高まりにつながっている。 ニューラルネットワーク検索(NAS)は、手動ではなく、データ駆動方式でニューラルネットワークアーキテクチャを自動設計することを目的としている。 NASはコンピュータビジョンの幅広い問題に適用されている。
  論文  参考訳（メタデータ） (2022-02-15T08:06:50Z)
• Learning Interpretable Models Through Multi-Objective Neural Architecture Search [0.9990687944474739]
  本稿では,タスク性能と「イントロスペクタビリティ」の両方を最適化するフレームワークを提案する。 タスクエラーとイントロスペクタビリティを共同で最適化することは、エラー内で実行されるより不整合でデバッグ可能なアーキテクチャをもたらすことを実証する。
  論文  参考訳（メタデータ） (2021-12-16T05:50:55Z)
• MS-RANAS: Multi-Scale Resource-Aware Neural Architecture Search [94.80212602202518]
  我々は,MS-RANAS(Multi-Scale Resource-Aware Neural Architecture Search)を提案する。 我々は,検索コストの削減を図るために,ワンショットのアーキテクチャ探索手法を採用した。 我々は精度-速度トレードオフの観点から最先端の結果を得る。
  論文  参考訳（メタデータ） (2020-09-29T11:56:01Z)
• NAS-Navigator: Visual Steering for Explainable One-Shot Deep Neural Network Synthesis [53.106414896248246]
  本稿では,分析者がドメイン知識を注入することで,解のサブグラフ空間を効果的に構築し,ネットワーク探索をガイドするフレームワークを提案する。 このテクニックを反復的に適用することで、アナリストは、与えられたアプリケーションに対して最高のパフォーマンスのニューラルネットワークアーキテクチャに収束することができる。
  論文  参考訳（メタデータ） (2020-09-28T01:48:45Z)
• NAS-Bench-NLP: Neural Architecture Search Benchmark for Natural Language Processing [12.02718579660613]
  我々は自然言語処理(NLP)の中核である言語モデリングタスクを活用することで、コンピュータビジョン領域の外部へ踏み出す。 テキストデータセット上にリカレントニューラルネットワークの検索スペースを提供し、その内部に14kのアーキテクチャをトレーニングしました。 我々は,意味的関連性および言語理解評価のためのデータセットを用いて,訓練されたモデルの内在的および外在的評価を行った。
  論文  参考訳（メタデータ） (2020-06-12T12:19:06Z)
• AutoML-Zero: Evolving Machine Learning Algorithms From Scratch [76.83052807776276]
  基本数学的操作をビルディングブロックとして使うだけで,完全な機械学習アルゴリズムを自動的に発見できることが示される。 汎用的な検索空間を通じて人間のバイアスを大幅に低減する新しいフレームワークを導入することでこれを実証する。 機械学習アルゴリズムをゼロから発見する上で、これらの予備的な成功は、この分野における有望な新しい方向性を示していると信じている。
  論文  参考訳（メタデータ） (2020-03-06T19:00:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。