論文の概要: XC-NAS: A New Cellular Encoding Approach for Neural Architecture Search
of Multi-path Convolutional Neural Networks
- arxiv url: http://arxiv.org/abs/2312.07760v1
- Date: Tue, 12 Dec 2023 22:03:11 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-14 17:22:51.318936
- Title: XC-NAS: A New Cellular Encoding Approach for Neural Architecture Search
of Multi-path Convolutional Neural Networks
- Title（参考訳）: XC-NAS:多経路畳み込みニューラルネットワークのニューラルネットワーク探索のための新しいセルエンコーディング手法
- Authors: Trevor Londt, Xiaoying Gao, Peter Andreae, Yi Mei
- Abstract要約: 本稿では,画像とテキストの分類タスクにおいて,深さ,幅,複雑さの異なる新しいマルチパスCNNアーキテクチャを進化させるアルゴリズムを提案する。
代用モデルアプローチを用いることで、1日以内のGPUで高性能CNNアーキテクチャを進化させることができることを示す。
実験の結果,アルゴリズムは競争力が高く,いくつかの最先端手法を破り,画像領域とテキスト領域の両方に一般化可能であることがわかった。
- 参考スコア（独自算出の注目度）: 0.4915744683251149
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Convolutional Neural Networks (CNNs) continue to achieve great success in
classification tasks as innovative techniques and complex multi-path
architecture topologies are introduced. Neural Architecture Search (NAS) aims
to automate the design of these complex architectures, reducing the need for
costly manual design work by human experts. Cellular Encoding (CE) is an
evolutionary computation technique which excels in constructing novel
multi-path topologies of varying complexity and has recently been applied with
NAS to evolve CNN architectures for various classification tasks. However,
existing CE approaches have severe limitations. They are restricted to only one
domain, only partially implement the theme of CE, or only focus on the
micro-architecture search space. This paper introduces a new CE representation
and algorithm capable of evolving novel multi-path CNN architectures of varying
depth, width, and complexity for image and text classification tasks. The
algorithm explicitly focuses on the macro-architecture search space.
Furthermore, by using a surrogate model approach, we show that the algorithm
can evolve a performant CNN architecture in less than one GPU day, thereby
allowing a sufficient number of experiment runs to be conducted to achieve
scientific robustness. Experiment results show that the approach is highly
competitive, defeating several state-of-the-art methods, and is generalisable
to both the image and text domains.
- Abstract（参考訳）: 畳み込みニューラルネットワーク(CNN)は、革新的な技術や複雑なマルチパスアーキテクチャトポロジを導入し、分類タスクにおいて大きな成功を収め続けている。
Neural Architecture Search (NAS)は、これらの複雑なアーキテクチャの設計を自動化することを目的としており、人手による手作業による作業のコストを削減する。
セルラーエンコーディング(CE)は、様々な複雑性を持つ新しいマルチパストポロジの構築に優れた進化的計算手法であり、最近NASを用いて様々な分類タスクのためにCNNアーキテクチャを進化させた。
しかし、既存のCEアプローチには厳しい制限がある。
これらは1つのドメインに限定され、部分的にceのテーマを実装したり、マイクロアーキテクチャの検索空間にのみ焦点を合わせている。
本稿では,画像およびテキスト分類タスクの深さ,幅,複雑さの異なる新しいマルチパスCNNアーキテクチャを進化させる新しいCE表現とアルゴリズムを提案する。
このアルゴリズムは、マクロ構造探索空間に特化している。
さらに、サロゲートモデルアプローチを用いて、アルゴリズムが1gpu日未満でパフォーマンスの高いcnnアーキテクチャを進化させ、十分な数の実験を実行し、科学的堅牢性を達成することができることを示す。
実験の結果,提案手法は競争力が高く,いくつかの最先端手法を破り,画像領域とテキスト領域の両方に一般化可能であることがわかった。
関連論文リスト
- ECToNAS: Evolutionary Cross-Topology Neural Architecture Search [0.0]
ECToNASは、コスト効率のよい進化的クロストポロジーニューラルアーキテクチャ探索アルゴリズムである。
トレーニングとトポロジの最適化を融合して,軽量でリソースフレンドリなプロセスにします。
論文 参考訳（メタデータ） (2024-03-08T07:36:46Z) - DNA Family: Boosting Weight-Sharing NAS with Block-Wise Supervisions [121.05720140641189]
蒸留型ニューラルアーキテクチャ(DNA)技術を用いたモデル群を開発した。
提案するDNAモデルでは,アルゴリズムを用いてサブサーチ空間にのみアクセス可能な従来の手法とは対照的に,すべてのアーキテクチャ候補を評価できる。
当社のモデルでは,モバイルコンボリューションネットワークと小型ビジョントランスフォーマーにおいて,ImageNet上で78.9%,83.6%の最先端トップ1精度を実現している。
論文 参考訳（メタデータ） (2024-03-02T22:16:47Z) - OFA$^2$: A Multi-Objective Perspective for the Once-for-All Neural
Architecture Search [79.36688444492405]
once-for-All(OFA)は、異なるリソース制約を持つデバイスのための効率的なアーキテクチャを探索する問題に対処するために設計された、ニューラルネットワーク検索(NAS)フレームワークである。
我々は,探索段階を多目的最適化問題として明示的に考えることにより,効率の追求を一歩進めることを目指している。
論文 参考訳（メタデータ） (2023-03-23T21:30:29Z) - POPNASv3: a Pareto-Optimal Neural Architecture Search Solution for Image
and Time Series Classification [8.190723030003804]
本稿では、異なるハードウェア環境と複数の分類タスクを対象とした逐次モデルベースNASアルゴリズムの第3版について述べる。
提案手法は,異なるタスクに適応するフレキシブルな構造とデータ処理パイプラインを維持しながら,大規模な検索空間内で競合するアーキテクチャを見つけることができる。
画像と時系列の分類データセットで実施された実験は、POPNASv3が多種多様な演算子を探索し、異なるシナリオで提供されるデータの種類に適した最適なアーキテクチャに収束できることを示す。
論文 参考訳（メタデータ） (2022-12-13T17:14:14Z) - Surrogate-assisted Multi-objective Neural Architecture Search for
Real-time Semantic Segmentation [11.866947846619064]
ニューラルアーキテクチャサーチ(NAS)は、アーキテクチャ設計を自動化するための有望な道として登場した。
セマンティックセグメンテーションにNASを適用する際の課題を解決するために,サロゲート支援多目的手法を提案する。
提案手法は,人手による設計と他のNAS手法による自動設計の両方により,既存の最先端アーキテクチャを著しく上回るアーキテクチャを同定することができる。
論文 参考訳（メタデータ） (2022-08-14T10:18:51Z) - Accelerating Neural Architecture Exploration Across Modalities Using
Genetic Algorithms [5.620334754517149]
多目的アーキテクチャ探索を加速するために, 遺伝的アルゴリズムと軽量に訓練された客観予測器を反復サイクルで組み合わせる方法を示す。
NASの研究はコンピュータビジョンのタスクを中心に行われており、最近になって自然言語処理の急速な発展など他のモダリティも深く研究されている。
論文 参考訳（メタデータ） (2022-02-25T20:01:36Z) - Learning Interpretable Models Through Multi-Objective Neural
Architecture Search [0.9990687944474739]
本稿では,タスク性能と「イントロスペクタビリティ」の両方を最適化するフレームワークを提案する。
タスクエラーとイントロスペクタビリティを共同で最適化することは、エラー内で実行されるより不整合でデバッグ可能なアーキテクチャをもたらすことを実証する。
論文 参考訳（メタデータ） (2021-12-16T05:50:55Z) - NAS-Navigator: Visual Steering for Explainable One-Shot Deep Neural
Network Synthesis [53.106414896248246]
本稿では,分析者がドメイン知識を注入することで,解のサブグラフ空間を効果的に構築し,ネットワーク探索をガイドするフレームワークを提案する。
このテクニックを反復的に適用することで、アナリストは、与えられたアプリケーションに対して最高のパフォーマンスのニューラルネットワークアーキテクチャに収束することができる。
論文 参考訳（メタデータ） (2020-09-28T01:48:45Z) - NAS-DIP: Learning Deep Image Prior with Neural Architecture Search [65.79109790446257]
近年の研究では、深部畳み込みニューラルネットワークの構造が、以前に構造化された画像として利用できることが示されている。
我々は,より強い画像の先行を捉えるニューラルネットワークの探索を提案する。
既存のニューラルネットワーク探索アルゴリズムを利用して,改良されたネットワークを探索する。
論文 参考訳（メタデータ） (2020-08-26T17:59:36Z) - Automated Search for Resource-Efficient Branched Multi-Task Networks [81.48051635183916]
我々は,多タスクニューラルネットワークにおける分岐構造を自動的に定義する,微分可能なニューラルネットワーク探索に根ざした原理的アプローチを提案する。
本手法は,限られた資源予算内で高い性能の分岐構造を見いだすことができる。
論文 参考訳（メタデータ） (2020-08-24T09:49:19Z) - NAS-Count: Counting-by-Density with Neural Architecture Search [74.92941571724525]
ニューラルアーキテクチャサーチ(NAS)を用いたカウントモデルの設計を自動化する
エンド・ツー・エンドの検索エンコーダ・デコーダアーキテクチャであるAutomatic Multi-Scale Network(AMSNet)を導入する。
論文 参考訳（メタデータ） (2020-02-29T09:18:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。