論文の概要: Continuous Ant-Based Neural Topology Search

• arxiv url: http://arxiv.org/abs/2011.10831v1
• Date: Sat, 21 Nov 2020 17:49:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2022-09-22 22:58:35.256608
• Title: Continuous Ant-Based Neural Topology Search
• Title（参考訳）: 連続的アントベースニューラルトポロジー探索
• Authors: AbdElRahman ElSaid, Joshua Karns, Zimeng Lyu, Alexander Ororbia, Travis Desell
• Abstract要約: この研究は、アリコロニー最適化に基づく、自然に着想を得たニューラルアーキテクチャサーチ(NAS)アルゴリズムを導入している。 連続アントベースのニューラルトポロジーサーチ(CANTS)は、アリが現実世界でどのように動くかに強く影響を受けている。
• 参考スコア（独自算出の注目度）: 62.200941836913586
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This work introduces a novel, nature-inspired neural architecture search (NAS) algorithm based on ant colony optimization, Continuous Ant-based Neural Topology Search (CANTS), which utilizes synthetic ants that move over a continuous search space based on the density and distribution of pheromones, is strongly inspired by how ants move in the real world. The paths taken by the ant agents through the search space are utilized to construct artificial neural networks (ANNs). This continuous search space allows CANTS to automate the design of ANNs of any size, removing a key limitation inherent to many current NAS algorithms that must operate within structures with a size predetermined by the user. CANTS employs a distributed asynchronous strategy which allows it to scale to large-scale high performance computing resources, works with a variety of recurrent memory cell structures, and makes use of a communal weight sharing strategy to reduce training time. The proposed procedure is evaluated on three real-world, time series prediction problems in the field of power systems and compared to two state-of-the-art algorithms. Results show that CANTS is able to provide improved or competitive results on all of these problems, while also being easier to use, requiring half the number of user-specified hyper-parameters.
• Abstract（参考訳）: この研究は、アリコロニー最適化に基づく、自然に着想を得たニューラル・アーキテクチャ・サーチ(NAS)アルゴリズム、Continuous Ant-based Neural Topology Search(CANTS)を導入し、フェロモンの密度と分布に基づいて連続的な探索空間を移動する合成アリを利用する。 アリエージェントが探索空間を通した経路を利用して人工ニューラルネットワーク(ANN)を構築する。 この連続的な検索空間により、cantsは任意のサイズのannの設計を自動化でき、ユーザが指定したサイズで構造内で動作しなければならない現在のnasアルゴリズムに固有の重要な制限を取り除くことができる。 CANTSは、大規模な高性能コンピューティングリソースにスケール可能な分散非同期戦略を採用し、様々な繰り返しメモリセル構造で動作し、トレーニング時間を短縮するために共有重み共有戦略を使用している。 提案手法は,電力系統の3つの実世界の時系列予測問題に対して評価し,最先端の2つのアルゴリズムと比較した。 結果は、CANTSがこれらの問題すべてに対して改善または競争力のある結果を提供すると同時に、使いやすく、ユーザ指定のハイパーパラメータの半数を必要としていることを示している。

関連論文リスト

• Colony-Enhanced Recurrent Neural Architecture Search: Collaborative Ant-Based Optimization [0.0]
  本稿では,協調型Antベースニューラルトポロジーサーチ(CANTS-N)を紹介する。 この革新的なアプローチでは、Antにインスパイアされたエージェントがニューラルネットワーク構造を慎重に構築し、動的環境内で動的に適応する。 CANTS-Nは、ニューラルアーキテクチャサーチ(NAS)とニューラル進化(NE)のランドスケープを再構築する可能性を持っている
  論文  参考訳（メタデータ） (2024-01-30T22:27:31Z)
• Backpropagation-Free 4D Continuous Ant-Based Neural Topology Search [51.18089545051242]
  この研究は、潜在的な神経シナプス重みを表す探索空間に4次元を加えることでCANTSを拡張する。 本研究では,BP-Free CANTSアルゴリズムがCANTSおよびANTSと比較して高い競合性能を示すことを示す。
  論文  参考訳（メタデータ） (2023-05-11T10:49:07Z)
• $\beta$-DARTS: Beta-Decay Regularization for Differentiable Architecture Search [85.84110365657455]
  本研究では,DARTSに基づくNAS探索過程を正規化するために,ベータデカイと呼ばれるシンプルだが効率的な正規化手法を提案する。 NAS-Bench-201の実験結果から,提案手法は探索過程の安定化に有効であり,探索されたネットワークを異なるデータセット間で転送しやすくする。
  論文  参考訳（メタデータ） (2022-03-03T11:47:14Z)
• BossNAS: Exploring Hybrid CNN-transformers with Block-wisely Self-supervised Neural Architecture Search [100.28980854978768]
  BossNAS(Block-wisely Self-supervised Neural Architecture Search)の紹介 探索空間をブロックに分類し、アンサンブルブートストラッピングと呼ばれる新しい自己教師型トレーニングスキームを用いて各ブロックを個別に訓練する。 また,検索可能なダウンサンプリング位置を持つファブリック型cnnトランスフォーマ検索空間であるhytra search spaceを提案する。
  論文  参考訳（メタデータ） (2021-03-23T10:05:58Z)
• GNAS: A Generalized Neural Network Architecture Search Framework [0.0]
  実際には、nas(neural architecture search)のトレーニングで発生する問題は単純ではないが、いくつかの困難の組み合わせがしばしば直面する。 本論文では,NASの単一問題のみを解決するこれまでの研究の参考と改善を行い,それを実用的技術フローに組み合わせる。
  論文  参考訳（メタデータ） (2021-03-19T06:51:22Z)
• Trilevel Neural Architecture Search for Efficient Single Image Super-Resolution [127.92235484598811]
  本稿では,高効率単一画像超解像(SR)のための3レベルニューラルネットワーク探索法を提案する。 離散探索空間をモデル化するために、離散探索空間に新たな連続緩和を適用し、ネットワークパス、セル操作、カーネル幅の階層的混合を構築する。 階層型スーパーネット方式による最適化を行うため,効率的な探索アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-01-17T12:19:49Z)
• MS-RANAS: Multi-Scale Resource-Aware Neural Architecture Search [94.80212602202518]
  我々は,MS-RANAS(Multi-Scale Resource-Aware Neural Architecture Search)を提案する。 我々は,検索コストの削減を図るために,ワンショットのアーキテクチャ探索手法を採用した。 我々は精度-速度トレードオフの観点から最先端の結果を得る。
  論文  参考訳（メタデータ） (2020-09-29T11:56:01Z)
• SpaceNet: Make Free Space For Continual Learning [15.914199054779438]
  本研究では,クラスインクリメンタル学習シナリオのための新しいアーキテクチャベースのSpaceNetを提案する。 SpaceNetは、複数のニューロンで各タスクのスパース接続を圧縮する適応的な方法で、スクラッチから深層ニューラルネットワークを訓練する。 実験により,従来のタスクを忘れることに対する提案手法のロバストさと,モデルが利用可能な容量を利用する場合のSpaceNetの効率性を示す。
  論文  参考訳（メタデータ） (2020-07-15T11:21:31Z)
• VINNAS: Variational Inference-based Neural Network Architecture Search [2.685668802278155]
  スパース畳み込みニューラルネットワークを探索するための可変変分推論に基づくNAS法を提案する。 提案手法は,非ゼロパラメータの約2倍の精度で最先端の精度を示しながら,多様なネットワークセルを探索する。
  論文  参考訳（メタデータ） (2020-07-12T21:47:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。