論文の概要: Backpropagation-Free 4D Continuous Ant-Based Neural Topology Search

• arxiv url: http://arxiv.org/abs/2305.06715v3
• Date: Tue, 30 Jan 2024 21:53:35 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-01 18:03:40.430512
• Title: Backpropagation-Free 4D Continuous Ant-Based Neural Topology Search
• Title（参考訳）: バックプロパゲーションフリー4次元連続アントベースニューラルトポロジーサーチ
• Authors: AbdElRahman ElSaid and Karl Ricanek and Zeming Lyu and Alexander Ororbia and Travis Desell
• Abstract要約: この研究は、潜在的な神経シナプス重みを表す探索空間に4次元を加えることでCANTSを拡張する。 本研究では,BP-Free CANTSアルゴリズムがCANTSおよびANTSと比較して高い競合性能を示すことを示す。
• 参考スコア（独自算出の注目度）: 51.18089545051242
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Continuous Ant-based Topology Search (CANTS) is a previously introduced novel nature-inspired neural architecture search (NAS) algorithm that is based on ant colony optimization (ACO). CANTS utilizes a continuous search space to indirectly-encode a neural architecture search space. Synthetic ant agents explore CANTS' continuous search space based on the density and distribution of pheromones, strongly inspired by how ants move in the real world. This continuous search space allows CANTS to automate the design of artificial neural networks (ANNs) of any size, removing a key limitation inherent to many current NAS algorithms that must operate within structures of a size that is predetermined by the user. This work expands CANTS by adding a fourth dimension to its search space representing potential neural synaptic weights. Adding this extra dimension allows CANTS agents to optimize both the architecture as well as the weights of an ANN without applying backpropagation (BP), which leads to a significant reduction in the time consumed in the optimization process: at least an average of 96% less time consumption with very competitive optimization performance, if not better. The experiments of this study - using real-world data - demonstrate that the BP-Free CANTS algorithm exhibits highly competitive performance compared to both CANTS and ANTS while requiring significantly less operation time.
• Abstract（参考訳）: 連続 ant-based topology search (cants) は、以前に導入されたnature-inspired neural architecture search (nas)アルゴリズムであり、antコロニー最適化 (aco) に基づいている。 CANTSは、連続的な検索空間を使用して、ニューラルアーキテクチャ検索空間を間接的にエンコードする。 合成アリエージェントは、フェロモンの密度と分布に基づいてカントの連続探索空間を探索し、アリが現実世界でどのように動くかに強い影響を受けている。 この連続的な検索空間により、cantsは任意のサイズのニューラルネットワーク(anns)の設計を自動化でき、ユーザが指定したサイズの構造内で動作しなければならない現在の多くのnasアルゴリズムに固有の重要な制限を取り除くことができる。 この研究は、潜在神経シナプス重みを表す探索空間に4次元を追加することでカントを拡大する。 この余分な次元を加えることで、cantsエージェントはアーキテクチャだけでなく、バックプロパゲーション(bp)を適用せずにannの重みも最適化できるため、最適化プロセスで消費される時間を大幅に削減することができる。 実世界のデータを用いた実験により,BP-Free CANTSアルゴリズムは動作時間を大幅に削減しつつ,CANTSとANTSの双方と比較して高い競合性能を示した。

関連論文リスト

• Parallel Hyperparameter Optimization Of Spiking Neural Network [0.5371337604556311]
  スパイキングニューラルネットワーク(SNN)は、通常の人工ニューラルネットワークよりも生物学的にインスパイアされたアプローチに基づいている。 我々は、サイレントネットワークと呼ぶSNNの信号損失問題に取り組む。 早期停止基準を定義することで、我々はより大きく柔軟な検索空間をインスタンス化することができた。
  論文  参考訳（メタデータ） (2024-03-01T11:11:59Z)
• Colony-Enhanced Recurrent Neural Architecture Search: Collaborative Ant-Based Optimization [0.0]
  本稿では,協調型Antベースニューラルトポロジーサーチ(CANTS-N)を紹介する。 この革新的なアプローチでは、Antにインスパイアされたエージェントがニューラルネットワーク構造を慎重に構築し、動的環境内で動的に適応する。 CANTS-Nは、ニューラルアーキテクチャサーチ(NAS)とニューラル進化(NE)のランドスケープを再構築する可能性を持っている
  論文  参考訳（メタデータ） (2024-01-30T22:27:31Z)
• LitE-SNN: Designing Lightweight and Efficient Spiking Neural Network through Spatial-Temporal Compressive Network Search and Joint Optimization [48.41286573672824]
  スパイキングニューラルネットワーク(SNN)は人間の脳の情報処理機構を模倣し、エネルギー効率が高い。 本稿では,空間圧縮と時間圧縮の両方を自動ネットワーク設計プロセスに組み込むLitE-SNNという新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-01-26T05:23:11Z)
• Poisoning the Search Space in Neural Architecture Search [0.0]
  我々は,探索空間におけるデータ中毒攻撃に対して,効率的なNASと呼ばれるアルゴリズムのロバスト性を評価する。 以上の結果から,NASを用いたアーキテクチャ探索の課題に対する洞察が得られた。
  論文  参考訳（メタデータ） (2021-06-28T05:45:57Z)
• BossNAS: Exploring Hybrid CNN-transformers with Block-wisely Self-supervised Neural Architecture Search [100.28980854978768]
  BossNAS(Block-wisely Self-supervised Neural Architecture Search)の紹介 探索空間をブロックに分類し、アンサンブルブートストラッピングと呼ばれる新しい自己教師型トレーニングスキームを用いて各ブロックを個別に訓練する。 また,検索可能なダウンサンプリング位置を持つファブリック型cnnトランスフォーマ検索空間であるhytra search spaceを提案する。
  論文  参考訳（メタデータ） (2021-03-23T10:05:58Z)
• AutoSpace: Neural Architecture Search with Less Human Interference [84.42680793945007]
  現在のニューラルネットワークアーキテクチャ検索(NAS)アルゴリズムは、ネットワーク構築のための検索空間を設計するための専門知識と努力を必要とします。 探索空間を最適なものに進化させる新しい微分可能な進化フレームワークであるAutoSpaceを提案する。 学習した検索空間では、最近のNASアルゴリズムの性能は、以前手作業で設計した空間に比べて大幅に改善できる。
  論文  参考訳（メタデータ） (2021-03-22T13:28:56Z)
• Trilevel Neural Architecture Search for Efficient Single Image Super-Resolution [127.92235484598811]
  本稿では,高効率単一画像超解像(SR)のための3レベルニューラルネットワーク探索法を提案する。 離散探索空間をモデル化するために、離散探索空間に新たな連続緩和を適用し、ネットワークパス、セル操作、カーネル幅の階層的混合を構築する。 階層型スーパーネット方式による最適化を行うため,効率的な探索アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-01-17T12:19:49Z)
• Continuous Ant-Based Neural Topology Search [62.200941836913586]
  この研究は、アリコロニー最適化に基づく、自然に着想を得たニューラルアーキテクチャサーチ(NAS)アルゴリズムを導入している。 連続アントベースのニューラルトポロジーサーチ(CANTS)は、アリが現実世界でどのように動くかに強く影響を受けている。
  論文  参考訳（メタデータ） (2020-11-21T17:49:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。