論文の概要: Neural Architecture Search using Particle Swarm and Ant Colony Optimization

• arxiv url: http://arxiv.org/abs/2403.03781v1
• Date: Wed, 6 Mar 2024 15:23:26 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-07 14:33:52.955440
• Title: Neural Architecture Search using Particle Swarm and Ant Colony Optimization
• Title（参考訳）: particle swarmとant colony optimizationを用いたニューラルアーキテクチャ探索
• Authors: S\'eamus Lankford and Diarmuid Grimes
• Abstract要約: 本稿では,OpenNASのSwarm Intelligence (SI)コンポーネントを用いたCNNのトレーニングと最適化に焦点を当てる。 画像の分類において,OpenNAS(Neural Architecture Search)のオープンソースツールを統合するシステムを開発した。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Neural network models have a number of hyperparameters that must be chosen along with their architecture. This can be a heavy burden on a novice user, choosing which architecture and what values to assign to parameters. In most cases, default hyperparameters and architectures are used. Significant improvements to model accuracy can be achieved through the evaluation of multiple architectures. A process known as Neural Architecture Search (NAS) may be applied to automatically evaluate a large number of such architectures. A system integrating open source tools for Neural Architecture Search (OpenNAS), in the classification of images, has been developed as part of this research. OpenNAS takes any dataset of grayscale, or RBG images, and generates Convolutional Neural Network (CNN) architectures based on a range of metaheuristics using either an AutoKeras, a transfer learning or a Swarm Intelligence (SI) approach. Particle Swarm Optimization (PSO) and Ant Colony Optimization (ACO) are used as the SI algorithms. Furthermore, models developed through such metaheuristics may be combined using stacking ensembles. In the context of this paper, we focus on training and optimizing CNNs using the Swarm Intelligence (SI) components of OpenNAS. Two major types of SI algorithms, namely PSO and ACO, are compared to see which is more effective in generating higher model accuracies. It is shown, with our experimental design, that the PSO algorithm performs better than ACO. The performance improvement of PSO is most notable with a more complex dataset. As a baseline, the performance of fine-tuned pre-trained models is also evaluated.
• Abstract（参考訳）: ニューラルネットワークモデルには多数のハイパーパラメータがあり、アーキテクチャに合わせて選択する必要がある。 これは初心者ユーザにとって大きな負担となり、どのアーキテクチャとパラメータに割り当てるべき値を選択することになる。 ほとんどの場合、デフォルトのハイパーパラメータとアーキテクチャが使用される。 モデル精度の大幅な改善は、複数のアーキテクチャの評価によって達成できる。 ニューラルアーキテクチャサーチ(NAS)と呼ばれるプロセスを適用することで、そのようなアーキテクチャの多くを自動的に評価することができる。 この研究の一環として,画像の分類において,OpenNAS(Neural Architecture Search)のオープンソースツールを統合するシステムを開発した。 OpenNASは、グレースケールまたはRBGイメージのデータセットを取り、AutoKeras、転送学習、Swarm Intelligence(SI)アプローチのいずれかを使用して、さまざまなメタヒューリスティックに基づいて、畳み込みニューラルネットワーク(CNN)アーキテクチャを生成する。 SIアルゴリズムは、Particle Swarm Optimization (PSO) と Ant Colony Optimization (ACO) が用いられる。 さらに、そのようなメタヒューリスティックスによって開発されたモデルは、積み重ねアンサンブルを使って組み合わせることができる。 本稿では,OpenNASのSwarm Intelligence (SI)コンポーネントを用いたCNNのトレーニングと最適化に焦点を当てる。 PSOとACOの2種類のSIアルゴリズムを比較し、より高いモデル精度を生成するのにどのアルゴリズムがより効果的かを調べる。 実験設計により, psoアルゴリズムの性能はacoよりも優れていることが示された。 PSOの性能改善は、より複雑なデータセットで最も顕著である。 ベースラインとして,微調整事前学習モデルの性能評価を行った。

関連論文リスト

• DNA Family: Boosting Weight-Sharing NAS with Block-Wise Supervisions [121.05720140641189]
  蒸留型ニューラルアーキテクチャ(DNA)技術を用いたモデル群を開発した。 提案するDNAモデルでは,アルゴリズムを用いてサブサーチ空間にのみアクセス可能な従来の手法とは対照的に,すべてのアーキテクチャ候補を評価できる。 当社のモデルでは,モバイルコンボリューションネットワークと小型ビジョントランスフォーマーにおいて,ImageNet上で78.9%,83.6%の最先端トップ1精度を実現している。
  論文  参考訳（メタデータ） (2024-03-02T22:16:47Z)
• DCP-NAS: Discrepant Child-Parent Neural Architecture Search for 1-bit CNNs [53.82853297675979]
  バイナリ重みとアクティベーションを備えた1ビット畳み込みニューラルネットワーク(CNN)は、リソース制限された組み込みデバイスの可能性を示している。 自然なアプローチの1つは、NASの計算とメモリコストを削減するために1ビットCNNを使用することである。 本稿では,1ビットCNNを効率的に探索するためにDCP-NAS(Disrepant Child-Parent Neural Architecture Search)を提案する。
  論文  参考訳（メタデータ） (2023-06-27T11:28:29Z)
• GeNAS: Neural Architecture Search with Better Generalization [14.92869716323226]
  最近のニューラルアーキテクチャサーチ(NAS)アプローチは、対象データに対して優れたネットワークを見つけるために、検証損失または精度に依存している。 そこで本研究では,より一般化した探索型アーキテクチャのためのニューラルアーキテクチャ探索手法について検討する。
  論文  参考訳（メタデータ） (2023-05-15T12:44:54Z)
• NAR-Former: Neural Architecture Representation Learning towards Holistic Attributes Prediction [37.357949900603295]
  本稿では,属性の全体的推定に使用できるニューラルネットワーク表現モデルを提案する。 実験の結果,提案するフレームワークは,セルアーキテクチャとディープニューラルネットワーク全体の遅延特性と精度特性を予測できることがわかった。
  論文  参考訳（メタデータ） (2022-11-15T10:15:21Z)
• FlowNAS: Neural Architecture Search for Optical Flow Estimation [65.44079917247369]
  本研究では,フロー推定タスクにおいて,より優れたエンコーダアーキテクチャを自動で見つけるために,FlowNASというニューラルアーキテクチャ探索手法を提案する。 実験の結果、スーパーネットワークから受け継いだ重み付きアーキテクチャは、KITTI上で4.67%のF1-allエラーを達成していることがわかった。
  論文  参考訳（メタデータ） (2022-07-04T09:05:25Z)
• Rethinking Architecture Selection in Differentiable NAS [74.61723678821049]
  微分可能なニューラルアーキテクチャ探索は、その探索効率と簡易性において最も人気のあるNAS手法の1つである。 本稿では,各操作がスーパーネットに与える影響を直接測定する摂動に基づくアーキテクチャ選択を提案する。 提案手法により,DARTSの故障モードを大幅に緩和できることがわかった。
  論文  参考訳（メタデータ） (2021-08-10T00:53:39Z)
• Convolution Neural Network Hyperparameter Optimization Using Simplified Swarm Optimization [2.322689362836168]
  畳み込みニューラルネットワーク(CNN)はコンピュータビジョンで広く使われている。 パフォーマンスが向上したネットワークアーキテクチャを見つけるのは容易ではない。
  論文  参考訳（メタデータ） (2021-03-06T00:23:27Z)
• Differentiable Neural Architecture Learning for Efficient Neural Network Design [31.23038136038325]
  スケールド・シグモイド関数に基づく新しいemphアーキテクチャのパラメータ化を提案する。 そこで本論文では,候補ニューラルネットワークを評価することなく,ニューラルネットワークを最適化するための汎用的エファイブルニューラルネットワーク学習(DNAL)手法を提案する。
  論文  参考訳（メタデータ） (2021-03-03T02:03:08Z)
• DC-NAS: Divide-and-Conquer Neural Architecture Search [108.57785531758076]
  本稿では,ディープ・ニューラル・アーキテクチャーを効果的かつ効率的に探索するためのディバイド・アンド・コンカ(DC)手法を提案する。 ImageNetデータセットで75.1%の精度を達成しており、これは同じ検索空間を使った最先端の手法よりも高い。
  論文  参考訳（メタデータ） (2020-05-29T09:02:16Z)
• A Semi-Supervised Assessor of Neural Architectures [157.76189339451565]
  我々は、ニューラルネットワークの有意義な表現を見つけるためにオートエンコーダを用いる。 アーキテクチャの性能を予測するために、グラフ畳み込みニューラルネットワークを導入する。
  論文  参考訳（メタデータ） (2020-05-14T09:02:33Z)
• ADWPNAS: Architecture-Driven Weight Prediction for Neural Architecture Search [6.458169480971417]
  ニューラルアーキテクチャ探索(NAS)のためのアーキテクチャ駆動重み予測(ADWP)手法を提案する。 提案手法では,まずアーキテクチャ集約型検索空間を設計し,次にアーキテクチャパラメータをエンコードすることでハイパーネットワークワークを訓練する。 結果は、CIFAR-10上で1つの探索手順を4.0GPU時間で完了することを示す。
  論文  参考訳（メタデータ） (2020-03-03T05:06:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。