論文の概要: G-ICSO-NAS: Shifting Gears between Gradient and Swarm for Robust Neural Architecture Search

• arxiv url: http://arxiv.org/abs/2604.00703v1
• Date: Wed, 01 Apr 2026 10:06:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-02 16:44:31.934568
• Title: G-ICSO-NAS: Shifting Gears between Gradient and Swarm for Robust Neural Architecture Search
• Title（参考訳）: G-ICSO-NAS:ロバストニューラルネットワーク探索のためのグラディエントとスワム間のギアシフト
• Authors: Xingbang Du, Enzhi Zhang, Rui Zhong, Yang Cao, Masaharu Munetomo,
• Abstract要約: G-ICSO-NASは3段階最適化戦略を実装したハイブリッドフレームワークである。 DARTSの検索空間の文脈では、精度97.46%がCIFAR-10で達成され、計算予算はわずか 0.15 GPU-Daysである。 G-ICSO-NASは、評価されたすべてのデータセットに最先端の結果を提供する。
• 参考スコア（独自算出の注目度）: 10.803903846647643
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Neural Architecture Search (NAS) has become a pivotal technique in automated machine learning. Evolutionary Algorithm (EA)-based methods demonstrate superior search quality but suffer from prohibitive computational costs, while gradient-based approaches like DARTS offer high efficiency but are prone to premature convergence and performance collapse. To bridge this gap, we propose G-ICSO-NAS, a hybrid framework implementing a three-stage optimization strategy. The Warm-up Phase pre-trains supernet weights ($w$) via differentiable methods while architecture parameters ($α$) remain frozen. The Exploration Phase adopts a hybrid co-optimization mechanism: an Improved Competitive Swarm Optimizer (ICSO) with diversity-aware fitness navigates the architecture space to update $α$, while gradient descent concurrently updates $w$. The Stability Phase employs fine-grained gradient-based search with early stopping to converge to the optimal architecture. By synergizing ICSO's global navigation capability with differentiable methods' efficiency, G-ICSO-NAS achieves remarkable performance with minimal cost. In the context of the DARTS search space, an accuracy of 97.46\% is achieved on CIFAR-10 with a computational budget of just 0.15 GPU-Days. The method also exhibits strong transfer potential, recording accuracies of 83.1\% (CIFAR-100) and 75.02\% (ImageNet). Furthermore, regarding the NAS-Bench-201 benchmark, G-ICSO-NAS is shown to deliver state-of-the-art results across all evaluated datasets.
• Abstract（参考訳）: ニューラルネットワーク検索(NAS)は、機械学習の自動化において重要な技術となっている。 進化的アルゴリズム(EA)に基づく手法は、探索精度が優れているが、計算コストの制限に悩まされる一方、DARTSのような勾配に基づく手法は高い効率を提供するが、早めの収束と性能の崩壊を招きやすい。 このギャップを埋めるため、3段階最適化戦略を実装したハイブリッドフレームワークであるG-ICSO-NASを提案する。 ウォームアップ・フェーズは、異なる方法でスーパーネットウェイト(w$)をトレーニングし、アーキテクチャパラメータ(α$)は凍結している。 Improved Competitive Swarm Optimizer (ICSO) with diversity-aware fitness はアーキテクチャ空間をナビゲートして$α$を更新し、勾配降下は$w$を同時に更新する。 安定相は、最適アーキテクチャに収束するために早期に停止する、きめ細かい勾配に基づく探索を用いる。 G-ICSO-NASは、ICSOのグローバルナビゲーション能力を差別化可能な手法の効率で相乗化することにより、最小コストで顕著な性能を達成する。 DARTSサーチスペースの文脈では、CIFAR-10で97.46\%の精度が達成され、計算予算はわずか 0.15 GPU-Daysである。 また、強い転送電位を示し、記録精度は83.1\%(CIFAR-100)と75.02\%(ImageNet)である。 さらに、NAS-Bench-201ベンチマークに関して、G-ICSO-NASは、すべての評価されたデータセットに対して最先端の結果を提供する。

関連論文リスト

• Flexiffusion: Training-Free Segment-Wise Neural Architecture Search for Efficient Diffusion Models [50.260693393896716]
  拡散モデル(DM)は高忠実度画像を生成できる強力な生成モデルであるが、高い計算コストで制約される。 我々は、事前訓練されたパラメータを変更することなく、生成スケジュールとモデルアーキテクチャを協調的に最適化する、トレーニング不要なNASフレームワークFlexiffusionを提案する。 我々の研究は、品質を犠牲にすることなく高速DMを検索するための資源効率の良いパラダイムを開拓した。
  論文  参考訳（メタデータ） (2025-06-03T06:02:50Z)
• The devil is in discretization discrepancy. Robustifying Differentiable NAS with Single-Stage Searching Protocol [2.4300749758571905]
  勾配に基づく手法は離散化誤差に悩まされ、最終的なアーキテクチャを得る過程を著しく損なう可能性がある。 本稿では,連続的なアーキテクチャの復号化に依存しない新しい単一ステージ探索プロトコルを提案する。 本手法は,Cityscapes検証データセットの検索段階において75.3%の精度で他のDNAS法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2024-05-26T15:44:53Z)
• Small Temperature is All You Need for Differentiable Architecture Search [8.93957397187611]
  微分可能なアーキテクチャサーチ(DARTS)は、高効率な勾配に基づくニューラルアーキテクチャサーチ(NAS)をもたらす そこで本研究では, トレーニングにおける緩和スーパーネットとプルーニングファイナネットとのギャップを, 低温利用による評価で埋めることを提案する。
  論文  参考訳（メタデータ） (2023-06-12T04:01:57Z)
• ZARTS: On Zero-order Optimization for Neural Architecture Search [94.41017048659664]
  微分可能なアーキテクチャサーチ (DARTS) は、NASの高効率性のため、一般的なワンショットパラダイムである。 この作業はゼロオーダーの最適化に変わり、上記の近似を強制せずに探索するための新しいNASスキームであるZARTSを提案する。 特に、12ベンチマークの結果は、DARTSの性能が低下するZARTSの顕著な堅牢性を検証する。
  論文  参考訳（メタデータ） (2021-10-10T09:35:15Z)
• L$^{2}$NAS: Learning to Optimize Neural Architectures via Continuous-Action Reinforcement Learning [23.25155249879658]
  微分可能なアーキテクチャサーチ(NAS)は、ディープニューラルネットワーク設計において顕著な結果を得た。 L$2$は,DART201ベンチマークやNASS,Imse-for-All検索ポリシで,最先端の結果が得られることを示す。
  論文  参考訳（メタデータ） (2021-09-25T19:26:30Z)
• iDARTS: Differentiable Architecture Search with Stochastic Implicit Gradients [75.41173109807735]
  微分可能なArchiTecture Search(DARTS)は先日,ニューラルアーキテクチャサーチ(NAS)の主流になった。 暗黙の関数定理に基づいてDARTSの過次計算に取り組む。 提案手法であるiDARTSのアーキテクチャ最適化は,定常点に収束することが期待される。
  論文  参考訳（メタデータ） (2021-06-21T00:44:11Z)
• ISTA-NAS: Efficient and Consistent Neural Architecture Search by Sparse Coding [86.40042104698792]
  スパース符号問題としてニューラルアーキテクチャ探索を定式化する。 実験では、CIFAR-10の2段階法では、検索にわずか0.05GPUしか必要としない。 本手法は,CIFAR-10とImageNetの両方において,評価時間のみのコストで最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2020-10-13T04:34:24Z)
• DrNAS: Dirichlet Neural Architecture Search [88.56953713817545]
  ディリクレ分布をモデルとした連続緩和型混合重みをランダム変数として扱う。 最近開発されたパスワイズ微分により、ディリクレパラメータは勾配に基づく一般化で容易に最適化できる。 微分可能なNASの大きなメモリ消費を軽減するために, 単純かつ効果的な進行学習方式を提案する。
  論文  参考訳（メタデータ） (2020-06-18T08:23:02Z)
• DDPNAS: Efficient Neural Architecture Search via Dynamic Distribution Pruning [135.27931587381596]
  DDPNASと呼ばれる効率よく統一されたNASフレームワークを提案する。 検索空間は動的に切断され,その分布はいくつかのエポック毎に更新される。 提案した効率的なネットワーク生成手法により,与えられた制約に対する最適なニューラルネットワークアーキテクチャを直接取得する。
  論文  参考訳（メタデータ） (2019-05-28T06:35:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。