論文の概要: Model-Free Surrogate-Assisted Neural Architecture Search for Evolving Variable-Length Dense Blocks

• arxiv url: http://arxiv.org/abs/2609.02460v1
• Date: Wed, 02 Sep 2026 11:32:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-03 17:53:18.244905
• Title: Model-Free Surrogate-Assisted Neural Architecture Search for Evolving Variable-Length Dense Blocks
• Title（参考訳）: モデルフリーサロゲート支援型ニューラルネットワークによる可変長ブロックの進化
• Abstract要約: 畳み込みニューラルネットワークアーキテクチャの進化のためのモデルフリーサロゲートPSOネットワーク(MFSPNet)を提案する。 MFSPNetは、パーティクルスワム最適化(PSO)フレームワークに軽量なモデルフリーサロゲート予測器を統合し、事前訓練されたサロゲートモデルを必要としない。 CIFAR-10, CIFAR-100, SVHNでは, それぞれ3.91%, 17.68%, 1.91%の誤差率が得られる。
• 参考スコア（独自算出の注目度）: 2.473241744699909
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Neural Architecture Search (NAS) has emerged as a powerful paradigm for automatically designing deep neural networks; however, its practical adoption is often limited by substantial computational cost. To alleviate expensive full-training evaluations, surrogate-based methods have been introduced to estimate network performance efficiently. Nevertheless, existing approaches-particularly model-based surrogates-require training many candidate architectures and involve additional optimization overhead. In this work, we propose a Model-Free Surrogate PSO Network (MFSPNet) for evolving convolutional neural network architectures. The proposed method integrates a lightweight model-free surrogate predictor within a particle swarm optimization (PSO) framework, eliminating the need for pre-trained surrogate models. Specifically, MFSPNet introduces two key contributions: (1) a validation-loss-driven exponential moving average estimator (VLE-EMA) that captures early generalization behavior for reliable architecture ranking; and (2) a block-based dense connection strategy that enables effective stacking of evolved blocks while mitigating vanishing-gradient issues. This design also facilitates transferability of learned blocks across datasets. Extensive experiments demonstrate that MFSPNet achieves competitive performance with reduced computational cost. Under a consistent training protocol with ten independent runs, the proposed method attains error rates of 3.91%, 17.68%, and 1.91% on CIFAR-10, CIFAR-100, and SVHN, respectively, along with top-1/top-5 error rates of 28.29%/12.82% on ImageNet, while requiring less than three GPU days for architecture search. Due to computational constraints, the ImageNet result is based on a single run and should be interpreted as indicative of scalability. Overall, MFSPNet provides an efficient and reliable framework for cost-aware neural architecture search.
• Abstract（参考訳）: ニューラル・アーキテクチャ・サーチ(NAS)はディープ・ニューラル・ネットワークを自動設計するための強力なパラダイムとして登場したが、その実践的採用は計算コストの大幅な削減によって制限されることが多い。 ネットワーク性能を効率的に推定するために,高コストなフルトレーニング評価を緩和するために,サロゲートに基づく手法が導入された。 それにもかかわらず、既存のアプローチ、特にモデルベースのサロゲートは、多くの候補アーキテクチャを訓練し、追加の最適化オーバーヘッドを含む。 本研究では,畳み込みニューラルネットワークアーキテクチャの進化のためのモデルフリーサロゲートPSOネットワーク(MFSPNet)を提案する。 提案手法は,粒子群最適化(PSO)フレームワークに軽量なモデルフリーサロゲート予測器を組み込むことにより,事前学習したサロゲートモデルの必要性を解消する。 具体的には,(1)信頼性の高いアーキテクチャランキングの早期一般化動作を捉える検証損失駆動指数動平均推定器 (VLE-EMA) と,(2) 進化したブロックを効果的に積み重ねるブロックベースの高密度接続戦略である。 この設計により、データセット間の学習ブロックの転送も容易になる。 大規模な実験により、MFSPNetは計算コストを削減して競争性能を達成することが示された。 10個の独立した実行で一貫したトレーニングプロトコルの下で、提案手法はCIFAR-10、CIFAR-100、SVHNで3.91%、17.68%、エラー率1.91%、ImageNetでトップ-1/トップ5エラー率28.29%/12.82%、アーキテクチャ検索で3日未満のGPU日を必要とする。 計算上の制約のため、ImageNetの結果は単一の実行に基づいており、スケーラビリティの指標として解釈されるべきである。 全体として、MFSPNetはコストを意識したニューラルネットワーク検索のための効率的で信頼性の高いフレームワークを提供する。

関連論文リスト

• CAMP-HiVe: Cyclic Pair Merging based Efficient DNN Pruning with Hessian-Vector Approximation for Resource-Constrained Systems [3.343542849202802]
  CAMP-HiVeは,Hessian Vector近似を用いたサイクリックペアマージベースプルーニングである。 実験により,提案手法が計算要求の大幅な削減を実現することを示す。 既存の最先端のニューラルプルーニング法よりも優れています。
  論文  参考訳（メタデータ） (2025-11-09T07:58:36Z)
• Finding Optimal Kernel Size and Dimension in Convolutional Neural Networks An Architecture Optimization Approach [0.0]
  畳み込みニューラルネットワーク(CNN)におけるカーネルサイズ選択は批判的だが、しばしば見過ごされる設計決定である。 本稿では,最適なカーネルサイズ決定のためのBKSEF(Best Kernel Size Estimation)を提案する。 BKSEFは情報理論、信号処理、学習理論の原理を統合することで、情報ゲイン、計算効率、精度の向上のバランスをとる。
  論文  参考訳（メタデータ） (2025-06-16T15:15:30Z)
• ZeroLM: Data-Free Transformer Architecture Search for Language Models [54.83882149157548]
  現在の自動プロキシ発見アプローチは、検索時間の拡張、データの過度なオーバーフィットへの感受性、構造的な複雑さに悩まされている。 本稿では,効率的な重み統計によるモデルキャパシティの定量化を目的とした,新しいゼロコストプロキシ手法を提案する。 本評価は,FlexiBERT ベンチマークで Spearman's rho 0.76 と Kendall's tau 0.53 を達成し,このアプローチの優位性を示すものである。
  論文  参考訳（メタデータ） (2025-03-24T13:11:22Z)
• Auto-Train-Once: Controller Network Guided Automatic Network Pruning from Scratch [72.26822499434446]
  オートトレインオース (Auto-Train-Once, ATO) は、DNNの計算コストと記憶コストを自動的に削減するために設計された、革新的なネットワークプルーニングアルゴリズムである。 総合的な収束解析と広範な実験を行い,本手法が様々なモデルアーキテクチャにおける最先端性能を実現することを示す。
  論文  参考訳（メタデータ） (2024-03-21T02:33:37Z)
• A Multi-Head Ensemble Multi-Task Learning Approach for Dynamical Computation Offloading [62.34538208323411]
  共有バックボーンと複数の予測ヘッド(PH)を組み合わせたマルチヘッドマルチタスク学習(MEMTL)手法を提案する。 MEMTLは、追加のトレーニングデータを必要とせず、推測精度と平均平方誤差の両方でベンチマーク手法より優れている。
  論文  参考訳（メタデータ） (2023-09-02T11:01:16Z)
• Iterative Soft Shrinkage Learning for Efficient Image Super-Resolution [91.3781512926942]
  画像超解像(SR)は、CNNからトランスフォーマーアーキテクチャへの広範なニューラルネットワーク設計を目撃している。 本研究は,市販のネットワーク設計を生かし,基礎となる計算オーバーヘッドを低減するため,超高解像度イテレーションにおけるネットワークプルーニングの可能性について検討する。 本研究では, ランダムネットワークのスパース構造を最適化し, 重要でない重みを小さめに微調整することにより, 反復型軟収縮率(ISS-P)法を提案する。
  論文  参考訳（メタデータ） (2023-03-16T21:06:13Z)
• Binary Early-Exit Network for Adaptive Inference on Low-Resource Devices [3.591566487849146]
  バイナリニューラルネットワーク(BNN)は、実数値モデルと比較して、極端な圧縮とスピードアップによる問題に対処する。 そこで本研究では,BNNを早期導入戦略で統合して推論を高速化する,シンプルだが効果的な手法を提案する。 このアプローチでは、決定しきい値に基づいて単純なインスタンスを早期に終了させ、異なる中間層に追加される出力層を利用してバイナリモデル全体の実行を回避する。
  論文  参考訳（メタデータ） (2022-06-17T22:11:11Z)
• Efficient Micro-Structured Weight Unification and Pruning for Neural Network Compression [56.83861738731913]
  ディープニューラルネットワーク(DNN)モデルは、特にリソース制限されたデバイスにおいて、実用的なアプリケーションに不可欠である。 既往の非構造的あるいは構造化された重量刈り法は、推論を真に加速することはほとんど不可能である。 ハードウェア互換のマイクロ構造レベルでの一般化された重み統一フレームワークを提案し,高い圧縮と加速度を実現する。
  論文  参考訳（メタデータ） (2021-06-15T17:22:59Z)
• A Simple Fine-tuning Is All You Need: Towards Robust Deep Learning Via Adversarial Fine-tuning [90.44219200633286]
  我々は,$textitslow start, fast decay$ learning rate schedulingストラテジーに基づく,単純かつ非常に効果的な敵の微調整手法を提案する。 実験の結果,提案手法はCIFAR-10, CIFAR-100, ImageNetデータセットの最先端手法よりも優れていた。
  論文  参考訳（メタデータ） (2020-12-25T20:50:15Z)
• Fully Dynamic Inference with Deep Neural Networks [19.833242253397206]
  Layer-Net(L-Net)とChannel-Net(C-Net)と呼ばれる2つのコンパクトネットワークは、どのレイヤやフィルタ/チャネルが冗長であるかをインスタンス毎に予測する。 CIFAR-10データセットでは、LC-Netは11.9$times$ less floating-point Operations (FLOPs) となり、他の動的推論手法と比較して最大3.3%精度が向上する。 ImageNetデータセットでは、LC-Netは最大1.4$times$ FLOPsを減らし、Top-1の精度は他の方法よりも4.6%高い。
  論文  参考訳（メタデータ） (2020-07-29T23:17:48Z)
• FBNetV3: Joint Architecture-Recipe Search using Predictor Pretraining [65.39532971991778]
  サンプル選択とランキングの両方を導くことで、アーキテクチャとトレーニングのレシピを共同でスコアする精度予測器を提案する。 高速な進化的検索をCPU分で実行し、さまざまなリソース制約に対するアーキテクチャと準備のペアを生成します。 FBNetV3は最先端のコンパクトニューラルネットワークのファミリーを構成しており、自動と手動で設計された競合より優れている。
  論文  参考訳（メタデータ） (2020-06-03T05:20:21Z)
• Lightweight Residual Densely Connected Convolutional Neural Network [18.310331378001397]
  畳み込みニューラルネットワークの深い監督, 効率的な勾配流, 特徴再利用能力を保証するために, 軽量な高密度連結ブロックを提案する。 提案手法は,特別なハードウェア・ソフトウェア機器を使わずに,トレーニングと推論のコストを低減させる。
  論文  参考訳（メタデータ） (2020-01-02T17:15:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。