論文の概要: Designing Compact Neural Architectures via Neuron Gating and Mixed Activation

• arxiv url: http://arxiv.org/abs/2608.14443v1
• Date: Fri, 14 Aug 2026 16:28:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-17 20:14:29.441016
• Title: Designing Compact Neural Architectures via Neuron Gating and Mixed Activation
• Title（参考訳）: ニューロンゲーティングと混合活性化による小型ニューラルネットワークの設計
• Abstract要約: ニューラルアーキテクチャサーチ(NAS)のための一般二段階最適化フレームワークを開発する。 離散ニューロンとアクティベーションレベルの決定を連続緩和で置き換える3つのスケーラブルな定式化を提案する。 実験により,提案手法は競争性や予測性能が向上したコンパクトアーキテクチャを一貫して識別することを示した。
• 参考スコア（独自算出の注目度）: 0.18425326702824343
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Neural Architecture Search (NAS) is naturally formulated as a bilevel optimization problem, where the upper-level optimizes the architecture using validation performance and the lower-level trains network parameters using training loss. However, NAS is computationally expensive due to discrete architectural decisions, exponentially growing search spaces, and the high cost of training candidate architectures. This work develops a general bilevel optimization framework for NAS across diverse architectures, including MLPs, CNNs, RNNs, and Transformers, to identify compact architectures with strong predictive performance. We propose three scalable formulations that replace discrete neuron- and activation-level decisions with continuous relaxations, enabling differentiable optimization over otherwise combinatorial architecture spaces. These formulations give rise to three NAS methods: NAS based on Neuron Gating (NAS-NG), NAS based on Mixed Activation (NAS-MA), and NAS based on Neuron Gating and Mixed Activation (NAS-NGMA). Experiments on MLPs and CNNs using MNIST and CIFAR-10 show that the proposed methods consistently identify compact architectures with competitive or improved predictive performance. On MNIST, NAS-NGMA achieves 98.68% test accuracy with 7.69M MLP parameters, while NAS-NG achieves 99.63% accuracy with only 0.26M CNN parameters. On CIFAR-10, the proposed methods consistently outperform vanilla DARTS. Further experiments demonstrate that NAS-NG can optimize substantially over-parameterized and literature-optimal architectures, improving accuracy while reducing parameters. These results establish relaxed bilevel optimization as a scalable alternative to discrete NAS and provide a general framework for efficient neuron- and activation-level architecture optimization.
• Abstract（参考訳）: ニューラルネットワーク探索(NAS)は、二段階最適化問題として自然に定式化され、上層階は、検証性能と訓練損失を用いた下層階の列車ネットワークパラメータを用いてアーキテクチャを最適化する。 しかし、NASは、離散的なアーキテクチャ決定、指数関数的に増大する検索空間、および候補アーキテクチャを訓練するコストが高いため、計算コストが高い。 本研究は,MLP,CNN,RNN,Transformerなど多種多様なアーキテクチャを対象としたNASの汎用的双方向最適化フレームワークを開発し,高い予測性能を持つコンパクトアーキテクチャを同定する。 離散ニューロンとアクティベーションレベルの決定を連続緩和に置き換える3つのスケーラブルな定式化を提案する。 これらの定式化は、NASをベースとしたNAS(NAS-NG)、NASをベースとしたNAS(NAS-MA)、NASをベースとしたNAS(NAS-NGMA)の3つのNAS法をもたらす。 MNIST と CIFAR-10 を用いた MLP と CNN の実験により,提案手法は競争性や予測性能の向上を伴うコンパクトアーキテクチャを一貫して同定することを示した。 MNISTでは、NAS-NGMAはテスト精度98.68%、MLPパラメータは7.69M、NAS-NGは99.63%、CNNパラメータは0.26Mである。 CIFAR-10では、提案手法は一貫してバニラDARTよりも優れていた。 さらなる実験により、NAS-NGはパラメータを減らしながら精度を向上し、かなり過度なパラメータ化と文献最適化のアーキテクチャを最適化できることが示されている。 これらの結果は、離散NASに代わるスケーラブルな2レベル最適化として緩和された双レベル最適化を確立し、効率的なニューロンとアクティベーションレベルのアーキテクチャ最適化のための一般的なフレームワークを提供する。

関連論文リスト

• LP-NAS: Linear Programming-based Neural Architecture Search [0.18425326702824343]
  本研究では,線形プログラミングに基づくNAS(LP-NAS)を提案する。 S-LP-NAS と R-LP-NAS の 2 つの計算効率の良い変種を導入する。 どちらの変種も、標準のDARTSアルゴリズムよりも高速な収束と早期探索の検証性能を実現している。
  論文  参考訳（メタデータ） (2026-08-14T16:53:11Z)
• OptiProxy-NAS: Optimization Proxy based End-to-End Neural Architecture Search [9.616990304130203]
  本稿では,ニューラルアーキテクチャ探索(NAS)問題を合理化するための最適化プロキシを提案する。 プロキシ表現を使用することで、NAS空間は連続的に、微分可能で、滑らかに再構成される。 12ドルのNASタスクを3つのドメインにまたがる4ドルの検索スペースで包括的な実験を行い、より優れた検索結果と効率性を示しました。
  論文  参考訳（メタデータ） (2025-09-06T09:26:02Z)
• A Pairwise Comparison Relation-assisted Multi-objective Evolutionary Neural Architecture Search Method with Multi-population Mechanism [56.09418231453024]
  ニューラルアーキテクチャサーチ(NAS)により、研究者は広大なサーチスペースを自動的に探索し、効率的なニューラルネットワークを見つけることができる。 NASは重要なボトルネックに悩まされており、探索プロセス中に多くのアーキテクチャを評価する必要がある。 SMEM-NASは,多集団構造に基づく相互比較比較支援型多目的進化アルゴリズムである。
  論文  参考訳（メタデータ） (2024-07-22T12:46:22Z)
• DCP-NAS: Discrepant Child-Parent Neural Architecture Search for 1-bit CNNs [53.82853297675979]
  バイナリ重みとアクティベーションを備えた1ビット畳み込みニューラルネットワーク(CNN)は、リソース制限された組み込みデバイスの可能性を示している。 自然なアプローチの1つは、NASの計算とメモリコストを削減するために1ビットCNNを使用することである。 本稿では,1ビットCNNを効率的に探索するためにDCP-NAS(Disrepant Child-Parent Neural Architecture Search)を提案する。
  論文  参考訳（メタデータ） (2023-06-27T11:28:29Z)
• DiffusionNAG: Predictor-guided Neural Architecture Generation with Diffusion Models [56.584561770857306]
  本研究では拡散モデルに基づく新しい条件付きニューラルネットワーク生成(NAG)フレームワークDiffusionNAGを提案する。 具体的には、ニューラルネットワークを有向グラフとみなし、それらを生成するためのグラフ拡散モデルを提案する。 本研究では,2つの予測型NAS(Transferable NAS)とベイズ最適化(BO)に基づくNAS(Bayesian Optimization)の2つのシナリオにおいて,DiffusionNAGの有効性を検証する。 BOベースのアルゴリズムに統合されると、DiffusionNAGは既存のBOベースのNASアプローチ、特にImageNet 1Kデータセット上の大規模なMobileNetV3検索スペースよりも優れている。
  論文  参考訳（メタデータ） (2023-05-26T13:58:18Z)
• BaLeNAS: Differentiable Architecture Search via the Bayesian Learning Rule [95.56873042777316]
  近年,微分可能なアーキテクチャ探索 (DARTS) が注目されている。 本稿では,アーキテクチャ重みをガウス分布に緩和することにより,ニューラルネットワーク探索を分布学習問題として定式化する。 ベイズ主義の原理から異なるNASがいかに恩恵を受け、探索を強化し、安定性を向上するかを実証する。
  論文  参考訳（メタデータ） (2021-11-25T18:13:42Z)
• TND-NAS: Towards Non-differentiable Objectives in Progressive Differentiable NAS Framework [6.895590095853327]
  微分可能なアーキテクチャサーチは、ニューラルネットワークサーチ(NAS)分野において、徐々に主流の研究トピックになりつつある。 最近の差別化可能なNASは、検索性能の向上とGPUメモリ消費の削減も目指している。 微分可能なNASフレームワークにおける高効率と、多目的NASにおける非微分可能なメトリクス間の互換性を両立させたTND-NASを提案する。
  論文  参考訳（メタデータ） (2021-11-06T14:19:36Z)
• Effective, Efficient and Robust Neural Architecture Search [4.273005643715522]
  敵攻撃の最近の進歩は、ニューラルアーキテクチャサーチ(NAS)によって探索されたディープニューラルネットワークの脆弱性を示している 本稿では,ニューラルネットワークアーキテクチャの性能,堅牢性,資源制約を考慮し,ニューラルネットワークアーキテクチャを探索する,効率的で効率的かつロバストなニューラルネットワーク探索手法を提案する。 ベンチマークデータセットを用いた実験により,提案手法は,モデルサイズと同等の分類精度で,逆向きに頑健なアーキテクチャを見出すことができることがわかった。
  論文  参考訳（メタデータ） (2020-11-19T13:46:23Z)
• Hyperparameter Optimization in Neural Networks via Structured Sparse Recovery [54.60327265077322]
  スパースリカバリ法のレンズを用いて,ニューラルネットワークの自動設計における2つの重要な問題について検討する。 本論文の前半では,HPOと構造的スパースリカバリの新たな接続を確立する。 本論文の第2部では,NASと構造的スパース回復の関連性を確立する。
  論文  参考訳（メタデータ） (2020-07-07T00:57:09Z)
• Geometry-Aware Gradient Algorithms for Neural Architecture Search [41.943045315986744]
  重み付けによるNASを理解するために,単一レベルの経験的リスク最小化の研究を議論する。 本稿では,この最適化の基盤となる構造を利用して,疎度なアーキテクチャパラメータを返却する幾何対応フレームワークを提案する。 コンピュータビジョンにおける最新のNASベンチマークにおいて、最先端の精度を実現する。
  論文  参考訳（メタデータ） (2020-04-16T17:46:39Z)
• BNAS:An Efficient Neural Architecture Search Approach Using Broad Scalable Architecture [62.587982139871976]
  我々はBCNN(Broad Convolutional Neural Network)と呼ばれる広義のスケーラブルなアーキテクチャを精巧に設計するBNAS(Broad Neural Architecture Search)を提案する。 BNASは0.19日であり、ENASよりも2.37倍安い。
  論文  参考訳（メタデータ） (2020-01-18T15:07:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。