論文の概要: Architecture-Aware Minimization (A$^2$M): How to Find Flat Minima in Neural Architecture Search

• arxiv url: http://arxiv.org/abs/2503.10404v1
• Date: Thu, 13 Mar 2025 14:30:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-14 15:53:52.588130
• Title: Architecture-Aware Minimization (A$^2$M): How to Find Flat Minima in Neural Architecture Search
• Title（参考訳）: アーキテクチャを意識した最小化(A$^2$M):ニューラルネットワーク探索におけるフラットミニマの探索方法
• Authors: Matteo Gambella, Fabrizio Pittorino, Manuel Roveri,
• Abstract要約: 微分可能なNAS法でよく用いられるニューラルアーキテクチャ空間の幾何学的性質について検討する。 これらの知見に基づいて,新しい解析的アルゴリズムフレームワークであるArchitecture-Aware Minimization (A$2$M)を提案する。 A$2$Mは、ベンチマークデータセット上の最先端のDARTSベースのアルゴリズムの一般化を一貫して改善する。
• 参考スコア（独自算出の注目度）: 3.724847012963521
• License:
• Abstract: Neural Architecture Search (NAS) has become an essential tool for designing effective and efficient neural networks. In this paper, we investigate the geometric properties of neural architecture spaces commonly used in differentiable NAS methods, specifically NAS-Bench-201 and DARTS. By defining flatness metrics such as neighborhoods and loss barriers along paths in architecture space, we reveal locality and flatness characteristics analogous to the well-known properties of neural network loss landscapes in weight space. In particular, we find that highly accurate architectures cluster together in flat regions, while suboptimal architectures remain isolated, unveiling the detailed geometrical structure of the architecture search landscape. Building on these insights, we propose Architecture-Aware Minimization (A$^2$M), a novel analytically derived algorithmic framework that explicitly biases, for the first time, the gradient of differentiable NAS methods towards flat minima in architecture space. A$^2$M consistently improves generalization over state-of-the-art DARTS-based algorithms on benchmark datasets including CIFAR-10, CIFAR-100, and ImageNet16-120, across both NAS-Bench-201 and DARTS search spaces. Notably, A$^2$M is able to increase the test accuracy, on average across different differentiable NAS methods, by +3.60\% on CIFAR-10, +4.60\% on CIFAR-100, and +3.64\% on ImageNet16-120, demonstrating its superior effectiveness in practice. A$^2$M can be easily integrated into existing differentiable NAS frameworks, offering a versatile tool for future research and applications in automated machine learning. We open-source our code at https://github.com/AI-Tech-Research-Lab/AsquaredM.
• Abstract（参考訳）: ニューラルネットワークの効率的かつ効率的な設計には,NAS(Neural Architecture Search)が不可欠である。 本稿では、微分可能なNAS法、特にNAS-Bench-201およびDARTSでよく用いられるニューラルネットワーク空間の幾何学的性質について検討する。 建築空間の経路に沿った近傍や損失障壁などの平坦度測定値を定義することにより、重み空間におけるニューラルネットワーク損失景観のよく知られた性質に類似した局所性と平坦性特性を明らかにする。 特に、高度に正確なアーキテクチャが平坦な領域に集まっているのに対して、最適でないアーキテクチャは孤立し続けており、アーキテクチャ探索ランドスケープの詳細な幾何学的構造が明らかにされている。 これらの知見に基づいて、アーキテクチャ空間におけるフラットミニマへの微分可能なNASメソッドの勾配を初めて明確にバイアスする、分析的に導出した新しいアルゴリズムフレームワークであるArchitecture-Aware Minimization (A$^2$M)を提案する。 A$2$M は、NAS-Bench-201 と DARTS 検索空間にわたる CIFAR-10, CIFAR-100, ImageNet16-120 などのベンチマークデータセット上で、最先端の DARTS ベースのアルゴリズムの一般化を一貫して改善している。 特に、A$^2$Mは、CIFAR-10では+3.60\%、CIFAR-100では+4.60\%、ImageNet16-120では+3.64\%、様々な異なるNAS法で平均してテスト精度を向上させることができる。 A$2$Mは、既存の差別化可能なNASフレームワークに簡単に統合することができ、自動機械学習における将来の研究と応用のための汎用的なツールを提供する。 ソースコードはhttps://github.com/AI-Tech-Research-Lab/AsquaredM.comで公開しています。

関連論文リスト

• DNA Family: Boosting Weight-Sharing NAS with Block-Wise Supervisions [121.05720140641189]
  蒸留型ニューラルアーキテクチャ(DNA)技術を用いたモデル群を開発した。 提案するDNAモデルでは,アルゴリズムを用いてサブサーチ空間にのみアクセス可能な従来の手法とは対照的に,すべてのアーキテクチャ候補を評価できる。 当社のモデルでは,モバイルコンボリューションネットワークと小型ビジョントランスフォーマーにおいて,ImageNet上で78.9%,83.6%の最先端トップ1精度を実現している。
  論文  参考訳（メタデータ） (2024-03-02T22:16:47Z)
• Search-time Efficient Device Constraints-Aware Neural Architecture Search [6.527454079441765]
  コンピュータビジョンや自然言語処理といったディープラーニング技術は、計算コストが高く、メモリ集約的です。 ニューラルアーキテクチャサーチ(NAS)によるデバイス制約に最適化されたタスク固有のディープラーニングアーキテクチャの構築を自動化する。 本稿では,エッジデバイス制約を組み込んだ高速ニューラルネットワークアーキテクチャ探索の原理的手法であるDCA-NASを提案する。
  論文  参考訳（メタデータ） (2023-07-10T09:52:28Z)
• GeNAS: Neural Architecture Search with Better Generalization [14.92869716323226]
  最近のニューラルアーキテクチャサーチ(NAS)アプローチは、対象データに対して優れたネットワークを見つけるために、検証損失または精度に依存している。 そこで本研究では,より一般化した探索型アーキテクチャのためのニューラルアーキテクチャ探索手法について検討する。
  論文  参考訳（メタデータ） (2023-05-15T12:44:54Z)
• Neural Architecture Ranker [19.21631623578852]
  アーキテクチャランキングは、最近、ニューラルネットワークサーチ(NAS)のための効率的で効果的なパフォーマンス予測器を設計することを提唱されている。 成層層化にインスパイアされた予測器,すなわちニューラルランサー(NAR)を提案する。
  論文  参考訳（メタデータ） (2022-01-30T04:54:59Z)
• BaLeNAS: Differentiable Architecture Search via the Bayesian Learning Rule [95.56873042777316]
  近年,微分可能なアーキテクチャ探索 (DARTS) が注目されている。 本稿では,アーキテクチャ重みをガウス分布に緩和することにより,ニューラルネットワーク探索を分布学習問題として定式化する。 ベイズ主義の原理から異なるNASがいかに恩恵を受け、探索を強化し、安定性を向上するかを実証する。
  論文  参考訳（メタデータ） (2021-11-25T18:13:42Z)
• iDARTS: Differentiable Architecture Search with Stochastic Implicit Gradients [75.41173109807735]
  微分可能なArchiTecture Search(DARTS)は先日,ニューラルアーキテクチャサーチ(NAS)の主流になった。 暗黙の関数定理に基づいてDARTSの過次計算に取り組む。 提案手法であるiDARTSのアーキテクチャ最適化は,定常点に収束することが期待される。
  論文  参考訳（メタデータ） (2021-06-21T00:44:11Z)
• Neighborhood-Aware Neural Architecture Search [43.87465987957761]
  探索空間におけるフラットミニマアーキテクチャを同定するニューラルアーキテクチャ探索(NAS)手法を提案する。 我々の定式化は、アーキテクチャの「平坦性」を考慮に入れ、このアーキテクチャの近傍における性能を集約する。 本論文では, 地域別ランダム検索 (NA-RS) と地域別差別化アーキテクチャ検索 (NA-DARTS) を提案する。
  論文  参考訳（メタデータ） (2021-05-13T15:56:52Z)
• Weak NAS Predictors Are All You Need [91.11570424233709]
  最近の予測器ベースのnasアプローチは、アーキテクチャとパフォーマンスのペアをサンプリングし、プロキシの精度を予測するという2つの重要なステップで問題を解決しようとする。 私たちはこのパラダイムを、アーキテクチャ空間全体をカバーする複雑な予測子から、ハイパフォーマンスなサブスペースへと徐々に進む弱い予測子へとシフトさせます。 NAS-Bench-101 および NAS-Bench-201 で最高の性能のアーキテクチャを見つけるためのサンプルを少なくし、NASNet 検索空間における最先端の ImageNet パフォーマンスを実現します。
  論文  参考訳（メタデータ） (2021-02-21T01:58:43Z)
• DrNAS: Dirichlet Neural Architecture Search [88.56953713817545]
  ディリクレ分布をモデルとした連続緩和型混合重みをランダム変数として扱う。 最近開発されたパスワイズ微分により、ディリクレパラメータは勾配に基づく一般化で容易に最適化できる。 微分可能なNASの大きなメモリ消費を軽減するために, 単純かつ効果的な進行学習方式を提案する。
  論文  参考訳（メタデータ） (2020-06-18T08:23:02Z)
• DDPNAS: Efficient Neural Architecture Search via Dynamic Distribution Pruning [135.27931587381596]
  DDPNASと呼ばれる効率よく統一されたNASフレームワークを提案する。 検索空間は動的に切断され,その分布はいくつかのエポック毎に更新される。 提案した効率的なネットワーク生成手法により,与えられた制約に対する最適なニューラルネットワークアーキテクチャを直接取得する。
  論文  参考訳（メタデータ） (2019-05-28T06:35:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。