論文の概要: confopt: A Library for Implementation and Evaluation of Gradient-based One-Shot NAS Methods

• arxiv url: http://arxiv.org/abs/2507.16533v1
• Date: Tue, 22 Jul 2025 12:44:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-23 21:34:14.112545
• Title: confopt: A Library for Implementation and Evaluation of Gradient-based One-Shot NAS Methods
• Title（参考訳）: confopt: グラディエントベースのワンショットNASメソッドの実装と評価のためのライブラリ
• Authors: Abhash Kumar Jha, Shakiba Moradian, Arjun Krishnakumar, Martin Rapp, Frank Hutter,
• Abstract要約: ワンショットニューラルアーキテクチャサーチ(NAS)は、アーキテクチャ空間を探索するコストを大幅に削減した。 しかし、勾配に基づくNAS法の評価はDARTSベンチマークに大きく依存している。 本稿では,勾配に基づくNAS手法の開発と評価を効率化するライブラリであるConfoptを紹介する。
• 参考スコア（独自算出の注目度）: 37.72122798989319
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Gradient-based one-shot neural architecture search (NAS) has significantly reduced the cost of exploring architectural spaces with discrete design choices, such as selecting operations within a model. However, the field faces two major challenges. First, evaluations of gradient-based NAS methods heavily rely on the DARTS benchmark, despite the existence of other available benchmarks. This overreliance has led to saturation, with reported improvements often falling within the margin of noise. Second, implementations of gradient-based one-shot NAS methods are fragmented across disparate repositories, complicating fair and reproducible comparisons and further development. In this paper, we introduce Configurable Optimizer (confopt), an extensible library designed to streamline the development and evaluation of gradient-based one-shot NAS methods. Confopt provides a minimal API that makes it easy for users to integrate new search spaces, while also supporting the decomposition of NAS optimizers into their core components. We use this framework to create a suite of new DARTS-based benchmarks, and combine them with a novel evaluation protocol to reveal a critical flaw in how gradient-based one-shot NAS methods are currently assessed. The code can be found at https://github.com/automl/ConfigurableOptimizer.
• Abstract（参考訳）: グラディエントベースのワンショットニューラルアーキテクチャサーチ(NAS)は、モデル内の操作の選択など、個別の設計選択によるアーキテクチャ空間の探索コストを大幅に削減した。 しかし、この分野は2つの大きな課題に直面している。 第一に、他の利用可能なベンチマークが存在するにもかかわらず、勾配に基づくNAS手法の評価はDARTSベンチマークに大きく依存している。 この過度な信頼性は飽和をもたらし、報告された改善はしばしばノイズの限界内に落ちている。 第二に、勾配に基づくワンショットNASメソッドの実装は、異なるリポジトリ間で断片化され、公正かつ再現可能な比較とさらなる開発が複雑になる。 本稿では,勾配に基づくワンショットNAS手法の開発と評価を効率化する拡張可能なライブラリであるConfigurable Optimizer (confopt)を紹介する。 Confoptは、ユーザが新しい検索スペースを簡単に統合できる最小限のAPIを提供すると同時に、NASオプティマイザのコアコンポーネントへの分解もサポートする。 我々は、このフレームワークを使用して、新しいDARTSベースのベンチマークスイートを作成し、それらを新しい評価プロトコルと組み合わせて、勾配ベースのワンショットNASメソッドが現在どのように評価されているかの重要な欠陥を明らかにする。 コードはhttps://github.com/automl/ConfigurableOptimizerで見ることができる。

関連論文リスト

• Efficacy of Neural Prediction-Based Zero-Shot NAS [0.04096453902709291]
  ディープラーニングを用いたゼロショットニューラルアーキテクチャ探索(NAS)の新しい手法を提案する。 提案手法では,畳み込みカーネルを符号化した罪のフーリエ和を用いて,評価対象のアーキテクチャに類似した構造を持つ計算フィードフォワードグラフの構築を可能にする。 実験の結果,NAS-Bench-201データセットの相関関係から,グラフ畳み込みネットワークを用いた従来の手法よりも高い収束率を示すことがわかった。
  論文  参考訳（メタデータ） (2023-08-31T14:54:06Z)
• Generalizing Few-Shot NAS with Gradient Matching [165.5690495295074]
  One-Shotメソッドは、1つのスーパーネットをトレーニングし、ウェイトシェアリングを通じて検索空間内の全てのアーキテクチャのパフォーマンスを近似する。 Few-Shot NASは、One-Shotスーパーネットを複数のサブスーパーネットに分割することで、ウェイトシェアリングのレベルを下げる。 Few-Shotよりも優れており、派生したアーキテクチャの精度という点では、従来の同等の手法をはるかに上回っている。
  論文  参考訳（メタデータ） (2022-03-29T03:06:16Z)
• BaLeNAS: Differentiable Architecture Search via the Bayesian Learning Rule [95.56873042777316]
  近年,微分可能なアーキテクチャ探索 (DARTS) が注目されている。 本稿では,アーキテクチャ重みをガウス分布に緩和することにより,ニューラルネットワーク探索を分布学習問題として定式化する。 ベイズ主義の原理から異なるNASがいかに恩恵を受け、探索を強化し、安定性を向上するかを実証する。
  論文  参考訳（メタデータ） (2021-11-25T18:13:42Z)
• Connection Sensitivity Matters for Training-free DARTS: From Architecture-Level Scoring to Operation-Level Sensitivity Analysis [32.94768616851585]
  最近提案されたトレーニングフリーNAS手法は、トレーニングフェーズを放棄し、優れたアーキテクチャを識別するためのスコアとして、さまざまなゼロコストプロキシを設計する。 本稿では, DARTSにおける操作重要度を, パラメータ集中バイアスを回避して, トレーニング不要な方法で適切に測定できるか, という問題を提起する。 ZEROSをNASに活用するための反復的かつデータに依存しない手法を考案することにより、新しい試行は自由微分型アーキテクチャサーチ(FreeDARTS)と呼ばれるフレームワークに繋がる。
  論文  参考訳（メタデータ） (2021-06-22T04:40:34Z)
• iDARTS: Differentiable Architecture Search with Stochastic Implicit Gradients [75.41173109807735]
  微分可能なArchiTecture Search(DARTS)は先日,ニューラルアーキテクチャサーチ(NAS)の主流になった。 暗黙の関数定理に基づいてDARTSの過次計算に取り組む。 提案手法であるiDARTSのアーキテクチャ最適化は,定常点に収束することが期待される。
  論文  参考訳（メタデータ） (2021-06-21T00:44:11Z)
• Hyperparameter Optimization in Neural Networks via Structured Sparse Recovery [54.60327265077322]
  スパースリカバリ法のレンズを用いて,ニューラルネットワークの自動設計における2つの重要な問題について検討する。 本論文の前半では,HPOと構造的スパースリカバリの新たな接続を確立する。 本論文の第2部では,NASと構造的スパース回復の関連性を確立する。
  論文  参考訳（メタデータ） (2020-07-07T00:57:09Z)
• DrNAS: Dirichlet Neural Architecture Search [88.56953713817545]
  ディリクレ分布をモデルとした連続緩和型混合重みをランダム変数として扱う。 最近開発されたパスワイズ微分により、ディリクレパラメータは勾配に基づく一般化で容易に最適化できる。 微分可能なNASの大きなメモリ消費を軽減するために, 単純かつ効果的な進行学習方式を提案する。
  論文  参考訳（メタデータ） (2020-06-18T08:23:02Z)
• Geometry-Aware Gradient Algorithms for Neural Architecture Search [41.943045315986744]
  重み付けによるNASを理解するために,単一レベルの経験的リスク最小化の研究を議論する。 本稿では,この最適化の基盤となる構造を利用して,疎度なアーキテクチャパラメータを返却する幾何対応フレームワークを提案する。 コンピュータビジョンにおける最新のNASベンチマークにおいて、最先端の精度を実現する。
  論文  参考訳（メタデータ） (2020-04-16T17:46:39Z)
• NAS-Bench-1Shot1: Benchmarking and Dissecting One-shot Neural Architecture Search [42.82951139084501]
  ワンショットニューラルアーキテクチャサーチ(NAS)は、NASメソッドを実際に計算可能とする上で重要な役割を担っている。 我々は、最近導入された多くの変種にインスタンス化できるワンショットNASのための一般的なフレームワークを導入し、一般的なベンチマークフレームワークを導入する。
  論文  参考訳（メタデータ） (2020-01-28T15:50:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。