論文の概要: Rethink DARTS Search Space and Renovate a New Benchmark

• arxiv url: http://arxiv.org/abs/2306.06852v1
• Date: Mon, 12 Jun 2023 03:56:09 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-13 16:07:17.437570
• Title: Rethink DARTS Search Space and Renovate a New Benchmark
• Title（参考訳）: DARTS検索スペースを再考し、新しいベンチマークを更新
• Authors: Jiuling Zhang, Zhiming Ding
• Abstract要約: まず、LHDと呼ばれる、より大きく、より難しいDSSをフレーム化するための一連の改善を提案し、オーケストレーションする。 我々はLHDベースの新しいベンチマークの更新を進め、識別性とアクセシビリティの両面に対処する。
• 参考スコア（独自算出の注目度）: 8.93957397187611
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: DARTS search space (DSS) has become a canonical benchmark for NAS whereas some emerging works pointed out the issue of narrow accuracy range and claimed it would hurt the method ranking. We observe some recent studies already suffer from this issue that overshadows the meaning of scores. In this work, we first propose and orchestrate a suite of improvements to frame a larger and harder DSS, termed LHD, while retaining high efficiency in search. We step forward to renovate a LHD-based new benchmark, taking care of both discernibility and accessibility. Specifically, we re-implement twelve baselines and evaluate them across twelve conditions by combining two underexpolored influential factors: transductive robustness and discretization policy, to reasonably construct a benchmark upon multi-condition evaluation. Considering that the tabular benchmarks are always insufficient to adequately evaluate the methods of neural architecture search (NAS), our work can serve as a crucial basis for the future progress of NAS. https://github.com/chaoji90/LHD
• Abstract（参考訳）: DARTSサーチスペース(DSS)はNASの標準ベンチマークとなっているが、いくつかの新興研究では、狭い精度範囲の問題が指摘され、メソッドランキングに悪影響を及ぼすと主張している。 我々は、スコアの意味を覆すこの問題にすでに苦しんでいる最近の研究を観察する。 本研究は,LHDと呼ばれる大型でより硬いDSSのフレーム化を図り,探索効率を高く保ちながら,一連の改良を最初に提案し,編成する。 我々はLHDベースの新しいベンチマークの更新を進め、識別性とアクセシビリティの両面に対処する。 具体的には,12のベースラインを再実装し,過渡的ロバスト性と離散化ポリシという,未解明の2つの要因を組み合わせた12の条件で評価し,マルチ条件評価に基づくベンチマークを合理的に構築する。 ニューラルネットワーク探索(NAS)の手法を適切に評価するには,常に表型ベンチマークが不十分であることを考えると,我々の研究はNASの今後の進歩の重要な基盤となる。 https://github.com/chaoji90/LHD

関連論文リスト

• How Much Is Hidden in the NAS Benchmarks? Few-Shot Adaptation of a NAS Predictor [22.87207410692821]
  我々は,メタラーニングの豊富な分野から借用し,これらの手法のNASへの適用性について検討する。 我々のメタラーニングアプローチは、クロスバリデーション実験において優れた(あるいは一致した)性能を示すだけでなく、新しい検索空間とタスクへの外挿に成功した。
  論文  参考訳（メタデータ） (2023-11-30T10:51:46Z)
• $\beta$-DARTS++: Bi-level Regularization for Proxy-robust Differentiable Architecture Search [96.99525100285084]
  DARTSに基づくNAS探索プロセス($beta$-DARTS)を正規化するための正規化手法であるBeta-Decayを提案する。 どのように動作するのか、なぜ動作するのかに関する詳細な理論的分析が提供される。
  論文  参考訳（メタデータ） (2023-01-16T12:30:32Z)
• $\beta$-DARTS: Beta-Decay Regularization for Differentiable Architecture Search [85.84110365657455]
  本研究では,DARTSに基づくNAS探索過程を正規化するために,ベータデカイと呼ばれるシンプルだが効率的な正規化手法を提案する。 NAS-Bench-201の実験結果から,提案手法は探索過程の安定化に有効であり,探索されたネットワークを異なるデータセット間で転送しやすくする。
  論文  参考訳（メタデータ） (2022-03-03T11:47:14Z)
• ZARTS: On Zero-order Optimization for Neural Architecture Search [94.41017048659664]
  微分可能なアーキテクチャサーチ (DARTS) は、NASの高効率性のため、一般的なワンショットパラダイムである。 この作業はゼロオーダーの最適化に変わり、上記の近似を強制せずに探索するための新しいNASスキームであるZARTSを提案する。 特に、12ベンチマークの結果は、DARTSの性能が低下するZARTSの顕著な堅牢性を検証する。
  論文  参考訳（メタデータ） (2021-10-10T09:35:15Z)
• Efficient Person Search: An Anchor-Free Approach [86.45858994806471]
  パーソンサーチは、クエリーの人物を、リアルで切り刻まれていない画像から、同時にローカライズし、識別することを目的としている。 この目標を達成するために、最先端モデルは通常、Faster R-CNNのような2段階検出器にre-idブランチを追加する。 本研究では,この課題に対処するためのアンカーフリーな手法を提案する。
  論文  参考訳（メタデータ） (2021-09-01T07:01:33Z)
• ROME: Robustifying Memory-Efficient NAS via Topology Disentanglement and Gradient Accumulation [106.04777600352743]
  微分可能なアーキテクチャサーチ(DARTS)は、スーパーネット全体がメモリに格納されているため、メモリコストが大幅に低下する。 シングルパスのDARTSが登場し、各ステップでシングルパスのサブモデルのみを選択する。 メモリフレンドリーだが、計算コストも低い。 RObustifying Memory-Efficient NAS (ROME) と呼ばれる新しいアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-11-23T06:34:07Z)
• GOLD-NAS: Gradual, One-Level, Differentiable [100.12492801459105]
  GOLD-NAS (Gradual One-Level Differentiable Neural Architecture Search) という新しいアルゴリズムを提案する。 1レベル最適化に可変リソース制約を導入し、弱い演算子をスーパーネットワークから徐々に追い出す。
  論文  参考訳（メタデータ） (2020-07-07T10:37:49Z)
• Exploring the Loss Landscape in Neural Architecture Search [15.830099254570959]
  最も単純なヒルクライミングアルゴリズムはNASの強力なベースラインであることを示す。 また,雑音の減少に伴って局所最小値が大幅に減少することを示す。
  論文  参考訳（メタデータ） (2020-05-06T17:09:16Z)
• Local Search is a Remarkably Strong Baseline for Neural Architecture Search [0.0]
  ニューラルネットワーク探索(NAS)のための簡単な局所探索(LS)アルゴリズムを初めて検討する。 我々は、2つの確立された画像分類タスクに対して200Kのネットワーク評価を含む2つのベンチマークデータセット、MacroNAS-C10とMacroNAS-C100をリリースする。
  論文  参考訳（メタデータ） (2020-04-20T00:08:34Z)
• NAS evaluation is frustratingly hard [1.7188280334580197]
  Neural Architecture Search(NAS)は、2012年のConvolutional Neural Networksと同じくらい、ゲームチェンジャーになることを約束する、エキサイティングな新しい分野だ。 異なるメソッドの比較は、まだ非常にオープンな問題です。 最初のコントリビューションは、データセット5ドルに対する8ドルのNASメソッドのベンチマークです。
  論文  参考訳（メタデータ） (2019-12-28T21:24:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。