論文の概要: TF-NAS: Rethinking Three Search Freedoms of Latency-Constrained Differentiable Neural Architecture Search

• arxiv url: http://arxiv.org/abs/2008.05314v1
• Date: Wed, 12 Aug 2020 13:44:20 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-31 05:31:43.437345
• Title: TF-NAS: Rethinking Three Search Freedoms of Latency-Constrained Differentiable Neural Architecture Search
• Title（参考訳）: TF-NAS:レイテンシ制約付き微分可能なニューラルネットワーク探索の3つの自由度を再考する
• Authors: Yibo Hu, Xiang Wu, Ran He
• Abstract要約: 本研究では,3自由度NAS(TF-NAS)を提案する。 特に,検索したTF-NAS-Aは76.9%のTop-1精度を示し,レイテンシを低減した最新結果が得られる。
• 参考スコア（独自算出の注目度）: 85.96350089047398
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: With the flourish of differentiable neural architecture search (NAS), automatically searching latency-constrained architectures gives a new perspective to reduce human labor and expertise. However, the searched architectures are usually suboptimal in accuracy and may have large jitters around the target latency. In this paper, we rethink three freedoms of differentiable NAS, i.e. operation-level, depth-level and width-level, and propose a novel method, named Three-Freedom NAS (TF-NAS), to achieve both good classification accuracy and precise latency constraint. For the operation-level, we present a bi-sampling search algorithm to moderate the operation collapse. For the depth-level, we introduce a sink-connecting search space to ensure the mutual exclusion between skip and other candidate operations, as well as eliminate the architecture redundancy. For the width-level, we propose an elasticity-scaling strategy that achieves precise latency constraint in a progressively fine-grained manner. Experiments on ImageNet demonstrate the effectiveness of TF-NAS. Particularly, our searched TF-NAS-A obtains 76.9% top-1 accuracy, achieving state-of-the-art results with less latency. The total search time is only 1.8 days on 1 Titan RTX GPU. Code is available at https://github.com/AberHu/TF-NAS.
• Abstract（参考訳）: 微分可能なニューラルネットワークサーチ(NAS)の普及に伴い、遅延制約のあるアーキテクチャの自動検索は、人間の労働力と専門知識を減らすための新たな視点を提供する。 しかしながら、検索されたアーキテクチャは通常、精度が最適以下であり、ターゲットレイテンシの周りに大きなジッタを持つ可能性がある。 本稿では,3つの微分可能なnas,すなわち操作レベル,深さレベル,幅レベルの自由度を再検討し,分類精度とレイテンシ制約の精度を両立する新しい手法である3自由度nas(tf-nas)を提案する。 動作レベルでは,二サンプリング探索アルゴリズムを用いて動作崩壊を緩和する。 奥行きレベルでは,スキップ操作と他の候補操作との相互排他性を確保し,アーキテクチャ冗長性を排除するため,シンク接続検索空間を導入する。 広帯域化のために, 精度の高い遅延制約を実現する弾性スケーリング手法を提案する。 ImageNetの実験はTF-NASの有効性を示した。 特に,検索したTF-NAS-Aは76.9%のTop-1精度を示し,最新結果のレイテンシを低くした。 検索時間は1Titan RTX GPUでわずか1.8日である。 コードはhttps://github.com/AberHu/TF-NASで入手できる。

関連論文リスト

• $\beta$-DARTS: Beta-Decay Regularization for Differentiable Architecture Search [85.84110365657455]
  本研究では,DARTSに基づくNAS探索過程を正規化するために,ベータデカイと呼ばれるシンプルだが効率的な正規化手法を提案する。 NAS-Bench-201の実験結果から,提案手法は探索過程の安定化に有効であり,探索されたネットワークを異なるデータセット間で転送しやすくする。
  論文  参考訳（メタデータ） (2022-03-03T11:47:14Z)
• Zero-Cost Proxies Meet Differentiable Architecture Search [20.957570100784988]
  微分可能なニューラルアーキテクチャサーチ(NAS)は近年大きな注目を集めている。 DARTSの成功にもかかわらず、一部のケースでは堅牢性に欠ける。 微分可能なNASの文脈における新しい操作選択パラダイムを提案する。
  論文  参考訳（メタデータ） (2021-06-12T15:33:36Z)
• FNAS: Uncertainty-Aware Fast Neural Architecture Search [54.49650267859032]
  強化学習(Reinforcement Learning, RL)に基づくニューラルアーキテクチャサーチ(NAS)は一般的に、収束性の向上を保証するが、巨大な計算資源の要求に悩まされる。 NASにおけるロールアウトプロセスとRLプロセスの収束を加速する汎用パイプラインを提案する。 Mobile Neural Architecture Search (MNAS)サーチスペースの実験では、提案するFast Neural Architecture Search (FNAS)が標準のRLベースのNASプロセスを10倍高速化することを示した。
  論文  参考訳（メタデータ） (2021-05-25T06:32:52Z)
• BossNAS: Exploring Hybrid CNN-transformers with Block-wisely Self-supervised Neural Architecture Search [100.28980854978768]
  BossNAS(Block-wisely Self-supervised Neural Architecture Search)の紹介 探索空間をブロックに分類し、アンサンブルブートストラッピングと呼ばれる新しい自己教師型トレーニングスキームを用いて各ブロックを個別に訓練する。 また,検索可能なダウンサンプリング位置を持つファブリック型cnnトランスフォーマ検索空間であるhytra search spaceを提案する。
  論文  参考訳（メタデータ） (2021-03-23T10:05:58Z)
• Neural Architecture Search on ImageNet in Four GPU Hours: A Theoretically Inspired Perspective [88.39981851247727]
  トレーニングフリーニューラルアーキテクチャサーチ(TE-NAS)という新しいフレームワークを提案する。 TE-NASは、ニューラルネットワークカーネル(NTK)のスペクトルと入力空間内の線形領域の数を分析することによってアーキテクチャをランク付けする。 1) この2つの測定はニューラルネットワークのトレーサビリティと表現性を示し, (2) ネットワークのテスト精度と強く相関することを示した。
  論文  参考訳（メタデータ） (2021-02-23T07:50:44Z)
• S3NAS: Fast NPU-aware Neural Architecture Search Methodology [2.607400740040335]
  S3NASと呼ばれる高速なNPU対応NAS手法を提案し,既存のNASよりも高精度なCNNアーキテクチャを提案する。 TPUv3を使って3時間でネットワークを見つけることができ、11.66ミリ秒のレイテンシでImageNetの82.72%のトップ1の精度を示している。
  論文  参考訳（メタデータ） (2020-09-04T04:45:50Z)
• LC-NAS: Latency Constrained Neural Architecture Search for Point Cloud Networks [73.78551758828294]
  LC-NASは、最小計算コストでポイントクラウド分類のための最先端アーキテクチャを見つけることができる。 検索したアーキテクチャが、適度に低い精度で、望ましいレイテンシを実現する方法を示します。
  論文  参考訳（メタデータ） (2020-08-24T10:30:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。