論文の概要: Large Scale Neural Architecture Search with Polyharmonic Splines

• arxiv url: http://arxiv.org/abs/2011.10608v1
• Date: Fri, 20 Nov 2020 19:50:35 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-23 06:06:58.995832
• Title: Large Scale Neural Architecture Search with Polyharmonic Splines
• Title（参考訳）: 多調和スプラインを用いた大規模ニューラルネットワーク探索
• Authors: Ulrich Finkler, Michele Merler, Rameswar Panda, Mayoore S. Jaiswal, Hui Wu, Kandan Ramakrishnan, Chun-Fu Chen, Minsik Cho, David Kung, Rogerio Feris, and Bishwaranjan Bhattacharjee
• Abstract要約: ニューラルネットワーク検索(NAS)は、画像分類を含む多くのタスクでディープニューラルネットワークを自動的に設計する強力なツールである。 ほとんどのNASメソッドは、小さなバランスの取れたデータセットに焦点を当てている。 大規模かつ不均衡なターゲットデータセット上で直接探索できる多調和スプラインに基づくNAS手法を提案する。
• 参考スコア（独自算出の注目度）: 18.93737536782059
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Neural Architecture Search (NAS) is a powerful tool to automatically design deep neural networks for many tasks, including image classification. Due to the significant computational burden of the search phase, most NAS methods have focused so far on small, balanced datasets. All attempts at conducting NAS at large scale have employed small proxy sets, and then transferred the learned architectures to larger datasets by replicating or stacking the searched cells. We propose a NAS method based on polyharmonic splines that can perform search directly on large scale, imbalanced target datasets. We demonstrate the effectiveness of our method on the ImageNet22K benchmark[16], which contains 14 million images distributed in a highly imbalanced manner over 21,841 categories. By exploring the search space of the ResNet [23] and Big-Little Net ResNext [11] architectures directly on ImageNet22K, our polyharmonic splines NAS method designed a model which achieved a top-1 accuracy of 40.03% on ImageNet22K, an absolute improvement of 3.13% over the state of the art with similar global batch size [15].
• Abstract（参考訳）: neural architecture search (nas)は、画像分類を含む多くのタスクでディープニューラルネットワークを自動的に設計する強力なツールである。 探索フェーズの計算負荷が大きいため、ほとんどのNAS手法は小さなバランスの取れたデータセットに焦点を合わせてきた。 大規模にnasを実行する試みはすべて、小さなプロキシセットを使用して、検索したセルを複製あるいは積み重ねることで、学習したアーキテクチャをより大きなデータセットに転送した。 大規模かつ不均衡なターゲットデータセット上で直接探索できる多調和スプラインに基づくNAS手法を提案する。 21,841のカテゴリで1400万の画像を高度に不均衡に分散したImageNet22Kベンチマーク[16]において,本手法の有効性を実証した。 ImageNet22K上でのResNet [23]とBig-Little Net ResNext [11]アーキテクチャの検索空間を探索することにより、私たちのポリハーモニックスプラインNAS法は、ImageNet22K上で40.03%の精度でトップ1の精度を達成したモデルを設計した。

関連論文リスト

• DNA Family: Boosting Weight-Sharing NAS with Block-Wise Supervisions [121.05720140641189]
  蒸留型ニューラルアーキテクチャ(DNA)技術を用いたモデル群を開発した。 提案するDNAモデルでは,アルゴリズムを用いてサブサーチ空間にのみアクセス可能な従来の手法とは対照的に,すべてのアーキテクチャ候補を評価できる。 当社のモデルでは,モバイルコンボリューションネットワークと小型ビジョントランスフォーマーにおいて,ImageNet上で78.9%,83.6%の最先端トップ1精度を実現している。
  論文  参考訳（メタデータ） (2024-03-02T22:16:47Z)
• Lightweight Neural Architecture Search for Temporal Convolutional Networks at the Edge [21.72253397805102]
  この研究は特に、時系列処理のための畳み込みモデルであるTCN(Temporal Convolutional Networks)に焦点を当てている。 我々は,TNの最も特異なアーキテクチャパラメータの最適化を明示的に目標とする最初のNASツールを提案する。 提案したNASは,音声および生体信号を含む4つの実世界のエッジ関連タスクでテストする。
  論文  参考訳（メタデータ） (2023-01-24T19:47:40Z)
• UnrealNAS: Can We Search Neural Architectures with Unreal Data? [84.78460976605425]
  ニューラルアーキテクチャサーチ(NAS)はディープニューラルネットワーク(DNN)の自動設計において大きな成功を収めた。 これまでの研究は、NASに地道ラベルを持つことの必要性を分析し、幅広い関心を喚起した。 NASが有効であるためには、実際のデータが必要であるかどうか、さらに疑問を呈する。
  論文  参考訳（メタデータ） (2022-05-04T16:30:26Z)
• When NAS Meets Trees: An Efficient Algorithm for Neural Architecture Search [117.89827740405694]
  ニューラルアーキテクチャサーチ(NAS)の主な課題は、巨大なサーチ空間において賢明に探索する方法を設計することである。 少数のアーキテクチャを探索することで探索効率を向上するNAS(TNAS with Tree)手法を提案する。 TNASは、NAS-Bench-201の4時間でテスト精度94.37%のCIFAR-10のグローバルな最適アーキテクチャを発見した。
  論文  参考訳（メタデータ） (2022-04-11T07:34:21Z)
• NAS-FCOS: Efficient Search for Object Detection Architectures [113.47766862146389]
  簡易なアンカーフリー物体検出器の特徴ピラミッドネットワーク (FPN) と予測ヘッドを探索し, より効率的な物体検出手法を提案する。 慎重に設計された検索空間、検索アルゴリズム、ネットワーク品質を評価するための戦略により、8つのV100 GPUを使用して、4日以内に最高のパフォーマンスの検知アーキテクチャを見つけることができる。
  論文  参考訳（メタデータ） (2021-10-24T12:20:04Z)
• BossNAS: Exploring Hybrid CNN-transformers with Block-wisely Self-supervised Neural Architecture Search [100.28980854978768]
  BossNAS(Block-wisely Self-supervised Neural Architecture Search)の紹介 探索空間をブロックに分類し、アンサンブルブートストラッピングと呼ばれる新しい自己教師型トレーニングスキームを用いて各ブロックを個別に訓練する。 また,検索可能なダウンサンプリング位置を持つファブリック型cnnトランスフォーマ検索空間であるhytra search spaceを提案する。
  論文  参考訳（メタデータ） (2021-03-23T10:05:58Z)
• Few-shot Neural Architecture Search [35.28010196935195]
  サブスーパーネットと呼ばれる複数のスーパーネットワークを用いて、検索空間の異なる領域をカバーし、望ましくないコ・アダプションを緩和する数ショットNASを提案する。 ImageNetでは、600MB FLOPSで80.5%、238 MFLOPSで77.5%のTop-1精度に達するモデルが見つかる。
  論文  参考訳（メタデータ） (2020-06-11T22:36:01Z)
• DA-NAS: Data Adapted Pruning for Efficient Neural Architecture Search [76.9225014200746]
  ニューラルネットワーク探索(NAS)における効率的な探索は中核的な問題である 本稿では,大規模ターゲットタスクのアーキテクチャを直接検索できるDA-NASを提案する。 従来の手法より2倍速く、精度は現在最先端であり、小さなFLOPの制約下で76.2%である。
  論文  参考訳（メタデータ） (2020-03-27T17:55:21Z)
• DCNAS: Densely Connected Neural Architecture Search for Semantic Image Segmentation [44.46852065566759]
  Densely Connected NAS (DCNAS) フレームワークを提案し、視覚情報のマルチスケール表現に対して最適なネットワーク構造を直接検索する。 具体的には,学習可能な重みを使ってセルを相互に接続することにより,多数の主流ネットワーク設計をカバーするために,密結合された検索空間を導入する。 我々は、DCNASアルゴリズムから得られたアーキテクチャが、公開セマンティックイメージセグメンテーションベンチマーク上で最先端のパフォーマンスを達成することを実証した。
  論文  参考訳（メタデータ） (2020-03-26T13:21:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。