論文の概要: Colab NAS: Obtaining lightweight task-specific convolutional neural networks following Occam's razor

• arxiv url: http://arxiv.org/abs/2212.07700v1
• Date: Thu, 15 Dec 2022 10:23:32 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-16 16:59:36.736447
• Title: Colab NAS: Obtaining lightweight task-specific convolutional neural networks following Occam's razor
• Title（参考訳）: Colab NAS:Occamのカミソリに続く軽量なタスク固有畳み込みニューラルネットワークの実現
• Authors: Andrea Mattia Garavagno, Daniele Leonardis, Antonio Frisoli
• Abstract要約: Colab NASは、軽量タスク固有のCNNを作成するための安価なHW NAS技術である。 その新しいデリバティブフリー検索戦略は、Occamのカミソリにインスパイアされたもので、Visual Wake Wordデータセットの最先端の結果を、わずか4.5GPU時間で取得することができる。
• 参考スコア（独自算出の注目度）: 1.2182193687133713
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The current trend of applying transfer learning from CNNs trained on large datasets can be an overkill when the target application is a custom and delimited problem with enough data to train a network from scratch. On the other hand, the training of custom and lighter CNNs requires expertise, in the from-scratch case, and or high-end resources, as in the case of hardware-aware neural architecture search (HW NAS), limiting access to the technology by non-habitual NN developers. For this reason, we present Colab NAS, an affordable HW NAS technique for producing lightweight task-specific CNNs. Its novel derivative-free search strategy, inspired by Occam's razor, allows it to obtain state-of-the-art results on the Visual Wake Word dataset in just 4.5 GPU hours using free online GPU services such as Google Colaboratory and Kaggle Kernel.
• Abstract（参考訳）: 大規模なデータセットでトレーニングされたCNNからの転送学習を適用する現在のトレンドは、ターゲットアプリケーションがスクラッチからネットワークをトレーニングするのに十分なデータを持つ、カスタムで制限された問題である場合に、過度に発生する可能性がある。 一方、カスタムかつ軽量なCNNのトレーニングには、ハードウェア対応ニューラルネットワークサーチ(HW NAS)のように、オフスクラッチケースやハイエンドリソースといった専門知識が必要であり、非居住型NN開発者による技術へのアクセスを制限する。 そこで我々は,軽量タスク特化CNNを作成するための安価なHWNAS技術であるColab NASを提案する。 Occamのカミソリにインスパイアされた、新しいデリバティブフリー検索戦略により、Google ColaboratoryやKaggle Kernelといった無償のオンラインGPUサービスを使用して、Visual Wake Wordデータセットの最先端の結果をわずか4.5GPU時間で取得することができる。

関連論文リスト

• Insights from the Use of Previously Unseen Neural Architecture Search Datasets [6.239015118429603]
  我々は、一連のNASチャレンジのために作成された8つの新しいデータセットを示す:AddNIST、Language、MultNIST、CIFARTile、Gutenberg、Isabella、GeoClassing、Chesseract。 これらのデータセットと課題は、NAS開発における問題に注意を向け、開発時に未知のデータセット上でモデルがどのように機能するかを著者に検討するよう促すために開発されている。
  論文  参考訳（メタデータ） (2024-04-02T16:48:34Z)
• DNA Family: Boosting Weight-Sharing NAS with Block-Wise Supervisions [121.05720140641189]
  蒸留型ニューラルアーキテクチャ(DNA)技術を用いたモデル群を開発した。 提案するDNAモデルでは,アルゴリズムを用いてサブサーチ空間にのみアクセス可能な従来の手法とは対照的に,すべてのアーキテクチャ候補を評価できる。 当社のモデルでは,モバイルコンボリューションネットワークと小型ビジョントランスフォーマーにおいて,ImageNet上で78.9%,83.6%の最先端トップ1精度を実現している。
  論文  参考訳（メタデータ） (2024-03-02T22:16:47Z)
• MatchNAS: Optimizing Edge AI in Sparse-Label Data Contexts via Automating Deep Neural Network Porting for Mobile Deployment [54.77943671991863]
  MatchNASはDeep Neural Networksをモバイルデバイスに移植するための新しいスキームである。 ラベル付きデータと非ラベル付きデータの両方を用いて、大規模なネットワークファミリを最適化する。 そして、さまざまなハードウェアプラットフォーム用に調整されたネットワークを自動的に検索する。
  論文  参考訳（メタデータ） (2024-02-21T04:43:12Z)
• UnrealNAS: Can We Search Neural Architectures with Unreal Data? [84.78460976605425]
  ニューラルアーキテクチャサーチ(NAS)はディープニューラルネットワーク(DNN)の自動設計において大きな成功を収めた。 これまでの研究は、NASに地道ラベルを持つことの必要性を分析し、幅広い関心を喚起した。 NASが有効であるためには、実際のデータが必要であるかどうか、さらに疑問を呈する。
  論文  参考訳（メタデータ） (2022-05-04T16:30:26Z)
• Evolutionary Neural Cascade Search across Supernetworks [68.8204255655161]
  ENCAS - Evolutionary Neural Cascade Searchを紹介する。 ENCASは、複数の事前訓練されたスーパーネットを探索するために使用することができる。 我々は、一般的なコンピュータビジョンベンチマークでEMCASをテストする。
  論文  参考訳（メタデータ） (2022-03-08T11:06:01Z)
• CondenseNeXt: An Ultra-Efficient Deep Neural Network for Embedded Systems [0.0]
  畳み込みニューラルネットワーク(英: Convolutional Neural Network, CNN)は、画像センサが捉えた視覚画像の分析に広く用いられているディープニューラルネットワーク(DNN)のクラスである。 本稿では,組込みシステム上でのリアルタイム推論のために,既存のCNNアーキテクチャの性能を改善するために,深層畳み込みニューラルネットワークアーキテクチャの新しい変種を提案する。
  論文  参考訳（メタデータ） (2021-12-01T18:20:52Z)
• Neural Architecture Search on ImageNet in Four GPU Hours: A Theoretically Inspired Perspective [88.39981851247727]
  トレーニングフリーニューラルアーキテクチャサーチ(TE-NAS)という新しいフレームワークを提案する。 TE-NASは、ニューラルネットワークカーネル(NTK)のスペクトルと入力空間内の線形領域の数を分析することによってアーキテクチャをランク付けする。 1) この2つの測定はニューラルネットワークのトレーサビリティと表現性を示し, (2) ネットワークのテスト精度と強く相関することを示した。
  論文  参考訳（メタデータ） (2021-02-23T07:50:44Z)
• MS-RANAS: Multi-Scale Resource-Aware Neural Architecture Search [94.80212602202518]
  我々は,MS-RANAS(Multi-Scale Resource-Aware Neural Architecture Search)を提案する。 我々は,検索コストの削減を図るために,ワンショットのアーキテクチャ探索手法を採用した。 我々は精度-速度トレードオフの観点から最先端の結果を得る。
  論文  参考訳（メタデータ） (2020-09-29T11:56:01Z)
• NASCaps: A Framework for Neural Architecture Search to Optimize the Accuracy and Hardware Efficiency of Convolutional Capsule Networks [10.946374356026679]
  我々は,異なるタイプのディープニューラルネットワーク(DNN)のハードウェア対応NASの自動フレームワークであるNASCapsを提案する。 多目的遺伝的アルゴリズム(NSGA-IIアルゴリズム)の展開の有効性について検討する。 我々のフレームワークは、NASフローの特別なカプセル層と動的ルーティングをモデル化し、サポートする最初のフレームワークです。
  論文  参考訳（メタデータ） (2020-08-19T14:29:36Z)
• Neural Architecture Search without Training [8.067283219068832]
  本研究では,未学習ネットワークにおけるデータポイント間のアクティベーションの重複について検討する。 ネットワークのトレーニングされたパフォーマンスを示すのに有用な指標を、どのように提供できるかを動機付けます。 この測度を単純なアルゴリズムに組み込むことで、単一のGPU上で数秒のトレーニングをすることなく、強力なネットワークを検索できるのです。
  論文  参考訳（メタデータ） (2020-06-08T14:53:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。