論文の概要: SIPA: A Simple Framework for Efficient Networks

• arxiv url: http://arxiv.org/abs/2004.14476v1
• Date: Fri, 24 Apr 2020 06:39:15 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-10 04:01:05.672490
• Title: SIPA: A Simple Framework for Efficient Networks
• Title（参考訳）: SIPA: 効率的なネットワークのためのシンプルなフレームワーク
• Authors: Gihun Lee, Sangmin Bae, Jaehoon Oh, Se-Young Yun
• Abstract要約: 本稿では,検索,改善,更新,高速化の4段階からなるSIPAというフレームワークを提案する。 私たちのチームであるOSI AIは、パラメータストレージを334倍に、算術演算をWideResNet-28-10より357倍に圧縮し、MicroNet Challenge 2019でCIFAR-100トラックで4位となり、最高10%の高効率計算をしました。
• 参考スコア（独自算出の注目度）: 12.10092482860325
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: With the success of deep learning in various fields and the advent of numerous Internet of Things (IoT) devices, it is essential to lighten models suitable for low-power devices. In keeping with this trend, MicroNet Challenge, which is the challenge to build efficient models from the view of both storage and computation, was hosted at NeurIPS 2019. To develop efficient models through this challenge, we propose a framework, coined as SIPA, consisting of four stages: Searching, Improving, Pruning, and Accelerating. With the proposed framework, our team, OSI AI, compressed 334x the parameter storage and 357x the math operation compared to WideResNet-28-10 and took 4th place in the CIFAR-100 track at MicroNet Challenge 2019 with the top 10% highly efficient computation. Our source code is available from https://github.com/Lee-Gihun/MicroNet_OSI-AI.
• Abstract（参考訳）: 様々な分野でディープラーニングが成功し、多くのモノのインターネット(IoT)デバイスが出現するにつれ、低消費電力デバイスに適したモデルを軽量化することが不可欠である。 この傾向に合わせて、ストレージと計算の両方の観点から効率的なモデルを構築することの難しさであるMicroNet Challengeが、NeurIPS 2019でホストされた。 この課題を通じて効率的なモデルを開発するために,検索,改善,更新,高速化の4段階からなるSIPAというフレームワークを提案する。 提案したフレームワークでは、OSI AIがパラメータストレージを334倍に、算術演算をWideResNet-28-10より357倍に圧縮し、MicroNet Challenge 2019でCIFAR-100トラックでトップ10%の高効率計算で4位になった。 ソースコードはhttps://github.com/Lee-Gihun/MicroNet_OSI-AIから入手できます。

関連論文リスト

• Tetra-AML: Automatic Machine Learning via Tensor Networks [0.0]
  本稿では,ニューラルネットワーク検索とハイパーパラメータ最適化を自動化するTetra-AMLツールボックスを紹介する。 ツールボックスはまた、テンソルネットワークを使用した圧縮によって強化された、量子化とプルーニングによるモデル圧縮も提供する。 ここでは、コンピュータビジョンタスクにおけるニューラルネットワークの最適化のための統一ベンチマークを分析し、我々のアプローチの優れた性能を示す。
  論文  参考訳（メタデータ） (2023-03-28T12:56:54Z)
• Efficient Training Under Limited Resources [1.5749416770494706]
  ディープラーニング(DNN)の性能に影響を与える要因のひとつとして,データセットのトレーニング時間予算とサイズがある。 このような目標を達成するためのアプローチを3つのステップで提示する。 我々の研究は、ICLR 2021 Hardware Aware Efficient Training (HAET) Challengeで、Mini-ImageNetの小さなサブセットに対して86.0%の精度を達成した。
  論文  参考訳（メタデータ） (2023-01-23T04:26:20Z)
• InternImage: Exploring Large-Scale Vision Foundation Models with Deformable Convolutions [95.94629864981091]
  この研究は、パラメータの増加やViTsのようなトレーニングデータから得られるインターンイメージと呼ばれる、CNNベースの新しい大規模ファンデーションモデルを提案する。 提案されたInternImageは、従来のCNNの厳格な帰納バイアスを低減し、ViTのような大規模データから、より強く堅牢なパターンを学習できるようにする。
  論文  参考訳（メタデータ） (2022-11-10T18:59:04Z)
• Evolutionary Neural Cascade Search across Supernetworks [68.8204255655161]
  ENCAS - Evolutionary Neural Cascade Searchを紹介する。 ENCASは、複数の事前訓練されたスーパーネットを探索するために使用することができる。 我々は、一般的なコンピュータビジョンベンチマークでEMCASをテストする。
  論文  参考訳（メタデータ） (2022-03-08T11:06:01Z)
• NAS-FCOS: Efficient Search for Object Detection Architectures [113.47766862146389]
  簡易なアンカーフリー物体検出器の特徴ピラミッドネットワーク (FPN) と予測ヘッドを探索し, より効率的な物体検出手法を提案する。 慎重に設計された検索空間、検索アルゴリズム、ネットワーク品質を評価するための戦略により、8つのV100 GPUを使用して、4日以内に最高のパフォーマンスの検知アーキテクチャを見つけることができる。
  論文  参考訳（メタデータ） (2021-10-24T12:20:04Z)
• EEEA-Net: An Early Exit Evolutionary Neural Architecture Search [6.569256728493014]
  限られた計算資源を持つオンデバイスプロセッサに適した畳み込みニューラルネットワーク(CNN)アーキテクチャの探索。 The Early Exit Population Initialisation (EE-PI) for Evolutionary Algorithm (EA)。 CIFAR-10は2.46%、CIFAR-100は15.02%、ImageNetデータセットは23.8%である。
  論文  参考訳（メタデータ） (2021-08-13T10:23:19Z)
• Top-KAST: Top-K Always Sparse Training [50.05611544535801]
  トレーニングを通して一定間隔を保存するTop-KASTを提案する。 確立したImageNetベンチマークのトレーニングモデルでは,従来の作業と同等かそれ以上に動作可能であることを示す。 ImageNetの結果に加えて、言語モデリングの分野においても、我々のアプローチを実証しています。
  論文  参考訳（メタデータ） (2021-06-07T11:13:05Z)
• MicroNet for Efficient Language Modeling [21.377253658979487]
  言語モデリングトラックにおけるNeurIPS 2019 MicroNet Challengeの勝利のソリューションを提供します。 ベースライン言語モデルと比較して、我々のモデルはパラメータ効率が90倍、計算効率が36倍である。
  論文  参考訳（メタデータ） (2020-05-16T05:42:57Z)
• Improved Residual Networks for Image and Video Recognition [98.10703825716142]
  ResNets(Residual Networks)は、CNN(Convolutional Neural Network)アーキテクチャの強力なタイプである。 ベースライン上での精度と学習収束性を一貫した改善を示す。 提案手法では,高度に深いネットワークをトレーニングできるが,ベースラインは厳密な最適化問題を示す。
  論文  参考訳（メタデータ） (2020-04-10T11:09:50Z)
• Lightweight Residual Densely Connected Convolutional Neural Network [18.310331378001397]
  畳み込みニューラルネットワークの深い監督, 効率的な勾配流, 特徴再利用能力を保証するために, 軽量な高密度連結ブロックを提案する。 提案手法は,特別なハードウェア・ソフトウェア機器を使わずに,トレーニングと推論のコストを低減させる。
  論文  参考訳（メタデータ） (2020-01-02T17:15:32Z)
• DDPNAS: Efficient Neural Architecture Search via Dynamic Distribution Pruning [135.27931587381596]
  DDPNASと呼ばれる効率よく統一されたNASフレームワークを提案する。 検索空間は動的に切断され,その分布はいくつかのエポック毎に更新される。 提案した効率的なネットワーク生成手法により,与えられた制約に対する最適なニューラルネットワークアーキテクチャを直接取得する。
  論文  参考訳（メタデータ） (2019-05-28T06:35:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。