論文の概要: Computation-efficient Deep Learning for Computer Vision: A Survey
- arxiv url: http://arxiv.org/abs/2308.13998v1
- Date: Sun, 27 Aug 2023 03:55:28 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-29 17:34:50.610413
- Title: Computation-efficient Deep Learning for Computer Vision: A Survey
- Title（参考訳）: コンピュータビジョンのための計算効率のよいディープラーニング
- Authors: Yulin Wang, Yizeng Han, Chaofei Wang, Shiji Song, Qi Tian, Gao Huang
- Abstract要約: ディープラーニングモデルは、さまざまな視覚的知覚タスクにおいて、人間レベルのパフォーマンスに到達または超えた。
ディープラーニングモデルは通常、重要な計算資源を必要とし、現実のシナリオでは非現実的な電力消費、遅延、または二酸化炭素排出量につながる。
新しい研究の焦点は計算効率のよいディープラーニングであり、推論時の計算コストを最小限に抑えつつ、良好な性能を達成することを目指している。
- 参考スコア（独自算出の注目度）: 121.84121397440337
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Over the past decade, deep learning models have exhibited considerable
advancements, reaching or even exceeding human-level performance in a range of
visual perception tasks. This remarkable progress has sparked interest in
applying deep networks to real-world applications, such as autonomous vehicles,
mobile devices, robotics, and edge computing. However, the challenge remains
that state-of-the-art models usually demand significant computational
resources, leading to impractical power consumption, latency, or carbon
emissions in real-world scenarios. This trade-off between effectiveness and
efficiency has catalyzed the emergence of a new research focus: computationally
efficient deep learning, which strives to achieve satisfactory performance
while minimizing the computational cost during inference. This review offers an
extensive analysis of this rapidly evolving field by examining four key areas:
1) the development of static or dynamic light-weighted backbone models for the
efficient extraction of discriminative deep representations; 2) the specialized
network architectures or algorithms tailored for specific computer vision
tasks; 3) the techniques employed for compressing deep learning models; and 4)
the strategies for deploying efficient deep networks on hardware platforms.
Additionally, we provide a systematic discussion on the critical challenges
faced in this domain, such as network architecture design, training schemes,
practical efficiency, and more realistic model compression approaches, as well
as potential future research directions.
- Abstract（参考訳）: 過去10年間で、ディープラーニングモデルはかなり進歩し、様々な視覚知覚タスクで人間のレベルのパフォーマンスに到達または超えている。
この驚くべき進歩は、自動運転車、モバイルデバイス、ロボティクス、エッジコンピューティングなど、現実世界のアプリケーションにディープネットワークを適用することへの関心を呼び起こした。
しかし、現状のモデルは通常重要な計算資源を必要としており、現実のシナリオでは非現実的な電力消費、遅延、または二酸化炭素排出につながる。
この効率性と効率のトレードオフは、計算効率のよいディープラーニングという、推論時の計算コストを最小化しつつ、良好な性能を達成するための新たな研究焦点の台頭を導いた。
このレビューは、4つの重要な領域を調べることによって、この急速に進化する分野を広範囲に分析する。
1) 識別的深部表現の効率的な抽出のための静的又は動的軽量化バックボーンモデルの開発
2) 特定のコンピュータビジョンタスク用に調整されたネットワークアーキテクチャ又はアルゴリズム
3)深層学習モデルの圧縮に用いる技術,及び
4) ハードウェアプラットフォームに効率的なディープネットワークを配置するための戦略。
さらに,ネットワークアーキテクチャ設計,トレーニングスキーム,実践的効率性,より現実的なモデル圧縮アプローチ,将来的な研究方向など,この分野で直面する重要な課題について,体系的な議論を行う。
関連論文リスト
- A Survey on State-of-the-art Deep Learning Applications and Challenges [0.0]
ディープラーニングモデルの構築は、アルゴリズムの複雑さと現実世界の問題の動的な性質のため、難しい。
本研究の目的は,コンピュータビジョン,自然言語処理,時系列解析,広範コンピューティングにおける最先端のディープラーニングモデルを網羅的にレビューすることである。
論文 参考訳（メタデータ） (2024-03-26T10:10:53Z) - Integration and Performance Analysis of Artificial Intelligence and
Computer Vision Based on Deep Learning Algorithms [5.734290974917728]
本稿では,ディープラーニングとコンピュータビジョン技術の統合による応用効果の分析に焦点をあてる。
ディープラーニングは階層型ニューラルネットワークを構築することで歴史的なブレークスルーを実現し、エンドツーエンドの機能学習と画像の意味的理解を可能にする。
コンピュータビジョンの分野で成功した経験は、ディープラーニングアルゴリズムのトレーニングに強力なサポートを提供する。
論文 参考訳（メタデータ） (2023-12-20T09:37:06Z) - Deep Photonic Reservoir Computer for Speech Recognition [49.1574468325115]
音声認識は人工知能の分野で重要な課題であり、目覚ましい進歩を目撃してきた。
深い貯水池コンピューティングはエネルギー効率が高いが、よりリソース集約的な機械学習アルゴリズムと比較して、パフォーマンスに制限がある。
フォトニック方式の深層貯水池コンピュータを提案し,その性能を音声認識タスクで評価する。
論文 参考訳（メタデータ） (2023-12-11T17:43:58Z) - On Efficient Training of Large-Scale Deep Learning Models: A Literature
Review [90.87691246153612]
ディープラーニングの分野は特にコンピュータビジョン(CV)、自然言語処理(NLP)、音声などにおいて大きな進歩を遂げている。
大量のデータに基づいてトレーニングされた大規模なモデルを使用することは、実用的なアプリケーションにとって大きな可能性を秘めている。
計算能力の需要が増大する中で、ディープラーニングモデルの訓練の加速技術に関する包括的な要約が期待されている。
論文 参考訳（メタデータ） (2023-04-07T11:13:23Z) - Design Automation for Fast, Lightweight, and Effective Deep Learning
Models: A Survey [53.258091735278875]
本調査では,エッジコンピューティングを対象としたディープラーニングモデルの設計自動化技術について述べる。
これは、有効性、軽量性、計算コストの観点からモデルの習熟度を定量化するために一般的に使用される主要なメトリクスの概要と比較を提供する。
この調査は、ディープモデル設計自動化技術の最先端の3つのカテゴリをカバーしている。
論文 参考訳（メタデータ） (2022-08-22T12:12:43Z) - Privacy-Preserving Serverless Edge Learning with Decentralized Small
Data [13.254530176359182]
最近、分散トレーニング戦略は、ディープモデルをトレーニングする際のデータプライバシを保証するための有望なアプローチになっている。
本稿では、従来のサーバレスプラットフォームをサーバレスエッジ学習アーキテクチャで拡張し、ネットワークの観点から効率的な分散トレーニングフレームワークを提供する。
論文 参考訳（メタデータ） (2021-11-29T21:04:49Z) - Efficient Deep Learning: A Survey on Making Deep Learning Models
Smaller, Faster, and Better [0.0]
ディープラーニングモデルの進歩的な改善により、パラメータの数、レイテンシ、トレーニングに必要なリソースなどが大幅に増加した。
深層学習における効率性の問題の提示と動機付けを行い,続いてモデル効率の5つの中核領域を徹底的に調査した。
これは、モデリング技術からハードウェアサポートまで、モデル効率のランドスケープをカバーした、効率的なディープラーニング分野における初めての総合的な調査であると考えています。
論文 参考訳（メタデータ） (2021-06-16T17:31:38Z) - Knowledge Distillation: A Survey [87.51063304509067]
ディープニューラルネットワークは、特にコンピュータビジョンタスクにおいて、産業と学術の両方で成功している。
リソースが限られているデバイスに、これらの面倒なディープモデルをデプロイすることは難しい。
知識蒸留は、大きな教師モデルから小さな学生モデルを効果的に学習する。
論文 参考訳（メタデータ） (2020-06-09T21:47:17Z) - Spiking Neural Networks Hardware Implementations and Challenges: a
Survey [53.429871539789445]
スパイキングニューラルネットワークは、ニューロンとシナプスの操作原理を模倣する認知アルゴリズムである。
スパイキングニューラルネットワークのハードウェア実装の現状について述べる。
本稿では,これらのイベント駆動アルゴリズムの特性をハードウェアレベルで活用するための戦略について論じる。
論文 参考訳（メタデータ） (2020-05-04T13:24:00Z) - Resource-Efficient Neural Networks for Embedded Systems [23.532396005466627]
本稿では,機械学習技術の現状について概説する。
私たちは、過去10年で主要な機械学習モデルであるディープニューラルネットワーク(DNN)に基づく、リソース効率の高い推論に焦点を当てています。
我々は、圧縮技術を用いて、よく知られたベンチマークデータセットの実験で議論を裏付ける。
論文 参考訳（メタデータ） (2020-01-07T14:17:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。