論文の概要: Efficient Deep Learning: A Survey on Making Deep Learning Models Smaller, Faster, and Better

• arxiv url: http://arxiv.org/abs/2106.08962v1
• Date: Wed, 16 Jun 2021 17:31:38 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-17 17:14:48.684594
• Title: Efficient Deep Learning: A Survey on Making Deep Learning Models Smaller, Faster, and Better
• Title（参考訳）: 効果的なディープラーニング: ディープラーニングモデルをより小さく、より速く、より良くするための調査
• Authors: Gaurav Menghani
• Abstract要約: ディープラーニングモデルの進歩的な改善により、パラメータの数、レイテンシ、トレーニングに必要なリソースなどが大幅に増加した。 深層学習における効率性の問題の提示と動機付けを行い,続いてモデル効率の5つの中核領域を徹底的に調査した。 これは、モデリング技術からハードウェアサポートまで、モデル効率のランドスケープをカバーした、効率的なディープラーニング分野における初めての総合的な調査であると考えています。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Deep Learning has revolutionized the fields of computer vision, natural language understanding, speech recognition, information retrieval and more. However, with the progressive improvements in deep learning models, their number of parameters, latency, resources required to train, etc. have all have increased significantly. Consequently, it has become important to pay attention to these footprint metrics of a model as well, not just its quality. We present and motivate the problem of efficiency in deep learning, followed by a thorough survey of the five core areas of model efficiency (spanning modeling techniques, infrastructure, and hardware) and the seminal work there. We also present an experiment-based guide along with code, for practitioners to optimize their model training and deployment. We believe this is the first comprehensive survey in the efficient deep learning space that covers the landscape of model efficiency from modeling techniques to hardware support. Our hope is that this survey would provide the reader with the mental model and the necessary understanding of the field to apply generic efficiency techniques to immediately get significant improvements, and also equip them with ideas for further research and experimentation to achieve additional gains.
• Abstract（参考訳）: ディープラーニングは、コンピュータビジョン、自然言語理解、音声認識、情報検索などの分野に革命をもたらした。 しかし、ディープラーニングモデルの進歩的な改善、パラメータの数、レイテンシ、トレーニングに必要なリソースなどによって、この傾向は変わります。 すべてが大幅に増加しました その結果、モデルの品質だけでなく、モデルのこれらのフットプリントメトリクスにも注意を払うことが重要になりました。 ディープラーニングにおける効率の問題を提示し,その動機付けとして,モデル効率(スパンニングモデリング技術,インフラストラクチャ,ハードウェア)の5つのコア領域と,そこでのセレントな作業に関する徹底的な調査を行った。 また、実践者がモデルトレーニングとデプロイメントを最適化するために、コードとともに実験ベースのガイドも提示します。 これは、モデリング技術からハードウェアサポートまで、モデル効率の展望をカバーする効率的なディープラーニング分野における、初めての包括的な調査であると考えています。 我々の期待は、この調査が読者にメンタルモデルと分野の理解を提供し、即時に大幅な改善を得るための総合的効率技術を適用し、さらにさらなる研究と実験を行うためのアイデアを提供することである。

関連論文リスト

• On Efficient Language and Vision Assistants for Visually-Situated Natural Language Understanding: What Matters in Reading and Reasoning [33.89483627891117]
  言語と視覚アシスタントの最近の進歩は印象的な能力を示しているが、透明性の欠如に悩まされている。 オープンソースモデルは、一般的なイメージタスクを効果的に処理するが、複雑な視覚的なテキスト理解の高度な計算要求に直面する。 本研究の目的は、キーコンポーネントを特定し、制約付き推論コストで効率的なモデルを作成することにより、視覚言語モデルの設計を再定義することである。
  論文  参考訳（メタデータ） (2024-06-17T17:57:30Z)
• The Efficiency Spectrum of Large Language Models: An Algorithmic Survey [54.19942426544731]
  LLM(Large Language Models)の急速な成長は、様々なドメインを変換する原動力となっている。 本稿では,LLMのエンドツーエンドのアルゴリズム開発に不可欠な多面的効率性について検討する。
  論文  参考訳（メタデータ） (2023-12-01T16:00:25Z)
• Computation-efficient Deep Learning for Computer Vision: A Survey [121.84121397440337]
  ディープラーニングモデルは、さまざまな視覚的知覚タスクにおいて、人間レベルのパフォーマンスに到達または超えた。 ディープラーニングモデルは通常、重要な計算資源を必要とし、現実のシナリオでは非現実的な電力消費、遅延、または二酸化炭素排出量につながる。 新しい研究の焦点は計算効率のよいディープラーニングであり、推論時の計算コストを最小限に抑えつつ、良好な性能を達成することを目指している。
  論文  参考訳（メタデータ） (2023-08-27T03:55:28Z)
• On Efficient Training of Large-Scale Deep Learning Models: A Literature Review [90.87691246153612]
  ディープラーニングの分野は特にコンピュータビジョン(CV)、自然言語処理(NLP)、音声などにおいて大きな進歩を遂げている。 大量のデータに基づいてトレーニングされた大規模なモデルを使用することは、実用的なアプリケーションにとって大きな可能性を秘めている。 計算能力の需要が増大する中で、ディープラーニングモデルの訓練の加速技術に関する包括的な要約が期待されている。
  論文  参考訳（メタデータ） (2023-04-07T11:13:23Z)
• From Actions to Events: A Transfer Learning Approach Using Improved Deep Belief Networks [1.0554048699217669]
  本稿では,エネルギーモデルを用いた行動認識からイベント認識への知識マッピング手法を提案する。 このようなモデルはすべてのフレームを同時に処理し、学習プロセスを通じて空間的および時間的情報を運ぶことができる。
  論文  参考訳（メタデータ） (2022-11-30T14:47:10Z)
• Deep Active Learning for Computer Vision: Past and Future [50.19394935978135]
  AIモデルの開発に欠かせない役割にもかかわらず、アクティブラーニングの研究は他の研究の方向性ほど集中的ではない。 データ自動化の課題に対処し、自動化された機械学習システムに対処することによって、アクティブな学習はAI技術の民主化を促進する。
  論文  参考訳（メタデータ） (2022-11-27T13:07:14Z)
• Deep Learning Training Procedure Augmentations [0.0]
  近年のディープラーニングの進歩は、オブジェクト検出、画像分割、感情分析など、さまざまなタスクのパフォーマンスを大幅に改善している。 これは大きな成果をもたらしたが、その多くは現実世界のアプリケーションでは、ディープラーニングの他の関連する側面は無視され、不明である。 優れた性能を発揮できる一方で、収束速度、最適化ランドスケープ、対向ロバスト性に関する興味深い分析結果も提示する。
  論文  参考訳（メタデータ） (2022-11-25T22:31:11Z)
• Top-KAST: Top-K Always Sparse Training [50.05611544535801]
  トレーニングを通して一定間隔を保存するTop-KASTを提案する。 確立したImageNetベンチマークのトレーニングモデルでは,従来の作業と同等かそれ以上に動作可能であることを示す。 ImageNetの結果に加えて、言語モデリングの分野においても、我々のアプローチを実証しています。
  論文  参考訳（メタデータ） (2021-06-07T11:13:05Z)
• Knowledge Distillation: A Survey [87.51063304509067]
  ディープニューラルネットワークは、特にコンピュータビジョンタスクにおいて、産業と学術の両方で成功している。 リソースが限られているデバイスに、これらの面倒なディープモデルをデプロイすることは難しい。 知識蒸留は、大きな教師モデルから小さな学生モデルを効果的に学習する。
  論文  参考訳（メタデータ） (2020-06-09T21:47:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。