論文の概要: Lightweight Deep Learning for Resource-Constrained Environments: A Survey

• arxiv url: http://arxiv.org/abs/2404.07236v2
• Date: Fri, 12 Apr 2024 09:34:38 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-15 12:17:41.979007
• Title: Lightweight Deep Learning for Resource-Constrained Environments: A Survey
• Title（参考訳）: 資源制約環境のための軽量ディープラーニング:サーベイ
• Authors: Hou-I Liu, Marco Galindo, Hongxia Xie, Lai-Kuan Wong, Hong-Han Shuai, Yung-Hui Li, Wen-Huang Cheng,
• Abstract要約: ディープラーニングは、自然言語処理、コンピュータビジョン、バイオメディカル信号処理など、人工知能のさまざまな領域で普及している。 これらのモデルを携帯電話やマイクロコントローラなどの軽量デバイスにデプロイすることは、限られたリソースによって制限される。 TinyMLとLarge Language Modelsのデプロイメントテクニックです。
• 参考スコア（独自算出の注目度）: 30.791667683400444
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Over the past decade, the dominance of deep learning has prevailed across various domains of artificial intelligence, including natural language processing, computer vision, and biomedical signal processing. While there have been remarkable improvements in model accuracy, deploying these models on lightweight devices, such as mobile phones and microcontrollers, is constrained by limited resources. In this survey, we provide comprehensive design guidance tailored for these devices, detailing the meticulous design of lightweight models, compression methods, and hardware acceleration strategies. The principal goal of this work is to explore methods and concepts for getting around hardware constraints without compromising the model's accuracy. Additionally, we explore two notable paths for lightweight deep learning in the future: deployment techniques for TinyML and Large Language Models. Although these paths undoubtedly have potential, they also present significant challenges, encouraging research into unexplored areas.
• Abstract（参考訳）: 過去10年間で、ディープラーニングの優位性は、自然言語処理、コンピュータビジョン、バイオメディカル信号処理など、人工知能のさまざまな分野に広まりました。 モデル精度は著しく改善されているが、携帯電話やマイクロコントローラなどの軽量デバイスにこれらのモデルをデプロイすることは、限られたリソースによって制限されている。 本調査では, 軽量モデル, 圧縮方法, ハードウェアアクセラレーション戦略の厳密な設計を詳述する。 この研究の主目的は、モデルの精度を損なうことなく、ハードウェア制約を回避する方法や概念を探ることである。 さらに,TinyMLとLarge Language Modelsのデプロイメントテクニックという,ライトウェイトなディープラーニングのための2つの重要なパスについても検討する。 これらの経路には間違いなく潜在的な可能性があるが、探索されていない領域の研究を奨励する重要な課題も提示している。

関連論文リスト

• A Survey of Small Language Models [104.80308007044634]
  小言語モデル (SLM) は, 計算資源の最小化による言語タスクの効率化と性能の向上により, ますます重要になってきている。 本稿では,SLMのアーキテクチャ,トレーニング技術,モデル圧縮技術に着目した総合的な調査を行う。
  論文  参考訳（メタデータ） (2024-10-25T23:52:28Z)
• On-Device Language Models: A Comprehensive Review [26.759861320845467]
  資源制約のあるデバイスに計算コストの高い大規模言語モデルをデプロイする際の課題について検討する。 論文は、デバイス上での言語モデル、その効率的なアーキテクチャ、および最先端の圧縮技術について考察する。 主要モバイルメーカーによるオンデバイス言語モデルのケーススタディは、実世界の応用と潜在的な利益を実証している。
  論文  参考訳（メタデータ） (2024-08-26T03:33:36Z)
• Fine-Tuning and Deploying Large Language Models Over Edges: Issues and Approaches [64.42735183056062]
  大規模言語モデル(LLM)は、特殊モデルから多目的基礎モデルへと移行してきた。 LLMは印象的なゼロショット能力を示すが、ローカルデータセットとデプロイメントのための重要なリソースを微調整する必要がある。
  論文  参考訳（メタデータ） (2024-08-20T09:42:17Z)
• Comprehensive Study on Performance Evaluation and Optimization of Model Compression: Bridging Traditional Deep Learning and Large Language Models [0.0]
  世界中のコネクテッドデバイスの数の増加は、計算能力の低いローカルデバイスに容易に展開できる圧縮モデルを保証する。 画像分類,オブジェクト検出,言語モデル,生成モデルに基づく問題文に使用される一般的なディープラーニングモデルに対して,量子化とプルーニングの両方を実装した。
  論文  参考訳（メタデータ） (2024-07-22T14:20:53Z)
• Computation-efficient Deep Learning for Computer Vision: A Survey [121.84121397440337]
  ディープラーニングモデルは、さまざまな視覚的知覚タスクにおいて、人間レベルのパフォーマンスに到達または超えた。 ディープラーニングモデルは通常、重要な計算資源を必要とし、現実のシナリオでは非現実的な電力消費、遅延、または二酸化炭素排出量につながる。 新しい研究の焦点は計算効率のよいディープラーニングであり、推論時の計算コストを最小限に抑えつつ、良好な性能を達成することを目指している。
  論文  参考訳（メタデータ） (2023-08-27T03:55:28Z)
• On-device Training: A First Overview on Existing Systems [6.551096686706628]
  リソース制約のあるデバイスにいくつかのモデルをデプロイする努力も行われている。 この研究は、デバイス上でモデルトレーニングを可能にする最先端のシステム研究を要約し、分析することを目的としている。
  論文  参考訳（メタデータ） (2022-12-01T19:22:29Z)
• Design Automation for Fast, Lightweight, and Effective Deep Learning Models: A Survey [53.258091735278875]
  本調査では,エッジコンピューティングを対象としたディープラーニングモデルの設計自動化技術について述べる。 これは、有効性、軽量性、計算コストの観点からモデルの習熟度を定量化するために一般的に使用される主要なメトリクスの概要と比較を提供する。 この調査は、ディープモデル設計自動化技術の最先端の3つのカテゴリをカバーしている。
  論文  参考訳（メタデータ） (2022-08-22T12:12:43Z)
• Ultrasound Signal Processing: From Models to Deep Learning [64.56774869055826]
  医用超音波画像は、信頼性と解釈可能な画像再構成を提供するために、高品質な信号処理に大きく依存している。 データ駆動方式で最適化されたディープラーニングベースの手法が人気を集めている。 比較的新しいパラダイムは、データ駆動型ディープラーニングの活用とドメイン知識の活用という2つのパワーを組み合わせたものだ。
  論文  参考訳（メタデータ） (2022-04-09T13:04:36Z)
• Knowledge Distillation: A Survey [87.51063304509067]
  ディープニューラルネットワークは、特にコンピュータビジョンタスクにおいて、産業と学術の両方で成功している。 リソースが限られているデバイスに、これらの面倒なディープモデルをデプロイすることは難しい。 知識蒸留は、大きな教師モデルから小さな学生モデルを効果的に学習する。
  論文  参考訳（メタデータ） (2020-06-09T21:47:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。