論文の概要: Lightweight Deep Learning for Resource-Constrained Environments: A Survey

• arxiv url: http://arxiv.org/abs/2404.07236v1
• Date: Mon, 8 Apr 2024 08:50:09 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-12 17:46:48.895485
• Title: Lightweight Deep Learning for Resource-Constrained Environments: A Survey
• Title（参考訳）: 資源制約環境のための軽量ディープラーニング:サーベイ
• Authors: Hou-I Liu, Marco Galindo, Hongxia Xie, Lai-Kuan Wong, Hong-Han Shuai, Yung-Yui Li, Wen-Huang Cheng,
• Abstract要約: ディープラーニングは、自然言語処理、コンピュータビジョン、バイオメディカル信号処理など、人工知能のさまざまな領域で普及している。 これらのモデルを携帯電話やマイクロコントローラなどの軽量デバイスにデプロイすることは、限られたリソースによって制限される。 TinyMLとLarge Language Modelsのデプロイメントテクニックです。
• 参考スコア（独自算出の注目度）: 29.76976772998413
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Over the past decade, the dominance of deep learning has prevailed across various domains of artificial intelligence, including natural language processing, computer vision, and biomedical signal processing. While there have been remarkable improvements in model accuracy, deploying these models on lightweight devices, such as mobile phones and microcontrollers, is constrained by limited resources. In this survey, we provide comprehensive design guidance tailored for these devices, detailing the meticulous design of lightweight models, compression methods, and hardware acceleration strategies. The principal goal of this work is to explore methods and concepts for getting around hardware constraints without compromising the model's accuracy. Additionally, we explore two notable paths for lightweight deep learning in the future: deployment techniques for TinyML and Large Language Models. Although these paths undoubtedly have potential, they also present significant challenges, encouraging research into unexplored areas.
• Abstract（参考訳）: 過去10年間で、ディープラーニングの優位性は、自然言語処理、コンピュータビジョン、バイオメディカル信号処理など、人工知能のさまざまな分野に広まりました。 モデル精度は著しく改善されているが、携帯電話やマイクロコントローラなどの軽量デバイスにこれらのモデルをデプロイすることは、限られたリソースによって制限されている。 本調査では, 軽量モデル, 圧縮方法, ハードウェアアクセラレーション戦略の厳密な設計を詳述する。 この研究の主目的は、モデルの精度を損なうことなく、ハードウェア制約を回避する方法や概念を探ることである。 さらに,TinyMLとLarge Language Modelsのデプロイメントテクニックという,ライトウェイトなディープラーニングのための2つの重要なパスについても検討する。 これらの経路には間違いなく潜在的な可能性があるが、探索されていない領域の研究を奨励する重要な課題も提示している。

関連論文リスト

• On Accelerating Edge AI: Optimizing Resource-Constrained Environments [1.7355861031903428]
  リソース制約のあるエッジデプロイメントでは、厳格な計算、メモリ、エネルギー制限とハイパフォーマンスのバランスをとるAIソリューションが要求される。 本稿では,このような制約下でのディープラーニングモデルを加速するための主要な戦略について概観する。
  論文  参考訳（メタデータ） (2025-01-25T01:37:03Z)
• Low-Rank Adapters Meet Neural Architecture Search for LLM Compression [1.8434042562191815]
  LLM(Large Language Models)の急速な拡張は、微調整と展開に必要な計算資源に関して重大な課題を提起している。 低ランクアダプタの最近の進歩は、これらのモデルのパラメータ効率のよい微調整(PEFT)において有効であることを示した。 本稿では,低ランク表現をニューラルアーキテクチャサーチ(NAS)技術と相乗化するための革新的なアプローチを包括的に論じる。
  論文  参考訳（メタデータ） (2025-01-23T02:14:08Z)
• Lightweight Design and Optimization methods for DCNNs: Progress and Futures [40.96453902709292]
  深層畳み込みニューラルネットワーク(DCNN)はコンピュータビジョンタスクにおいて優れた性能を示した。 高い計算コストと大規模なネットワークアーキテクチャは、リソース制約のあるハードウェアプラットフォーム上でのDCNNの広範な適用を著しく制限する。 本稿では,DCNNの軽量設計戦略を概観し,軽量設計とモデル圧縮の両面での最近の研究動向について考察する。
  論文  参考訳（メタデータ） (2024-12-22T06:47:01Z)
• Darkit: A User-Friendly Software Toolkit for Spiking Large Language Model [50.37090759139591]
  大規模言語モデル(LLM)は、数十億のパラメータからなる様々な実践的応用に広く応用されている。 人間の脳は、生物工学的なスパイキング機構を使って、エネルギー消費を大幅に削減しながら、同じ仕事をこなすことができる。 私たちはDarwinKit(Darkit)という名のソフトウェアツールキットをリリースし、脳にインスパイアされた大きな言語モデルの採用を加速しています。
  論文  参考訳（メタデータ） (2024-12-20T07:50:08Z)
• A Survey of Small Language Models [104.80308007044634]
  小言語モデル (SLM) は, 計算資源の最小化による言語タスクの効率化と性能の向上により, ますます重要になってきている。 本稿では,SLMのアーキテクチャ,トレーニング技術,モデル圧縮技術に着目した総合的な調査を行う。
  論文  参考訳（メタデータ） (2024-10-25T23:52:28Z)
• On-Device Language Models: A Comprehensive Review [26.759861320845467]
  資源制約のあるデバイスに計算コストの高い大規模言語モデルをデプロイする際の課題について検討する。 論文は、デバイス上での言語モデル、その効率的なアーキテクチャ、および最先端の圧縮技術について考察する。 主要モバイルメーカーによるオンデバイス言語モデルのケーススタディは、実世界の応用と潜在的な利益を実証している。
  論文  参考訳（メタデータ） (2024-08-26T03:33:36Z)
• Computation-efficient Deep Learning for Computer Vision: A Survey [121.84121397440337]
  ディープラーニングモデルは、さまざまな視覚的知覚タスクにおいて、人間レベルのパフォーマンスに到達または超えた。 ディープラーニングモデルは通常、重要な計算資源を必要とし、現実のシナリオでは非現実的な電力消費、遅延、または二酸化炭素排出量につながる。 新しい研究の焦点は計算効率のよいディープラーニングであり、推論時の計算コストを最小限に抑えつつ、良好な性能を達成することを目指している。
  論文  参考訳（メタデータ） (2023-08-27T03:55:28Z)
• Design Automation for Fast, Lightweight, and Effective Deep Learning Models: A Survey [53.258091735278875]
  本調査では,エッジコンピューティングを対象としたディープラーニングモデルの設計自動化技術について述べる。 これは、有効性、軽量性、計算コストの観点からモデルの習熟度を定量化するために一般的に使用される主要なメトリクスの概要と比較を提供する。 この調査は、ディープモデル設計自動化技術の最先端の3つのカテゴリをカバーしている。
  論文  参考訳（メタデータ） (2022-08-22T12:12:43Z)
• Ultrasound Signal Processing: From Models to Deep Learning [64.56774869055826]
  医用超音波画像は、信頼性と解釈可能な画像再構成を提供するために、高品質な信号処理に大きく依存している。 データ駆動方式で最適化されたディープラーニングベースの手法が人気を集めている。 比較的新しいパラダイムは、データ駆動型ディープラーニングの活用とドメイン知識の活用という2つのパワーを組み合わせたものだ。
  論文  参考訳（メタデータ） (2022-04-09T13:04:36Z)
• Knowledge Distillation: A Survey [87.51063304509067]
  ディープニューラルネットワークは、特にコンピュータビジョンタスクにおいて、産業と学術の両方で成功している。 リソースが限られているデバイスに、これらの面倒なディープモデルをデプロイすることは難しい。 知識蒸留は、大きな教師モデルから小さな学生モデルを効果的に学習する。
  論文  参考訳（メタデータ） (2020-06-09T21:47:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。