Fugu-MT 論文翻訳(概要): Tiny Machine Learning: Progress and Futures

論文の概要: Tiny Machine Learning: Progress and Futures

arxiv url: http://arxiv.org/abs/2403.19076v2
Date: Fri, 29 Mar 2024 21:33:39 GMT
ステータス: 処理完了
システム内更新日: 2024-04-02 11:22:19.196480
Title: Tiny Machine Learning: Progress and Futures
Title（参考訳）: Tiny Machine Learning: 進歩と未来
Authors: Ji Lin, Ligeng Zhu, Wei-Ming Chen, Wei-Chen Wang, Song Han,
Abstract要約: Tiny Machine Learning (TinyML)は、機械学習の新しいフロンティアである。 TinyMLはハードウェアの制約のために難しい。まず、TinyMLの定義、課題、応用について論じる。
参考スコア（独自算出の注目度）: 24.76599651516217
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Tiny Machine Learning (TinyML) is a new frontier of machine learning. By squeezing deep learning models into billions of IoT devices and microcontrollers (MCUs), we expand the scope of AI applications and enable ubiquitous intelligence. However, TinyML is challenging due to hardware constraints: the tiny memory resource makes it difficult to hold deep learning models designed for cloud and mobile platforms. There is also limited compiler and inference engine support for bare-metal devices. Therefore, we need to co-design the algorithm and system stack to enable TinyML. In this review, we will first discuss the definition, challenges, and applications of TinyML. We then survey the recent progress in TinyML and deep learning on MCUs. Next, we will introduce MCUNet, showing how we can achieve ImageNet-scale AI applications on IoT devices with system-algorithm co-design. We will further extend the solution from inference to training and introduce tiny on-device training techniques. Finally, we present future directions in this area. Today's large model might be tomorrow's tiny model. The scope of TinyML should evolve and adapt over time.
Abstract（参考訳）: Tiny Machine Learning (TinyML)は、機械学習の新しいフロンティアである。ディープラーニングモデルを何十億ものIoTデバイスやマイクロコントローラ(MCU)に絞ることで、AIアプリケーションの範囲を広げ、ユビキタスなインテリジェンスを可能にします。しかし、TinyMLはハードウェアの制約のために難しい。小さなメモリリソースは、クラウドやモバイルプラットフォーム用に設計されたディープラーニングモデルを保持するのを難しくする。また、ベアメタルデバイスに対するコンパイラと推論エンジンのサポートも限定されている。そのため,TinyMLを実現するためにアルゴリズムとシステムスタックを共同設計する必要がある。本稿では、まずTinyMLの定義、課題、応用について論じる。その後、TinyMLの最近の進歩と深層学習をMCUで調査する。次に、MCUNetを紹介し、システム指向の共同設計でIoTデバイス上でImageNetスケールのAIアプリケーションを実現する方法について説明する。推論からトレーニングまで、ソリューションをさらに拡張し、デバイス上での小さなトレーニング技術を導入します。最後に、この領域における今後の方向性を示す。今日の大きなモデルは明日の小さなモデルかもしれません。 TinyMLのスコープは、時間とともに進化し、適応しなければなりません。

関連論文リスト

Understanding Information Storage and Transfer in Multi-modal Large Language Models [51.20840103605018]
本研究では,マルチモーダル大規模言語モデルを用いて,現実的な視覚的質問応答タスクにおいて情報処理を行う方法について検討する。鍵となる発見は、これらのMLLMが情報記憶のためにずっと古いレイヤの自己注意ブロックに依存していることを示している。モデル編集アルゴリズムであるMultEditを導入し、誤りを訂正し、MLLMに新しいロングテール情報を挿入する。
論文参考訳（メタデータ） (2024-06-06T16:35:36Z)
FedYolo: Augmenting Federated Learning with Pretrained Transformers [61.56476056444933]
本研究では,デバイス上での学習目標を達成するための事前学習型トランスフォーマー(PTF)について検討する。大規模化により,代替手法間の精度ギャップが小さくなり,ロバスト性も向上することを示す。最後に、クライアントは単一のPTFを使用して複数の無関係なタスクを同時に解決できる。
論文参考訳（メタデータ） (2023-07-10T21:08:52Z)
nanoLM: an Affordable LLM Pre-training Benchmark via Accurate Loss Prediction across Scales [65.01417261415833]
我々は,最大更新パラメトリゼーション(muP)がスケーリング法則の正確な適合を可能にするという観測に基づいて,事前学習損失を予測する手法を提案する。トレーニング前コストの約14%で、52Bまでのモデルの損失を正確に予測できる。 NanoLMのゴールは、限られた資源を持つ研究者が大きなモデルで有意義な結論に達することを可能にすることです。
論文参考訳（メタデータ） (2023-04-14T00:45:01Z)
TinyReptile: TinyML with Federated Meta-Learning [9.618821589196624]
メタラーニングとオンラインラーニングにインスパイアされた,シンプルだが効率的なアルゴリズムであるTinyReptileを提案する。 Raspberry Pi 4とCortex-M4 MCUで256KBのRAMでTinyReptileをデモした。
論文参考訳（メタデータ） (2023-04-11T13:11:10Z)
A review of TinyML [0.0]
TinyMLの組み込み機械学習の概念は、このような多様性を、通常のハイエンドアプローチからローエンドアプリケーションへと押し上げようとしている。 TinyMLは、機械学習、ソフトウェア、ハードウェアの統合において、急速に拡大する学際的なトピックである。本稿では,TinyMLがいくつかの産業分野,その障害,その将来的な範囲にどのようなメリットをもたらすのかを考察する。
論文参考訳（メタデータ） (2022-11-05T06:02:08Z)
Tiny Robot Learning: Challenges and Directions for Machine Learning in Resource-Constrained Robots [57.27442333662654]
機械学習(ML)は、コンピュータシステムにまたがる普及したツールとなっている。ティニー・ロボット・ラーニング(Tiny Robot Learning)とは、リソースに制約された低コストの自律ロボットにMLを配置する手法である。小型ロボット学習は、サイズ、重量、面積、パワー(SWAP)の制約によって困難にさらされる。本稿では,小型ロボットの学習空間を簡潔に調査し,重要な課題を詳述し,MLシステム設計における将来的な仕事の機会を提案する。
論文参考訳（メタデータ） (2022-05-11T19:36:15Z)
How to Manage Tiny Machine Learning at Scale: An Industrial Perspective [5.384059021764428]
TinyML(TinyML)は、ユビキタスマイクロコントローラ上で機械学習(ML)が民主化され、広く普及している。 TinyMLモデルは異なる構造で開発されており、その動作原理を明確に理解せずに配布されることが多い。本稿では,TinyMLモデルとIoTデバイスを大規模に管理するためのセマンティックWeb技術を用いたフレームワークを提案する。
論文参考訳（メタデータ） (2022-02-18T10:36:11Z)
A TinyML Platform for On-Device Continual Learning with Quantized Latent Replays [66.62377866022221]
Latent Replay-based Continual Learning (CL)技術は、原則としてオンライン、サーバレスの適応を可能にする。 10コアのFP32対応並列超低消費電力プロセッサをベースとした,エンドツーエンドCLのためのHW/SWプラットフォームを提案する。これらの手法を組み合わせることで,64MB未満のメモリを用いて連続学習を実現することができることを示す。
論文参考訳（メタデータ） (2021-10-20T11:01:23Z)
Widening Access to Applied Machine Learning with TinyML [1.1678513163359947]
我々は,Tiny Machine Learning (TinyML)上で,大規模なオープンオンラインコース (MOOC) を通じて応用機械学習 (ML) へのアクセスを増やすための教育的アプローチについて述べる。この目的のために、学界(ハーバード大学)と産業(Google)の協力により、TinyMLを使ってソリューションを開発するためのアプリケーション指向の指導を提供する4つのMOOCが作成された。このシリーズは、edX MOOCプラットフォームで公開されており、基本的なプログラミング以上の前提条件がなく、世界中のさまざまなバックグラウンドから学習者向けに設計されている。
論文参考訳（メタデータ） (2021-06-07T23:31:47Z)
TinyOL: TinyML with Online-Learning on Microcontrollers [7.172671995820974]
TinyML(Tiny Machine Learning)は、汎用マイクロコントローラ(MCU)のディープラーニングの民主化に取り組んでいます。現在のTinyMLソリューションはバッチ/オフライン設定に基づいており、MCU上のニューラルネットワークの推論のみをサポートする。本稿では、ストリーミングデータ上でインクリメンタルなオンデバイストレーニングを可能にするtinyml(tinyml with online-learning)という新しいシステムを提案する。
論文参考訳（メタデータ） (2021-03-15T11:39:41Z)
MCUNet: Tiny Deep Learning on IoT Devices [62.752899523628066]
効率的なニューラルネットワーク(TinyNAS)と軽量推論エンジン(TinyEngine)を共同で設計するフレームワークを提案する。 TinyNASは、まず検索空間を最適化してリソース制約に適合させ、次に最適化された検索空間におけるネットワークアーキテクチャを専門化する、2段階のニューラルネットワーク検索アプローチを採用している。 TinyEngineは、階層的に最適化するのではなく、全体的なネットワークトポロジに従ってメモリスケジューリングを適応し、メモリ使用量を4.8倍削減する。
論文参考訳（メタデータ） (2020-07-20T17:59:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。