論文の概要: Mobile Foundation Model as Firmware

• arxiv url: http://arxiv.org/abs/2308.14363v3
• Date: Tue, 12 Mar 2024 02:17:03 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-13 16:27:22.393202
• Title: Mobile Foundation Model as Firmware
• Title（参考訳）: ファームウェアとしてのモバイルファウンデーションモデル
• Authors: Jinliang Yuan, Chen Yang, Dongqi Cai, Shihe Wang, Xin Yuan, Zeling Zhang, Xiang Li, Dingge Zhang, Hanzi Mei, Xianqing Jia, Shangguang Wang, Mengwei Xu
• Abstract要約: sysはモバイルOSとハードウェアの協調管理アプローチである。 公開されているLarge Language Models (LLM) のキュレートされた選択と、動的データフローの促進を両立させる。 タスクの85%で精度を同等にし、ストレージとメモリのスケーラビリティを改善し、十分な推論速度を提供する。
• 参考スコア（独自算出の注目度）: 13.225478051091763
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In today's landscape, smartphones have evolved into hubs for hosting a multitude of deep learning models aimed at local execution. A key realization driving this work is the notable fragmentation among these models, characterized by varied architectures, operators, and implementations. This fragmentation imposes a significant burden on the comprehensive optimization of hardware, system settings, and algorithms. Buoyed by the recent strides in large foundation models, this work introduces a pioneering paradigm for mobile AI: a collaborative management approach between the mobile OS and hardware, overseeing a foundational model capable of serving a broad spectrum of mobile AI tasks, if not all. This foundational model resides within the NPU and remains impervious to app or OS revisions, akin to firmware. Concurrently, each app contributes a concise, offline fine-tuned "adapter" tailored to distinct downstream tasks. From this concept emerges a concrete instantiation known as \sys. It amalgamates a curated selection of publicly available Large Language Models (LLMs) and facilitates dynamic data flow. This concept's viability is substantiated through the creation of an exhaustive benchmark encompassing 38 mobile AI tasks spanning 50 datasets, including domains such as Computer Vision (CV), Natural Language Processing (NLP), audio, sensing, and multimodal inputs. Spanning this benchmark, \sys unveils its impressive performance. It attains accuracy parity in 85\% of tasks, demonstrates improved scalability in terms of storage and memory, and offers satisfactory inference speed on Commercial Off-The-Shelf (COTS) mobile devices fortified with NPU support. This stands in stark contrast to task-specific models tailored for individual applications.
• Abstract（参考訳）: 今日の状況では、スマートフォンはローカル実行を目的とした多数のディープラーニングモデルをホストするハブへと進化してきた。 この研究の鍵となる実現は、様々なアーキテクチャ、演算子、実装によって特徴づけられるこれらのモデルの中で注目すべき断片化である。 この断片化は、ハードウェア、システム設定、アルゴリズムの包括的な最適化に多大な負担を課す。 モバイルOSとハードウェアの協調管理アプローチであり、すべてではないとしても、モバイルAIタスクの幅広い範囲で機能する基本モデルを監督する。 この基礎モデルはNPU内に存在し、ファームウェアと同様、アプリやOSのリビジョンには不必要である。 同時に、各アプリは、異なる下流タスクに合わせて、簡潔でオフラインで調整された"アダプタ"を提供する。 この概念から、asysとして知られる具体的なインスタンス化が生まれる。 公開されているLarge Language Models (LLMs) のキュレートされた選択と、ダイナミックなデータフローを容易にする。 この概念の有効性は、コンピュータビジョン(cv)、自然言語処理(nlp)、オーディオ、センシング、マルチモーダル入力などを含む50のデータセットにまたがる38のモバイルaiタスクをカバーする、徹底したベンチマークの作成によって証明される。 このベンチマークで、Shasysは素晴らしいパフォーマンスを披露した。 タスクの85倍の精度で正確性を実現し、ストレージとメモリのスケーラビリティの向上を実証し、NPUサポートで強化された商用オフ・ザ・シェルフ(COTS)モバイルデバイスで十分な推論速度を提供する。 これは、個々のアプリケーションに適したタスク固有のモデルとは対照的である。

関連論文リスト

• Task-Oriented Real-time Visual Inference for IoVT Systems: A Co-design Framework of Neural Networks and Edge Deployment [61.20689382879937]
  タスク指向エッジコンピューティングは、データ分析をエッジにシフトすることで、この問題に対処する。 既存の手法は、高いモデル性能と低いリソース消費のバランスをとるのに苦労している。 ニューラルネットワークアーキテクチャを最適化する新しい協調設計フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-10-29T19:02:54Z)
• CAS-ViT: Convolutional Additive Self-attention Vision Transformers for Efficient Mobile Applications [59.193626019860226]
  ビジョントランスフォーマー(ViT)は、トークンミキサーの強力なグローバルコンテキスト能力によって、ニューラルネットワークの革命的な進歩を示す。 CAS-ViT: Convolutional Additive Self-attention Vision Transformersを紹介する。 我々はCAS-ViTが他の最先端のバックボーンと比較して競争力を発揮することを示す。
  論文  参考訳（メタデータ） (2024-08-07T11:33:46Z)
• MobileAIBench: Benchmarking LLMs and LMMs for On-Device Use Cases [81.70591346986582]
  モバイル端末上でのLarge Language Models(LLM)とLarge Multimodal Models(LMM)を評価するためのベンチマークフレームワークであるMobileAIBenchを紹介する。 MobileAIBenchは、さまざまなサイズ、量子化レベル、タスクにわたるモデルを評価し、実際のデバイス上でのレイテンシとリソース消費を測定する。
  論文  参考訳（メタデータ） (2024-06-12T22:58:12Z)
• Boosting Continual Learning of Vision-Language Models via Mixture-of-Experts Adapters [65.15700861265432]
  本稿では,視覚言語モデルを用いた漸進的学習における長期的忘れを緩和するパラメータ効率の連続学習フレームワークを提案する。 提案手法では,Mixture-of-Experts (MoE)アダプタの統合により,事前学習したCLIPモデルの動的拡張を行う。 視覚言語モデルのゼロショット認識能力を維持するために,分布判別オートセレクタを提案する。
  論文  参考訳（メタデータ） (2024-03-18T08:00:23Z)
• Orchestration of Emulator Assisted Mobile Edge Tuning for AI Foundation Models: A Multi-Agent Deep Reinforcement Learning Approach [10.47302625959368]
  我々は,モバイルエッジコンピューティングと基礎モデルを統合した画期的なパラダイムを提示する。 私たちのアプローチの中心はイノベーティブなEmulator-Adapterアーキテクチャであり、基礎モデルを2つの凝集モジュールに分割する。 本稿では,分散環境におけるEmulator-Adapter構造のニーズに合わせて微調整された高度なリソース割り当て機構を提案する。
  論文  参考訳（メタデータ） (2023-10-26T15:47:51Z)
• Energy-efficient Task Adaptation for NLP Edge Inference Leveraging Heterogeneous Memory Architectures [68.91874045918112]
  Adapter-ALBERTは、様々なタスクにわたる最大データ再利用のための効率的なモデル最適化である。 検証されたNLPエッジアクセラレータ上でシミュレーションを行うことにより、モデルを不均一なオンチップメモリアーキテクチャにマッピングする利点を実証する。
  論文  参考訳（メタデータ） (2023-03-25T14:40:59Z)
• eP-ALM: Efficient Perceptual Augmentation of Language Models [70.47962271121389]
  本稿では,既存モデルの適応性を向上するための直接的な取り組みを提案し,認識を伴う言語モデルの拡張を提案する。 視覚言語タスクに事前訓練されたモデルを適用するための既存のアプローチは、その効率を妨げているいくつかの重要なコンポーネントに依存している。 総パラメータの99%以上を凍結し,1つの直線射影層のみをトレーニングし,1つのトレーニング可能なトークンのみを予測することにより,我々のアプローチ(eP-ALM)は,VQAとCaptioningの他のベースラインよりも有意に優れていることを示す。
  論文  参考訳（メタデータ） (2023-03-20T19:20:34Z)
• SeaFormer++: Squeeze-enhanced Axial Transformer for Mobile Visual Recognition [29.522565659389183]
  本研究では,モバイル視覚認識のための圧縮強化軸変換器 (SeaFormer) を提案する。 モバイルフレンドリーなライバルとTransformerベースのライバルに勝って、パフォーマンスが良く、レイテンシも低い。
  論文  参考訳（メタデータ） (2023-01-30T18:34:16Z)
• Searching for Efficient Neural Architectures for On-Device ML on Edge TPUs [10.680700357879601]
  ニューラルアーキテクチャサーチ(NAS)は、オンデバイスMLアクセラレーターによって提供される高い計算スループットを効率的に活用するために救助される。 既存のNASフレームワークには、複数のタスクと異なるターゲットプラットフォームへのスケーリングにおいて、いくつかの実用的な制限がある。 i)モデルコスト評価、探索空間設計、および様々なデバイス上でのMLタスクを迅速にターゲットするアルゴリズムと、(ii)グループ畳み込みに基づく逆ボトルネック(IBN)による探索空間を分離するニューラルネットワークアーキテクチャ。
  論文  参考訳（メタデータ） (2022-04-09T00:35:19Z)
• Smart at what cost? Characterising Mobile Deep Neural Networks in the wild [16.684419342012674]
  本稿では,野生におけるDeep Neural Network (DNN) の使用状況に関する総合的研究を行う。 われわれはGoogle Play Storeで最も人気のあるアプリの16万以上を分析している。 モバイルデプロイメントのコアコスト次元として,モデルのエネルギーフットプリントを測定します。
  論文  参考訳（メタデータ） (2021-09-28T18:09:29Z)
• Real-time Monocular Depth Estimation with Sparse Supervision on Mobile [2.5425323889482336]
  近年、モバイルデバイスの普及に伴い、正確かつモバイルフレンドリーな深度モデルの重要性が高まっている。 キーとなる設計選択と研究によって、既存のアーキテクチャでさえ非常に競争力のあるパフォーマンスを達成できることが示されています。 モデルのバージョンは1Mパラメータを持つDIWで0.1208W、モバイルGPUで44FPSに達する。
  論文  参考訳（メタデータ） (2021-05-25T16:33:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。