論文の概要: On-Device LLMs for SMEs: Challenges and Opportunities

• arxiv url: http://arxiv.org/abs/2410.16070v2
• Date: Tue, 22 Oct 2024 13:40:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-23 14:30:30.915899
• Title: On-Device LLMs for SMEs: Challenges and Opportunities
• Title（参考訳）: 中小企業向けオンデバイスLCM : 課題と機会
• Authors: Jeremy Stephen Gabriel Yee, Pai Chet Ng, Zhengkui Wang, Ian McLoughlin, Aik Beng Ng, Simon See,
• Abstract要約: 本稿では,中小企業(中小企業)の文脈における大規模言語モデル(LLM)をデバイス上で展開するためのインフラ要件に焦点を当てる。 ハードウェアの観点から、GPUやTPUなどの処理ユニットの利用、効率的なメモリとストレージソリューション、効率的なデプロイメント戦略について議論する。 ソフトウェアの観点から、我々は、フレームワークの互換性、オペレーティングシステムの最適化、リソース制約のある環境に適した特別なライブラリの使用について検討する。
• 参考スコア（独自算出の注目度）: 16.335180583743885
• License:
• Abstract: This paper presents a systematic review of the infrastructure requirements for deploying Large Language Models (LLMs) on-device within the context of small and medium-sized enterprises (SMEs), focusing on both hardware and software perspectives. From the hardware viewpoint, we discuss the utilization of processing units like GPUs and TPUs, efficient memory and storage solutions, and strategies for effective deployment, addressing the challenges of limited computational resources typical in SME settings. From the software perspective, we explore framework compatibility, operating system optimization, and the use of specialized libraries tailored for resource-constrained environments. The review is structured to first identify the unique challenges faced by SMEs in deploying LLMs on-device, followed by an exploration of the opportunities that both hardware innovations and software adaptations offer to overcome these obstacles. Such a structured review provides practical insights, contributing significantly to the community by enhancing the technological resilience of SMEs in integrating LLMs.
• Abstract（参考訳）: 本稿では,中小企業(中小企業)の文脈において,大規模言語モデル(LLM)をデバイス上に展開する上でのインフラ要件を,ハードウェアとソフトウェアの両方の観点から体系的に検討する。 ハードウェアの観点からは、GPUやTPUなどの処理ユニットの利用、効率的なメモリとストレージソリューション、効率的なデプロイメント戦略について論じ、中小企業設定に典型的な限られた計算資源の課題に対処する。 ソフトウェアの観点から、我々は、フレームワークの互換性、オペレーティングシステムの最適化、リソース制約のある環境に適した特別なライブラリの使用について検討する。 レビューは、デバイス上でのLDMの展開において中小企業が直面しているユニークな課題を最初に特定するために構成され、続いて、ハードウェア革新とソフトウェア適応の両方がこれらの障害を克服する機会を探究する。 このような構造化されたレビューは、LCMの統合における中小企業の技術的レジリエンスを高めることによって、コミュニティに大きく貢献する、実践的な洞察を提供する。

関連論文リスト

• Read-ME: Refactorizing LLMs as Router-Decoupled Mixture of Experts with System Co-Design [59.00758127310582]
  本稿では、事前学習された高密度LCMをより小さなMoEモデルに変換する新しいフレームワークRead-MEを提案する。 当社のアプローチでは,専門家の抽出にアクティベーション空間を用いる。 Read-MEは、同様のスケールの他の人気のあるオープンソース高密度モデルよりも優れています。
  論文  参考訳（メタデータ） (2024-10-24T19:48:51Z)
• On-Device Language Models: A Comprehensive Review [26.759861320845467]
  資源制約のあるデバイスに計算コストの高い大規模言語モデルをデプロイする際の課題について検討する。 論文は、デバイス上での言語モデル、その効率的なアーキテクチャ、および最先端の圧縮技術について考察する。 主要モバイルメーカーによるオンデバイス言語モデルのケーススタディは、実世界の応用と潜在的な利益を実証している。
  論文  参考訳（メタデータ） (2024-08-26T03:33:36Z)
• A General-Purpose Device for Interaction with LLMs [3.052172365469752]
  本稿では,大規模言語モデル(LLM)と高度なハードウェアの統合について検討する。 我々は,LLMとの対話性の向上を目的とした汎用デバイスの開発に焦点をあてる。
  論文  参考訳（メタデータ） (2024-08-02T23:43:29Z)
• Efficient Prompting for LLM-based Generative Internet of Things [88.84327500311464]
  大規模言語モデル(LLM)は、様々なタスクにおいて顕著な能力を示しており、最近、IoT(Internet of Things)アプリケーションにLLMの能力を統合することが研究の注目を集めている。 セキュリティ上の懸念から、多くの機関は最先端の商用LLMサービスへのアクセスを避け、ローカルネットワーク環境でのオープンソースLLMのデプロイと利用を必要としている。 本研究では,LLMを用いた生成IoT(Generative IoT)システムを提案する。
  論文  参考訳（メタデータ） (2024-06-14T19:24:00Z)
• MobileAIBench: Benchmarking LLMs and LMMs for On-Device Use Cases [81.70591346986582]
  モバイル端末上でのLarge Language Models(LLM)とLarge Multimodal Models(LMM)を評価するためのベンチマークフレームワークであるMobileAIBenchを紹介する。 MobileAIBenchは、さまざまなサイズ、量子化レベル、タスクにわたるモデルを評価し、実際のデバイス上でのレイテンシとリソース消費を測定する。
  論文  参考訳（メタデータ） (2024-06-12T22:58:12Z)
• LLM Inference Unveiled: Survey and Roofline Model Insights [62.92811060490876]
  大規模言語モデル(LLM)推論は急速に進化しており、機会と課題のユニークなブレンドを提示している。 本調査は, 研究状況を要約するだけでなく, 屋上モデルに基づく枠組みを導入することによって, 従来の文献レビューから際立っている。 このフレームワークは、ハードウェアデバイスにLSMをデプロイする際のボトルネックを特定し、実用上の問題を明確に理解する。
  論文  参考訳（メタデータ） (2024-02-26T07:33:05Z)
• Machine Learning Insides OptVerse AI Solver: Design Principles and Applications [74.67495900436728]
  本稿では,Huawei CloudのOpsVerse AIソルバに機械学習(ML)技術を統合するための総合的研究について述べる。 本稿では,実世界の多面構造を反映した生成モデルを用いて,複雑なSATインスタンスとMILPインスタンスを生成する手法を紹介する。 本稿では,解解器性能を著しく向上させる,最先端パラメータチューニングアルゴリズムの導入について詳述する。
  論文  参考訳（メタデータ） (2024-01-11T15:02:15Z)
• Federated Fine-Tuning of LLMs on the Very Edge: The Good, the Bad, the Ugly [62.473245910234304]
  本稿では,最新のエッジコンピューティングシステムにおいて,Large Language Modelsをどのように導入できるかを,ハードウェア中心のアプローチで検討する。 マイクロレベルのハードウェアベンチマークを行い、FLOPモデルと最先端のデータセンターGPUを比較し、現実的な条件下でのネットワーク利用について検討する。
  論文  参考訳（メタデータ） (2023-10-04T20:27:20Z)
• Chameleon: A Semi-AutoML framework targeting quick and scalable development and deployment of production-ready ML systems for SMEs [0.0]
  半AutoMLフレームワークChameleonの実装と概念について議論する。 Chameleonの目標は、プロダクション対応機械学習システムの高速でスケーラブルな開発とデプロイを中小企業のワークフローに組み込むことだ。
  論文  参考訳（メタデータ） (2021-05-08T10:43:26Z)
• Measuring what Really Matters: Optimizing Neural Networks for TinyML [7.455546102930911]
  ニューラルネットワーク(NN)は、アーキテクチャと計算の複雑さが前例のない成長を遂げた。 NNをリソース制約のあるデバイスに導入することで、コスト効率の高いデプロイメント、広範な可用性、機密データの保存が可能になる。 この作業は、ユビキタスなARM Cortex-Mアーキテクチャに焦点を当てた、機械学習をMCUに持ち込むという課題に対処する。
  論文  参考訳（メタデータ） (2021-04-21T17:14:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。