論文の概要: Revolutionizing Mobile Interaction: Enabling a 3 Billion Parameter GPT LLM on Mobile

• arxiv url: http://arxiv.org/abs/2310.01434v1
• Date: Fri, 29 Sep 2023 16:30:49 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-04 19:57:06.207102
• Title: Revolutionizing Mobile Interaction: Enabling a 3 Billion Parameter GPT LLM on Mobile
• Title（参考訳）: モバイルインタラクションの革命:モバイル上で30億のパラメータGPT LLMを実現する
• Authors: Samuel Carreira, Tom\'as Marques, Jos\'e Ribeiro, Carlos Grilo
• Abstract要約: 本稿では, 数十億のパラメータを持つLCMを, ネットワーク接続のないモバイルデバイス上で直接実行できる未来を想定する, LLM推論に対する革新的なアプローチを提案する。 この記事は、30億のパラメータを持つ微調整のGPT LLMを紹介し、4GBのメモリを持つデバイス上でスムーズに動作可能である。 ネイティブコードとモデル量子化技術の統合により、アプリケーションは汎用アシスタントとして機能するだけでなく、テキスト対アクション機能とのシームレスなモバイルインタラクションを促進する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The field of Artificial Intelligence has witnessed remarkable progress in recent years, especially with the emergence of powerful large language models (LLMs) based on the transformer architecture. Cloud-based LLMs, such as OpenAI's ChatGPT, offer impressive capabilities but come with concerns regarding latency and privacy due to network dependencies. This article presents an innovative approach to LLM inference, envisioning a future where LLMs with billions of parameters can be executed directly on mobile devices without network connectivity. The article showcases a fine-tuned GPT LLM with 3 billion parameters that can operate smoothly on devices with as low as 4GB of memory. Through the integration of native code and model quantization techniques, the application not only serves as a general-purpose assistant but also facilitates seamless mobile interactions with text-to-actions features. The article provides insights into the training pipeline, implementation details, test results, and future directions of on-device LLM inference. This breakthrough technology opens up possibilities for empowering users with sophisticated AI capabilities while preserving their privacy and eliminating latency concerns.
• Abstract（参考訳）: 人工知能の分野は近年顕著な進歩を遂げており、特にトランスフォーマーアーキテクチャに基づく強力な大規模言語モデル(LLM)が出現している。 OpenAIのChatGPTのようなクラウドベースのLLMは、素晴らしい機能を提供するが、ネットワーク依存によるレイテンシとプライバシに関する懸念が伴う。 本稿では,数十億のパラメータを持つllmが,ネットワーク接続を伴わずにモバイルデバイス上で直接実行できる未来を想定した,llm推論に対する革新的なアプローチを提案する。 この記事は、30億のパラメータを持つ微調整のGPT LLMを紹介し、4GBのメモリを持つデバイス上でスムーズに動作可能である。 ネイティブコードとモデル量子化技術の統合により、アプリケーションは汎用アシスタントとして機能するだけでなく、テキスト対アクション機能とのシームレスなモバイルインタラクションを促進する。 この記事では、トレーニングパイプライン、実装の詳細、テスト結果、デバイス上のllm推論の今後の方向性に関する洞察を提供する。 この画期的な技術は、プライバシを守りながらレイテンシの心配をなくしながら、高度なai能力をユーザに提供する可能性を開く。

関連論文リスト

• MiniCPM-V: A GPT-4V Level MLLM on Your Phone [83.10007643273521]
  MiniCPM-Vは、エンドサイドデバイスにデプロイ可能な効率的なMLLMのシリーズである。 アーキテクチャ、事前トレーニング、アライメントに最新のMLLM技術を統合することで、MiniCPM-V 2.5にはいくつかの注目すべき特徴がある。 MiniCPM-V は有望な傾向の代表的な例と見なすことができる。
  論文  参考訳（メタデータ） (2024-08-03T15:02:21Z)
• Mobile Edge Intelligence for Large Language Models: A Contemporary Survey [32.22789677882933]
  モバイルエッジインテリジェンス(MEI)は、クラウドコンピューティングに対するプライバシとレイテンシを改善した、モバイルネットワークのエッジ内のAI機能を提供する。 MEIはデバイス上のAIとクラウドベースのAIの間に位置し、無線通信とエンドユーザよりも強力なコンピューティングリソースを備えている。 本稿では,LLMのMEI活用に関する現代の調査を紹介する。
  論文  参考訳（メタデータ） (2024-07-09T13:47:05Z)
• Generative AI-in-the-loop: Integrating LLMs and GPTs into the Next Generation Networks [11.509880721677156]
  大規模言語モデル(LLM)が最近登場し、認知タスクにおけるほぼ人間レベルのパフォーマンスを実証している。 次世代AI-in-the-loop」の概念を提案する。 LLMとMLモデルを組み合わせることで、それぞれの能力を活用し、どちらのモデルよりも優れた結果が得られると考えています。
  論文  参考訳（メタデータ） (2024-06-06T17:25:07Z)
• Large Language Model (LLM) for Telecommunications: A Comprehensive Survey on Principles, Key Techniques, and Opportunities [36.711166825551715]
  大規模言語モデル(LLM)は、その優れた理解力と推論能力により、最近かなりの注目を集めている。 本研究は,LLM対応通信網の概要を概観することを目的としている。
  論文  参考訳（メタデータ） (2024-05-17T14:46:13Z)
• Using Large Language Models to Understand Telecom Standards [35.343893798039765]
  大きな言語モデル(LLM)は、関連する情報へのより高速なアクセスを提供する。 質問応答(QA)アシスタントとして使用される最先端のLCMの性能を評価する。 その結果,LLMはテレコム技術文書の信頼できる参照ツールとして利用できることがわかった。
  論文  参考訳（メタデータ） (2024-04-02T09:54:51Z)
• When Large Language Model Agents Meet 6G Networks: Perception, Grounding, and Alignment [100.58938424441027]
  モバイル端末とエッジサーバの協調を利用した6GネットワークにおけるAIエージェントの分割学習システムを提案する。 提案システムでは,LLMのための新しいモデルキャッシングアルゴリズムを導入し,コンテキストにおけるモデル利用を改善する。
  論文  参考訳（メタデータ） (2024-01-15T15:20:59Z)
• Self-Play Fine-Tuning Converts Weak Language Models to Strong Language Models [52.98743860365194]
  本稿では,SPIN(Self-Play fIne-tuNing)と呼ばれるファインチューニング手法を提案する。 SPINの中心には自己再生機構があり、LLMは自身のインスタンスと対戦することでその能力を洗練させる。 このことは、自己プレイの約束に光を当て、熟練した相手を必要とせずに、LSMにおける人間レベルのパフォーマンスの達成を可能にする。
  論文  参考訳（メタデータ） (2024-01-02T18:53:13Z)
• Video Understanding with Large Language Models: A Survey [97.29126722004949]
  言語・マルチモーダルタスクにおける大規模言語モデル(LLM)の顕著な機能を考えると,近年の映像理解の進歩について概観する。 Vid-LLMの創発的能力は驚くほど進歩しており、特にオープンな多粒性推論能力がある。 本調査は,Vid-LLMのタスク,データセット,ベンチマーク,評価方法論に関する総合的研究である。
  論文  参考訳（メタデータ） (2023-12-29T01:56:17Z)
• Federated Full-Parameter Tuning of Billion-Sized Language Models with Communication Cost under 18 Kilobytes [53.4856038354195]
  事前訓練された大規模言語モデル(LLM)は、自然言語命令に対する応答性を改善するために微調整が必要である。 FedKSeedは、ランダムシードの有限セットによるゼロ階最適化を採用している。 サーバとクライアント間の通信要求を大幅に減らし、ランダムなシードをわずかに減らします。
  論文  参考訳（メタデータ） (2023-12-11T13:03:21Z)
• Confidant: Customizing Transformer-based LLMs via Collaborative Edge Training [18.526329975259483]
  トランスフォーマーベースの大規模言語モデル(LLM)は、様々な自然言語処理(NLP)タスクにおいて印象的な機能を示している。 コンピューティング、メモリ、エネルギー予算に制限のあるモバイルエッジデバイスにLSMをデプロイし、微調整することは困難である。 我々は,コモディティモバイルデバイス上での最先端のLCMをカスタマイズするためのマルチバックエンド協調学習フレームワークであるConfidantを提案する。
  論文  参考訳（メタデータ） (2023-11-22T13:20:59Z)
• Federated Fine-Tuning of LLMs on the Very Edge: The Good, the Bad, the Ugly [62.473245910234304]
  本稿では,最新のエッジコンピューティングシステムにおいて,Large Language Modelsをどのように導入できるかを,ハードウェア中心のアプローチで検討する。 マイクロレベルのハードウェアベンチマークを行い、FLOPモデルと最先端のデータセンターGPUを比較し、現実的な条件下でのネットワーク利用について検討する。
  論文  参考訳（メタデータ） (2023-10-04T20:27:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。