論文の概要: SchemaWeaver: Accelerating On-Device Mobile Agentic AI via Schema-Guided Parallel LLM Decoding
- arxiv url: http://arxiv.org/abs/2610.17436v1
- Date: Mon, 12 Oct 2026 21:53:20 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-15 21:06:15.461405
- Title: SchemaWeaver: Accelerating On-Device Mobile Agentic AI via Schema-Guided Parallel LLM Decoding
- Title（参考訳）: SchemaWeaver: Schema-Guided Parallel LLMデコーディングによるオンデバイスモバイルエージェントAIの高速化
- Abstract要約: モバイルデバイス上の大きな言語モデル(LLM)は、複雑なタスクを完了させるために外部ソフトウェアツールを呼び出すエージェントとして機能する。
デコードフェーズは、そのような長いレイテンシの主要なコントリビュータであるが、計算能力よりもメモリ帯域幅に縛られているため、モバイルプロセッサではスピードアップが難しい。
私たちは、デコードフェーズでスキーマ誘導並列デコードを実行する、オンデバイスモバイルエージェントAI技術であるWeaverを提示する。
- 参考スコア（独自算出の注目度）: 7.07469976717524
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Large language models (LLMs) on mobile devices can act as agents that call external software tools to complete complex tasks, but the major challenge of supporting on-device mobile agentic AI with LLMs is the long latency of LLM tool calling on mobile devices. In particular, the decode phase is the main contributor of such long latency, but is hard to speed up on mobile processors as it is bound by memory bandwidth rather than compute power. To address this limitation, in this paper we present SchemaWeaver, a new on-device mobile agentic AI technique that enforces schema-guided parallel decoding in the decode phase of LLM tool calling, to reduce its latency by producing multiple tokens in each decode pass. SchemaWeaver can be generically applied to the LLM inference engine on mobile devices without involving any training efforts or changes on LLMs, and our experiment results on major mobile SoCs and LLM families show that SchemaWeaver can reduce the LLM tool calling latency by up to 3.9 times, compared to the competitive baselines.
- Abstract（参考訳）: モバイルデバイス上の大規模言語モデル(LLM)は、複雑なタスクを完了させるために外部ソフトウェアツールを呼び出すエージェントとして機能するが、LLMでデバイス上でモバイルエージェントAIをサポートするという大きな課題は、モバイルデバイス上でのLDMツール呼び出しの長いレイテンシである。
特に、デコードフェーズは、そのような長いレイテンシの主要なコントリビュータであるが、計算能力よりもメモリ帯域幅に縛られているため、モバイルプロセッサではスピードアップが難しい。
本稿では,LLMツール呼び出しのデコードフェーズにおいて,スキーマ誘導並列デコードを適用し,各デコードパスに複数のトークンを生成してレイテンシを低減する,デバイス上での新たなエージェントAI技術であるSchemaWeaverを提案する。
SchemaWeaver はモバイル機器の LLM 推論エンジンに汎用的に適用可能であり,トレーニング作業や LLM の変更を伴わない。
関連論文リスト
- Are We There Yet? A Measurement Study of Efficiency for LLM Applications on Mobile Devices [5.926813659185372]
小型の大規模言語モデル(LLM)は、大きなモデルに比べて品質に制限があるにもかかわらず、強力なモバイルデバイス上で正常に動作することができる。
小型のLDMだけが強力なモバイルデバイス上で正常に動作するが、大型のモデルに比べて品質に制限がある。
論文 参考訳（メタデータ） (2025-03-10T16:27:17Z) - MobiLLM: Enabling LLM Fine-Tuning on the Mobile Device via Server Assisted Side Tuning [45.49178219392948]
モバイルデバイスでの大規模言語モデル(LLM)の微調整は、極めて高いメモリ要求と遅いトレーニング速度のため、大きな課題となる。
サーバ支援サイドチューニングにより,モバイル端末上でメモリ効率の高いトランスフォーマーLEMの微調整を可能にするMobiLLMを提案する。
論文 参考訳（メタデータ） (2025-02-27T07:58:02Z) - WDMoE: Wireless Distributed Mixture of Experts for Large Language Models [68.45482959423323]
大規模言語モデル(LLM)は様々な自然言語処理タスクにおいて大きな成功を収めた。
本稿では,無線ネットワーク上での基地局(BS)およびモバイルデバイスにおけるエッジサーバ間のLLMの協調展開を実現するために,無線分散Mixture of Experts(WDMoE)アーキテクチャを提案する。
論文 参考訳（メタデータ） (2024-11-11T02:48:00Z) - Mobile Edge Intelligence for Large Language Models: A Contemporary Survey [32.22789677882933]
デバイス上の大規模言語モデル(LLM)は、クラウドパラダイムと比較してコスト効率、レイテンシ効率、プライバシ保護がよい。
モバイルエッジインテリジェンス(MEI)は、モバイルネットワークのエッジにAI機能を提供することで、実行可能なソリューションを提供する。
本稿では,LLMのMEI活用に関する現代の調査を紹介する。
論文 参考訳（メタデータ） (2024-07-09T13:47:05Z) - WDMoE: Wireless Distributed Large Language Models with Mixture of Experts [65.57581050707738]
我々は,Mixture of Experts (MoE)に基づく無線分散大言語モデル(LLM)パラダイムを提案する。
我々は,基地局(BS)とモバイルデバイスにゲーティングネットワークと先行するニューラルネットワーク層を配置することにより,LLM内のMoE層を分解する。
我々は、モデルの性能とエンドツーエンドのレイテンシの両方を考慮して、専門家の選択ポリシーを設計する。
論文 参考訳（メタデータ） (2024-05-06T02:55:50Z) - When Large Language Model Agents Meet 6G Networks: Perception,
Grounding, and Alignment [100.58938424441027]
モバイル端末とエッジサーバの協調を利用した6GネットワークにおけるAIエージェントの分割学習システムを提案する。
提案システムでは,LLMのための新しいモデルキャッシングアルゴリズムを導入し,コンテキストにおけるモデル利用を改善する。
論文 参考訳（メタデータ） (2024-01-15T15:20:59Z) - Revolutionizing Mobile Interaction: Enabling a 3 Billion Parameter GPT
LLM on Mobile [0.0]
本稿では, 数十億のパラメータを持つLCMを, ネットワーク接続のないモバイルデバイス上で直接実行できる未来を想定する, LLM推論に対する革新的なアプローチを提案する。
この記事は、30億のパラメータを持つ微調整のGPT LLMを紹介し、4GBのメモリを持つデバイス上でスムーズに動作可能である。
ネイティブコードとモデル量子化技術の統合により、アプリケーションは汎用アシスタントとして機能するだけでなく、テキスト対アクション機能とのシームレスなモバイルインタラクションを促進する。
論文 参考訳（メタデータ） (2023-09-29T16:30:49Z) - LM-Infinite: Zero-Shot Extreme Length Generalization for Large Language Models [83.98062659664785]
大規模言語モデル(LLM)は通常、トランスフォーマーアーキテクチャの2次複雑さのために短いテキストセグメント(例:4Kトークン)でトレーニングする。
この研究は、この長大一般化失敗に寄与する3つの主要な要因を特定する。
本研究では,LLMの長期処理能力を高めるための簡易かつ効果的な手法であるLM-Infiniteを提案する。
論文 参考訳（メタデータ） (2023-08-30T16:47:51Z) - AWQ: Activation-aware Weight Quantization for LLM Compression and Acceleration [54.692405042065815]
LLM低ビット量のみの量子化のためのハードウェアフレンドリーなアプローチであるActivation-Aware Weight Quantization (AWQ)を提案する。
AWQ は 1% の正重みしか保護せず,命令調整型 LM とマルチモーダル LM の量子化性能に優れる。
また,4ビットオンデバイスLLM/VLMに適した,効率的なフレキシブルな推論フレームワークであるTinyChatを実装した。
論文 参考訳（メタデータ） (2023-06-01T17:59:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。