論文の概要: Tandem: Serving Hybrid Linear-Attention GUI Agents on Mobile NPUs

• arxiv url: http://arxiv.org/abs/2610.26660v1
• Date: Mon, 19 Oct 2026 16:18:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-23 02:05:28.017802
• Title: Tandem: Serving Hybrid Linear-Attention GUI Agents on Mobile NPUs
• Title（参考訳）: Tandem: モバイルNPU上でのハイブリッドリニアアテンションGUIエージェントの実現
• Abstract要約: GUIエージェントは、繰り返し画面を読み、次のアクションのモデルを求めることによって、モバイルアプリのタスクを完了します。 モバイルニューラル処理ユニット(NPU)は、ローカル実行を可能にし、画面の内容は携帯電話に保持するが、モデル遅延はアクション毎に蓄積される。 モバイルNPU用のハイブリッドGUIエージェントであるTandemについて紹介する。
• 参考スコア（独自算出の注目度）: 28.53039597612815
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Smartphone GUI agents complete tasks in mobile apps by repeatedly reading the screen and asking a model for the next action. Mobile neural processing units (NPUs) enable local execution, keeping screen contents on the phone, but model latency accumulates with every action. Hybrid linear attention models reduce memory requirements, yet reusing their recurrent state requires checkpoints at the appropriate input positions. Agent requests retain instructions but rewrite recent history, so checkpoint policies designed for chat continuation can miss reusable prefixes. Retaining rollback states for speculative decoding can also move prompt processing off the NPU's matrix unit, adding overhead that outweighs decoding savings on short action outputs. A loaded model can further hold the NPU awake between tasks. We present Tandem, a runtime for hybrid GUI agents on mobile NPUs. Tandem saves recurrent state where consecutive prompts diverge, allowing later requests to reuse previously processed context. It keeps most prefill on the matrix unit and produces rollback states through a short per-token tail. Its verification kernel reads each weight block once for all proposed tokens. Between request bursts, Tandem releases NPU power votes without unloading the model. We implement Tandem in llama.cpp and evaluate it on recorded agent interactions across two Snapdragon generations. On a Snapdragon 8 Elite, Tandem reduces per-step latency by 30% for text-based screen descriptions and 16% for screenshots relative to llama.cpp's fastest NPU configuration, reduces energy per text step by 33%, and lowers standby power with the model loaded from 0.76 to 0.22 W.
• Abstract（参考訳）: スマートフォンのGUIエージェントは、画面を何度も読み、次のアクションのモデルを求めることによって、モバイルアプリのタスクを完了します。 モバイルニューラル処理ユニット(NPU)は、ローカル実行を可能にし、画面の内容は携帯電話に保持するが、モデル遅延はアクション毎に蓄積される。 ハイブリッド線形アテンションモデルはメモリ要求を減らすが、リカレント状態の再利用には適切な入力位置でのチェックポイントが必要である。 エージェントリクエストは命令を保持するが、最近の履歴を書き直すため、チャット継続用に設計されたチェックポイントポリシーは再利用可能なプレフィックスを見逃す可能性がある。 投機的復号化のためのロールバック状態の保持は、NPUの行列ユニットからプロンプト処理を移動させ、短い動作出力に対する復号化のオーバーヘッドを克服する。 ロードされたモデルは、タスク間のNPUの覚醒をさらに保持することができる。 我々はモバイルNPU上のハイブリッドGUIエージェントのランタイムであるTandemを提示する。 Tandemは連続的なプロンプトが発散するリカレント状態を保存し、後続のリクエストが以前処理されたコンテキストを再利用できるようにする。 マトリックスユニットにほとんどのプリフィルを保持し、短いトーケンのテールを通してロールバック状態を生成する。 検証カーネルは、提案されたトークンすべてに対して、各ウェイトブロックを読み取る。 リクエストのバーストの間、TandemはモデルをアンロードすることなくNPUのパワー投票を解放する。 我々はTandemをllama.cppで実装し、2つのSnapdragon世代間で記録されたエージェントインタラクションで評価する。 Snapdragon 8 Eliteでは、テキストベースの画面記述ではステップ毎のレイテンシを30%削減し、ラマ.cppの最速のNPU構成ではスクリーンショットでは16%削減し、テキスト毎のエネルギーを33%削減し、0.76から0.22Wのモデルで待機電力を低減した。

関連論文リスト

• HyCo: Hybrid Drafting for Cost-Efficient Mobile-Cloud Speculative Decoding [16.671140391153298]
  デバイスクラウドの投機的復号化はサーバの計算を減少させるが、小さな言語モデル(SLM)で深いドラフトツリーを成長させるには、モバイルニューラル処理ユニット(NPU)上で繰り返しパスする必要がある。 本稿では,サーバモデルのマルチトークン予測(MTP)ヘッドに深度を割り当て,デバイス上で実行するHyCoと,SLMパスの代替ブランチを提案する。 同じ受け入れルールで、システムごとに3つのSpec-Benchが実行され、SLMのみのドラフト機よりも9.0パーセントの節約率と1.9倍の納入速度を示している。
  論文  参考訳（メタデータ） (2026-10-15T07:45:49Z)
• ixi-sLM: On-Device sLM for AI Call Agent Service [11.198359702129338]
  On-DEVICE MODEling を用いて 1.2B の韓国製 sLM である ixi-sLM を移動式 NPU に導入する。 ドメイン適応モデリングは、埋め込みとLMヘッドを縮小するために、呼び出し周波数によって語彙をトリムする。 単一のドメイン適応モデルがixi-Oの2つのプロダクションサービス、AI Call SummaryとAI Call Answeringを実行する。
  論文  参考訳（メタデータ） (2026-10-14T01:29:08Z)
• Efficient On-Device Diffusion LLM Inference with Mobile NPU [8.218014049394391]
  lladaは、スマートフォン上でdLLMを加速するための最初のNPU対応推論フレームワークである。 エンドツーエンドのフレームワークとしてlladaを実装し、さまざまなハードウェアプラットフォームとdLLMワークロードで評価しています。
  論文  参考訳（メタデータ） (2026-06-11T12:44:57Z)
• Do Language Models Need Sleep? Offline Recurrence for Improved Online Inference [58.46323651532913]
  本研究では,モデルが周期的に最新のコンテキストを持続的な高速重みに変換する睡眠様統合機構について検討する。 睡眠中、モデルは蓄積したコンテキストにN$のオフラインリカレントパスを実行し、状態空間モデルの高速な重みを更新する。 睡眠時間の増加は,より深い推論を必要とする例では最大で,我々のモデルではN$の上昇がパフォーマンスを向上させることを示す。
  論文  参考訳（メタデータ） (2026-05-25T17:55:39Z)
• Test-Time Training Done Right [61.8429380523577]
  テスト時間トレーニング(TTT)モデルは、推論中にモデルの重みの一部を適応させることによってコンテキストをモデル化する。 既存のTT手法は、長文データを扱う上で有効性を示すのに苦労した。 我々は,大規模チャンクテストタイムトレーニング(LaCT)を開発し,ハードウェア利用率を桁違いに向上させる。
  論文  参考訳（メタデータ） (2025-05-29T17:50:34Z)
• POET: Prompt Offset Tuning for Continual Human Action Adaptation [61.63831623094721]
  ユーザと開発者に対して,デバイスモデルに新たなアクションクラスを継続的に追加することで,エクスペリエンスをパーソナライズする機能の提供を目標としています。 我々はこれをプライバシーに配慮した数発の連続的な行動認識として定式化する。 本稿では,新しい時間的学習可能なプロンプトチューニング手法を提案し,グラフニューラルネットワークにこのようなプロンプトチューニングを適用した。
  論文  参考訳（メタデータ） (2025-04-25T04:11:24Z)
• RelayAttention for Efficient Large Language Model Serving with Long System Prompts [59.50256661158862]
  本稿では,長いシステムプロンプトを含むLCMサービスの効率を向上させることを目的とする。 これらのシステムプロンプトの処理には、既存の因果注意アルゴリズムにおいて、大量のメモリアクセスが必要である。 本稿では,DRAMから入力トークンのバッチに対して,DRAMから隠れた状態を正確に1回読み取ることのできるアテンションアルゴリズムであるRelayAttentionを提案する。
  論文  参考訳（メタデータ） (2024-02-22T18:58:28Z)
• Efficient NLP Inference at the Edge via Elastic Pipelining [0.42970700836450487]
  WRXは2つの新しい手法によってレイテンシ/メモリの緊張を緩和する。 We build WRX and evaluation that on a range of NLP tasks, under a practical range of target latencies, on both CPU and GPU。
  論文  参考訳（メタデータ） (2022-07-11T17:15:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。