論文の概要: On Device Agentic Operation Caches -- Classifier-Centric NL-to-Action Generation

• arxiv url: http://arxiv.org/abs/2609.33141v1
• Date: Sun, 27 Sep 2026 03:13:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-06 10:06:19.580858
• Title: On Device Agentic Operation Caches -- Classifier-Centric NL-to-Action Generation
• Title（参考訳）: デバイスエージェント操作キャッシュについて -分類器中心のNL-to-Action生成について-
• Abstract要約: 本稿では,NL-to-Action問題を生成問題からオンデバイス動作キャッシュを介して分類中心の定式化に変換する新しい方法を提案する。 従来のNL-to-Formulaタスクでは,ユーザ要求に応じてExcel式を生成するため,クラウドのみのモデルルティングに基づく推論と比較して,全体の推論コストを56%削減する。
• 参考スコア（独自算出の注目度）: 7.095131632612187
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Agentic AI is increasingly being embedded in software applications to provide natural language interfaces to features and functionality. In most cases these agents are powered by enterprise (100+ billion parameter) or frontier class large language models that require substantial computational resources run and depend on cloud hosted inference to handle the task of transforming natural language inputs into actionable software operations. This reliance on cloud-hosted inference introduces substantial network latency on top of LLM inference times, creates data privacy concerns, and, given the costs of running these models, can rapidly escalate expenses associated with supporting agentic features. This paper introduces a novel means of converting the NL-to-Action problem from a generative one into a classification-centric formulation via on-device operation caches. These caches allow an agentic system to handle frequently occurring classes of actions completely on-device -- reducing latency, enhancing privacy, and lowering operational costs. We show that for a classic NL-to-Formula task, generating Excel Formula in response to user requests, this approach reduces total inference cost by 56% when compared to cloud-only model-routing based inference and, on cache hits, reduces the latency to response latency by 5x.
• Abstract（参考訳）: Agentic AIは、機能や機能の自然言語インターフェースを提供するために、ソフトウェアアプリケーションに組み込まれている。 多くの場合、これらのエージェントはエンタープライズ(100億以上のパラメータ)またはフロンティアクラスの大規模言語モデルによって動かされ、実行され、実行可能なソフトウェア操作に自然言語入力を変換するタスクを処理するために、クラウドがホストする推論に依存する。 このクラウドホスト推論への依存は、LLM推論時間上でのネットワーク遅延を大幅に増加させ、データプライバシの懸念を生じさせ、これらのモデルを実行するコストを考えれば、エージェント機能のサポートに関連するコストを急速に増大させる可能性がある。 本稿では,NL-to-Action問題を生成問題からオンデバイス動作キャッシュを介して分類中心の定式化に変換する新しい方法を提案する。 これらのキャッシュによってエージェントシステムは、レイテンシの低減、プライバシの強化、運用コストの削減など、デバイス上で発生頻度の高いアクションのクラスを完全に処理することができる。 従来のNL-to-Formulaタスクでは,ユーザからの要求に応じてExcel式を生成するため,クラウドのみのモデルレイアウトベース推論と比較して,全体の推論コストを56%削減し,キャッシュヒット時には応答遅延を5倍削減する。

関連論文リスト

• Speculative Interaction Agents: Building Real-Time Agents with Asynchronous I/O and Speculative Tool Calling [64.40340291543971]
  我々は,小さなエッジスケールモデルとのリアルタイムインタラクションを実現するための投機的インタラクションエージェントを提案する。 また、ストリーミング入力と非同期応答を処理するためにモデルを適応させるクロックベースのトレーニング手法を提案する。 このアプローチは、Qwen2.5-3B-InstructとLlama-3.2-3B-Instructモデルを複数のツール呼び出しベンチマークで1.6-2.2$times$ Speedupを提供する。
  論文  参考訳（メタデータ） (2026-05-13T11:20:52Z)
• AgentStop: Terminating Local AI Agents Early to Save Energy in Consumer Devices [9.357681245846898]
  大規模言語モデル(LLM)は、複雑で多段階的なタスクを自動化するためにますます使われる。 リモートでクラウドベースのエージェントは、プライバシの懸念を高め、ネットワーク接続に依存し、繰り返し発生するAPIコストを発生させる。 我々はAgentStopを紹介した。AgentStopは軽量な効率スーパーバイザで、未成功の軌道を予測し、プリエンプティブに終了する。
  論文  参考訳（メタデータ） (2026-05-01T14:45:37Z)
• Intelligent Cloud Orchestration: A Hybrid Predictive and Heuristic Framework for Cost Optimization [0.0]
  本稿では,LSTMに基づく予測スケーリングとタスク割り当てを組み合わせたハイブリッドオーケストレーションフレームワークを提案する。 その結果,MLモデルに近いインフラコストを削減できることが示唆された。
  論文  参考訳（メタデータ） (2026-04-02T15:04:24Z)
• ObCLIP: Oblivious CLoud-Device Hybrid Image Generation with Privacy Preservation [9.081441952478306]
  ObCLIPは、不愉快なクラウドデバイスハイブリッド生成のためのプラグアンドプレイセーフガードである。 厳格なプライバシと、サーバコストがわずかに向上したクラウドモデルに匹敵するユーティリティを提供する。
  論文  参考訳（メタデータ） (2025-10-05T11:09:10Z)
• Dynamic Speculative Agent Planning [57.630218933994534]
  大規模な言語モデルベースのエージェントは、遅延の禁止と推論コストのために、重要なデプロイメント課題に直面している。 本稿では,オンライン強化学習フレームワークである動的投機計画(Dynamic Speculative Planning, DSP)を紹介する。 2つの標準エージェントベンチマークの実験では、DSPは高速加速法に匹敵する効率を達成し、総コストを30%削減し、不要コストを60%まで削減している。
  論文  参考訳（メタデータ） (2025-09-02T03:34:36Z)
• Cloud-Device Collaborative Agents for Sequential Recommendation [36.05863003744828]
  大規模言語モデル(LLM)は、強力な意味理解と柔軟な推論機能を備えたエージェントベースのレコメンデーションシステムを実現している。 LLMは強力なパーソナライズを提供するが、プライバシの懸念やリアルタイム信号へのアクセス制限、スケーラビリティのボトルネックに悩まされることが多い。 本稿では,2つのエージェントを駆使したシーケンシャルレコメンデーションのための新しいクラウド・デバイス協調フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-09-01T15:28:11Z)
• CSGO: Generalized Optimization for Cold Start in Wireless Collaborative Edge LLM Systems [62.24576366776727]
  本稿では,全体の推論遅延を最小限に抑えるために,遅延を考慮したスケジューリングフレームワークを提案する。 提案手法は,ベースライン戦略と比較して,コールドスタート遅延を著しく低減することを示す。
  論文  参考訳（メタデータ） (2025-08-15T07:49:22Z)
• Octopus v2: On-device language model for super agent [10.998608318944985]
  本研究は,GPT-4の性能を精度とレイテンシの両方で上回る20億のパラメータを持つデバイスモデルを実現するための新しい手法を提案する。 Llama-7BをRAGベースの関数呼び出し機構で比較すると,レイテンシを35倍に向上する。
  論文  参考訳（メタデータ） (2024-04-02T09:01:32Z)
• SpotServe: Serving Generative Large Language Models on Preemptible Instances [64.18638174004151]
  SpotServeは、プリエンプティブルインスタンスにシステムを提供する最初の分散大規模言語モデルである。 SpotServeは、既存のLLMサービスシステムと比較して、P99テールのレイテンシを2.4～9.1倍削減できることを示す。 また、SpotServeはプリエンプティブインスタンスの価格優位性を利用して、オンデマンドインスタンスのみを使用する場合と比較して54%の金銭的コストを節約できることも示しています。
  論文  参考訳（メタデータ） (2023-11-27T06:31:17Z)
• DUET: A Tuning-Free Device-Cloud Collaborative Parameters Generation Framework for Efficient Device Model Generalization [66.27399823422665]
  デバイスモデル一般化(Device Model Generalization, DMG)は、デバイス上での機械学習アプリケーションにおいて、実用的ながら実証されていない研究トピックである。 本稿では,Device-cloUdコラボレーティブパラメトリクスフレームワークDUETを提案する。
  論文  参考訳（メタデータ） (2022-09-12T13:26:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。