論文の概要: Agent-X: Full Pipeline Acceleration of On-device AI Agents
- arxiv url: http://arxiv.org/abs/2605.10380v1
- Date: Mon, 11 May 2026 11:23:38 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-12 23:28:50.763057
- Title: Agent-X: Full Pipeline Acceleration of On-device AI Agents
- Title（参考訳）: Agent-X: オンデバイスAIエージェントの完全なパイプライン高速化
- Authors: Jinha Chung, Byeongjun Shin, Jiin Kim, Minsoo Rhu,
- Abstract要約: LLMベースのエージェントは、タスク間で最先端のパフォーマンスを提供するが、エッジデバイス上では高いエンドツーエンドレイテンシを発生させる。
我々は、デバイス上のエージェントワークロードのプリフィルとデコードの両方を高速化する、ソフトウェアのみの精度保存フレームワークであるAgent-Xを紹介する。
- 参考スコア（独自算出の注目度）: 3.125320161154482
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: LLM-based agents deliver state-of-the-art performance across tasks but incur high end-to-end latency on edge devices. We introduce Agent-X, a software-only, accuracy-preserving framework that accelerates both the prefill and decode stages of on-device agent workloads. Agent-X's two key components rewrite prompts to leverage prefix caching tailored to agent-specific input-token patterns and enable LLM-free speculative decoding for fast token generation with minimal overhead. On representative agentic workloads, Agent-X achieves a 1.61x end-to-end speedup in real systems with no accuracy loss and can be seamlessly integrated into existing on-device AI agents. To the best of our knowledge, ours is the first to systematically characterize and eliminate latency bottlenecks in on-device agents.
- Abstract（参考訳）: LLMベースのエージェントは、タスク間で最先端のパフォーマンスを提供するが、エッジデバイス上では高いエンドツーエンドレイテンシを発生させる。
我々は、デバイス上のエージェントワークロードのプリフィルとデコードの両方を高速化する、ソフトウェアのみの精度保存フレームワークであるAgent-Xを紹介する。
Agent-Xの2つのキーコンポーネントの書き直しプロンプトは、エージェント固有の入力トークンパターンに調整されたプレフィックスキャッシュを活用し、最小限のオーバーヘッドで高速トークン生成のためのLSMのない投機的デコードを可能にする。
代表的なエージェントワークロードでは、Agent-Xは、正確さを損なわず、既存のデバイス上のAIエージェントにシームレスに統合可能な、実際のシステムで1.61倍のエンドツーエンドのスピードアップを達成する。
私たちの知る限りでは、オンデバイスエージェントのレイテンシボトルネックを体系的に特徴付け、排除したのは、当社が初めてです。
関連論文リスト
- OTora: A Unified Red Teaming Framework for Reasoning-Level Denial-of-Service in LLM Agents [21.836018755837085]
OToraは、Reasoning-Level Denial-of-Service攻撃をインスタンス化するフレームワークである。
OToraはICL誘導遺伝子探索によってエージェント認識推論ペイロードを生成する。
トークンの推論とマグニチュードの遅延の遅延ダウンで最大10倍増加する。
論文 参考訳（メタデータ） (2026-05-09T10:55:11Z) - Towards Efficient Agents: A Co-Design of Inference Architecture and System [66.59916327634639]
本稿では,エージェントアクセラレーションのための統合フレームワークであるAgentInferを提案する。
問題をAgentCollab、AgentSched、AgentSAM、AgentCompressの4つの相乗的コンポーネントに分解する。
BrowseComp-zhとDeepDiverベンチマークの実験では、これらの手法の相乗的コラボレーションを通じて、AgentInferは非効率なトークン消費を50%以上削減することを示した。
論文 参考訳（メタデータ） (2025-12-20T12:06:13Z) - Efficient Mixture-of-Agents Serving via Tree-Structured Routing, Adaptive Pruning, and Dependency-Aware Prefill-Decode Overlap [15.352230356342366]
混合エージェント(MoA)推論は、密度の高いエージェント間通信と低いハードウェア利用に悩まされる。
本稿では,アルゴリズム・システムの共同設計を通じて,これらのボトルネックをターゲットとしたサービス設計を提案する。
論文 参考訳（メタデータ） (2025-12-19T23:06:58Z) - Speculative Actions: A Lossless Framework for Faster Agentic Systems [6.708126506152481]
AIエージェントの実行は遅く、トレーニングや評価、デプロイメントを妨げていることが多い。
マイクロプロセッサにおける投機的実行に着想を得て,より高速なモデルを用いて潜在的行動を予測するフレームワークを提案する。
我々は,このフレームワークを3つのエージェント環境 – ゲーム,eコマース,Web検索,オペレーティングシステム環境のための"ロッキー"拡張 – で評価する。
論文 参考訳（メタデータ） (2025-10-05T21:28:11Z) - Agent.xpu: Efficient Scheduling of Agentic LLM Workloads on Heterogeneous SoC [11.82567747365518]
本稿では,メモリ統一ヘテロジニアス SOC 上でのエージェント LLM ワークロードの効率的なサービスシステムである Agent.xpu について紹介する。
Agent.xpuは専用のオフラインプロファイリングにより、アフィニティ誘導弾性加速器マッピングのためにモデルカーネルを融合・チャンクする異種実行グラフを最初に構築した。
実行時に、そのオンラインスケジューラは、粒度の細かいカーネルレベルのプリエンプションを可能にし、リアクティブタスクの応答性を保証する。
論文 参考訳（メタデータ） (2025-06-30T16:50:48Z) - AgentVigil: Generic Black-Box Red-teaming for Indirect Prompt Injection against LLM Agents [54.29555239363013]
本稿では,間接的なインジェクション脆弱性を自動的に検出し,悪用するための汎用的なブラックボックスファジリングフレームワークであるAgentVigilを提案する。
我々はAgentVigilをAgentDojoとVWA-advの2つの公開ベンチマークで評価し、o3-miniとGPT-4oに基づくエージェントに対して71%と70%の成功率を達成した。
攻撃を現実世界の環境に適用し、悪質なサイトを含む任意のURLに誘導するエージェントをうまく誘導する。
論文 参考訳（メタデータ） (2025-05-09T07:40:17Z) - EcoAgent: An Efficient Edge-Cloud Collaborative Multi-Agent Framework for Mobile Automation [36.08217588070538]
マルチモーダル(multimodal)な大規模言語モデル((M)LLM)をベースとするクラウドベースのモバイルエージェントは、強力な推論能力を提供するが、レイテンシとコストに悩まされる。
textbfEdge-textbfCloud ctextbfOllaborative multi-agent framework for mobile automation。
EcoAgentはクラウドベースの計画エージェントとエッジベースの2つのエージェント – アクション実行のための実行エージェントと結果を検証する監視エージェント – のクローズドループコラボレーションを特徴としている。
論文 参考訳（メタデータ） (2025-05-08T17:31:20Z) - Agent-as-a-Judge: Evaluate Agents with Agents [61.33974108405561]
本稿ではエージェント・アズ・ア・ジャッジ(Agent-as-a-Judge)フレームワークを紹介し,エージェント・システムを用いてエージェント・システムの評価を行う。
これはLLM-as-a-Judgeフレームワークの有機的拡張であり、タスク解決プロセス全体の中間フィードバックを可能にするエージェント的特徴を取り入れている。
55のリアルな自動化AI開発タスクのベンチマークであるDevAIを紹介します。
論文 参考訳（メタデータ） (2024-10-14T17:57:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。