論文の概要: AgBench: Agentic AI Benchmarks for Personal AI Devices
- arxiv url: http://arxiv.org/abs/2609.38652v1
- Date: Tue, 29 Sep 2026 23:18:37 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-01 18:57:26.83401
- Title: AgBench: Agentic AI Benchmarks for Personal AI Devices
- Title（参考訳）: AgBench: パーソナルAIデバイスのためのエージェントAIベンチマーク
- Abstract要約: エージェントAIシステムは、計画、ツールの使用、反復実行のために、クラウドでホストされた大きな言語モデルにますます依存している。
既存のベンチマークは、デバイス、ワークロード、デプロイメントアーキテクチャ間のトレードオフを体系的に特徴付けるには不十分である。
我々は、パーソナルデバイス上でのエージェントAIの再現可能な評価のためのベンチマークスイートとオープンアーティファクトであるAgBenchを紹介する。
- 参考スコア（独自算出の注目度）: 4.187015490920239
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Agentic AI systems increasingly rely on cloud-hosted large language models for planning, tool use, and iterative execution, raising concerns about API cost and data exposure. Advances in personal AI devices enable agents to execute locally, but limited resources on device may affect task success and performance. Existing benchmarks are inadequate for systematically characterizing these trade-offs across devices, workloads, and deployment architectures. We present AgBench, a benchmark suite and open artifacts for reproducible evaluation of agentic AI on personal devices. Using AgBench, we evaluate local, hybrid, and cloud execution across agentic workloads, examining task success, latency, cloud API cost, and data exposure. Our results, drawn from over 162.07 million data points, show that personal AI devices can complete many agent tasks locally, but local-only execution generally has lower task success and longer completion times than cloud-only execution, especially as concurrency increases. Local-only execution eliminates cloud model API costs and sensitive-information exposure to cloud agents. Hybrid execution can improve task success, but its cloud cost and data exposure depend on how agents divide work and share information. No single architecture performs best across task success, goodput, cloud cost, and data exposure; deployment choices should reflect the intended workload and device capabilities. AgBench is available at https://anonymous.4open.science/r/AgBench-2777.
- Abstract（参考訳）: エージェントAIシステムは、計画、ツール使用、反復実行のために、クラウドでホストされた大きな言語モデルにますます依存しているため、APIコストとデータ露出に関する懸念が高まっている。
パーソナルAIデバイスの進歩により、エージェントはローカルで実行されるが、デバイス上の限られたリソースはタスクの成功とパフォーマンスに影響を与える可能性がある。
既存のベンチマークは、デバイス、ワークロード、デプロイメントアーキテクチャ間のトレードオフを体系的に特徴付けるには不十分である。
我々は、パーソナルデバイス上でのエージェントAIの再現可能な評価のためのベンチマークスイートとオープンアーティファクトであるAgBenchを紹介する。
AgBenchを使用して、エージェントワークロード間のローカル、ハイブリッド、クラウド実行を評価し、タスクの成功、レイテンシ、クラウドAPIコスト、データ露出を調べます。
その結果、パーソナルAIデバイスはローカルで多くのエージェントタスクを完了できるが、ローカルのみの実行は一般的に、クラウドのみの実行よりもタスク成功率が低く、完了時間が長くなる。
ローカルのみの実行では、クラウドモデルAPIのコストと、クラウドエージェントへの機密情報公開が不要になる。
ハイブリッド実行はタスクの成功を改善することができるが、そのクラウドコストとデータ露出は、エージェントの作業分割と情報の共有方法に依存する。
ひとつのアーキテクチャがタスクの成功、成果、クラウドコスト、データ露出で最高のパフォーマンスを発揮することはない。
AgBenchはhttps://anonymous.4open.science/r/AgBench-2777で入手できる。
関連論文リスト
- AgentStop: Terminating Local AI Agents Early to Save Energy in Consumer Devices [9.357681245846898]
大規模言語モデル(LLM)は、複雑で多段階的なタスクを自動化するためにますます使われる。
リモートでクラウドベースのエージェントは、プライバシの懸念を高め、ネットワーク接続に依存し、繰り返し発生するAPIコストを発生させる。
我々はAgentStopを紹介した。AgentStopは軽量な効率スーパーバイザで、未成功の軌道を予測し、プリエンプティブに終了する。
論文 参考訳（メタデータ） (2026-05-01T14:45:37Z) - DeepAgent: A General Reasoning Agent with Scalable Toolsets [111.6384541877723]
DeepAgentは、自律的な思考、ツール発見、アクション実行を実行するエンドツーエンドのディープ推論エージェントである。
長期にわたる相互作用の課題に対処するために,過去の相互作用を構造化エピソード,動作,ツール記憶に圧縮する自律的メモリ折り畳み機構を導入する。
LLMシミュレートされたAPIを活用し、ツール呼び出しトークンにきめ細かいクレジットを割り当てるツールコールアドバンテージ属性を適用した、エンドツーエンドの強化学習戦略であるToolPOを開発した。
論文 参考訳（メタデータ） (2025-10-24T16:24:01Z) - AgentDAM: Privacy Leakage Evaluation for Autonomous Web Agents [66.29263282311258]
我々は、AIウェブナビゲーションエージェントがデータ最小化のプライバシー原則に従うかどうかを測定する新しいベンチマークAgentDAMを紹介する。
我々のベンチマークは、現実的なWebインタラクションシナリオをエンドツーエンドでシミュレートし、既存のWebナビゲーションエージェントに適応する。
論文 参考訳（メタデータ） (2025-03-12T19:30:31Z) - A3: Android Agent Arena for Mobile GUI Agents [46.73085454978007]
モバイルGUIエージェントは、モバイルデバイス上で自律的にタスクを実行するように設計されている。
Android Agent Arena (A3)は、現実の、開発中のタスクのパフォーマンスを評価するための、新しい評価プラットフォームである。
A3には、広く使われている21の一般サードパーティアプリと、一般的なユーザシナリオを表す201のタスクが含まれている。
論文 参考訳（メタデータ） (2025-01-02T09:03:56Z) - TheAgentCompany: Benchmarking LLM Agents on Consequential Real World Tasks [55.03911355902567]
我々は、デジタルワーカーと同じような方法で世界と対話するAIエージェントを評価するためのベンチマークであるTheAgentCompanyを紹介する。
最も競争力のあるエージェントは、タスクの30%を自律的に完了させることができる。
これは、実際の職場の設定でLMエージェントをシミュレートすることで、タスク自動化に関する微妙な絵を描く。
論文 参考訳（メタデータ） (2024-12-18T18:55:40Z) - Building AI Agents for Autonomous Clouds: Challenges and Design Principles [17.03870042416836]
AI for IT Operations(AIOps)は、障害のローカライゼーションや根本原因分析といった複雑な運用タスクを自動化することを目的としている。
このビジョンペーパーは、まず要求をフレーミングし、次に設計決定について議論することで、そのようなフレームワークの基礎を定めています。
アプリケーションをオーケストレーションし,カオスエンジニアリングを使用してリアルタイム障害を注入するエージェント-クラウドインターフェースを活用したプロトタイプ実装であるAIOpsLabと,障害のローカライズと解決を行うエージェントとのインターフェースを提案する。
論文 参考訳（メタデータ） (2024-07-16T20:40:43Z) - DUET: A Tuning-Free Device-Cloud Collaborative Parameters Generation Framework for Efficient Device Model Generalization [66.27399823422665]
デバイスモデル一般化(Device Model Generalization, DMG)は、デバイス上での機械学習アプリケーションにおいて、実用的ながら実証されていない研究トピックである。
本稿では,Device-cloUdコラボレーティブパラメトリクスフレームワークDUETを提案する。
論文 参考訳（メタデータ） (2022-09-12T13:26:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。