論文の概要: SPIEval: Evaluating Large Language Models as Mobile Assistants over Scattered Personal Information
- arxiv url: http://arxiv.org/abs/2608.10692v1
- Date: Tue, 11 Aug 2026 09:14:53 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-12 19:14:45.973016
- Title: SPIEval: Evaluating Large Language Models as Mobile Assistants over Scattered Personal Information
- Title（参考訳）: SPIEval: 散乱した個人情報によるモバイルアシスタントとしての大規模言語モデルの評価
- Abstract要約: 大規模言語モデル(LLM)のベンチマークであるSPIEvalを紹介する。
SPIEvalは、10のアプリに分散された4,335の個人レコードにまたがる250のタスクで構成され、21のツールによるマルチターンインタラクションをサポートする。
最高のパフォーマンスモデルであるGPT-5.5(xhigh)は57.3%の精度しか達成せず、最も弱いモデルは16.4%である。
- 参考スコア（独自算出の注目度）: 61.41881137371855
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large language models (LLMs) are increasingly deployed as mobile assistants, where a key challenge is leveraging personal information scattered across multiple applications (apps) to complete user instructions. However, due to the lack of dedicated benchmarks, their capabilities remain poorly understood. To address this gap, we introduce SPIEval, a human-curated benchmark grounded in five cognitive capabilities (i.e., reasoning, disambiguation, integration, preference inference, and multi-intent decomposition). SPIEval comprises 250 tasks spanning 4,335 personal records distributed across 10 apps and supports multi-turn interaction through 21 tools. Analysis shows that the benchmark exhibits diverse scenarios, challenging tasks, scattered information, controllable environments, and verifiable outcomes. We evaluate nine representative LLMs and find substantial room for improvement. The best-performing model, GPT-5.5 (xhigh), achieves only 57.3% accuracy, while the weakest achieves just 16.4%. Further analysis reveals that 79% of failures stem from inaccurate information localization, as LLMs often commit to plausible but incorrect information instead of continuing retrieval for verification. We also find that fewer than 2% of retrieval actions employ advanced search methods and observe substantial variation in search efficiency across models. These findings expose fundamental limitations of current LLM-based mobile assistants and motivate future research in this direction. Data and code are available at https://huggingface.co/datasets/Junjie-Ye/SPIEval.
- Abstract（参考訳）: 大規模言語モデル(LLM)はモバイルアシスタントとしてますます普及しており、複数のアプリケーション(アプリ)に分散した個人情報を活用してユーザ指示を完了させることが大きな課題となっている。
しかし、専用のベンチマークが欠如しているため、その能力はあまり理解されていない。
このギャップに対処するために、私たちは5つの認知能力(推論、曖昧さ、統合、嗜好推論、マルチインテリジェント分解)を基盤とした人為的なベンチマークであるSPIEvalを紹介します。
SPIEvalは、10のアプリに分散された4,335の個人レコードにまたがる250のタスクで構成され、21のツールによるマルチターンインタラクションをサポートする。
分析によると、ベンチマークはさまざまなシナリオ、挑戦的なタスク、散在する情報、制御可能な環境、検証可能な結果を示す。
9つの代表的なLCMを評価し,改善の余地を見いだした。
最高のパフォーマンスモデルであるGPT-5.5(xhigh)は57.3%の精度しか達成せず、最も弱いモデルは16.4%である。
さらなる分析では、失敗の79%は不正確な情報のローカライゼーションによるものであることが判明している。
また、検索行動の2%未満が高度な探索手法を採用し、モデル間での探索効率のかなりの変動を観測していることがわかった。
これらの知見は、現在のLCMベースのモバイルアシスタントの基本的限界を明らかにし、今後の研究をこの方向に動機付けている。
データとコードはhttps://huggingface.co/datasets/Junjie-Ye/SPIEval.comで入手できる。
関連論文リスト
- GISA: A Benchmark for General Information-Seeking Assistant [102.30831921333755]
GISAは汎用情報検索アシスタントのベンチマークであり、373の人為的なクエリで構成されている。
深い推論と広範囲な情報集約を統合タスクに統合し、暗記に抵抗するために定期的に更新された回答を含むライブサブセットを含む。
主要なLCMと商用検索製品の実験では、最高のパフォーマンスモデルでさえ19.30%の正確なマッチスコアしか達成していないことが示されている。
論文 参考訳（メタデータ） (2026-02-09T11:44:15Z) - Operationalizing Data Minimization for Privacy-Preserving LLM Prompting [10.031739933859622]
消費者アプリケーションにおける大規模言語モデル(LLM)は、個人情報の頻繁な交換につながっている。
データ最小化を正式に定義し,運用するフレームワークを提案する。
オープンエンドの会話と知識集約的なタスクにまたがる4つのデータセット上で,このフレームワークを評価する。
論文 参考訳（メタデータ） (2025-10-04T04:20:18Z) - Out of Style: RAG's Fragility to Linguistic Variation [29.59506089890902]
ユーザクエリは言語的なバリエーションが大きく、依存するRAGコンポーネント間のカスケードエラーを引き起こす可能性がある。
我々は,4つの言語的次元(形式性,可読性,丁寧性,文法的正しさ)がRAG性能に与える影響を分析する。
論文 参考訳（メタデータ） (2025-04-11T03:30:26Z) - AskToAct: Enhancing LLMs Tool Use via Self-Correcting Clarification [25.27444694706659]
AskToActは、クエリとツールの実行ソリューションの間の構造的マッピングを利用する。
クエリから重要なパラメータを体系的に取り除き,それらを根拠として保持することにより,高品質なトレーニングデータの自動構築を可能にする。
我々のフレームワークは、異なるモデルアーキテクチャにわたって堅牢なパフォーマンスを示し、追加のトレーニングなしで完全に見えないAPIに一般化することに成功しています。
論文 参考訳（メタデータ） (2025-03-03T12:55:49Z) - A RAG-Based Institutional Assistant [0.1499944454332829]
我々は,サンパウロ大学に特化されたRAGベースの仮想アシスタントの設計と評価を行った。
最適レトリバーモデルではトップ5の精度が30%,最も有効な生成モデルでは22.04%,真理回答では22.04%のスコアが得られた。
論文 参考訳（メタデータ） (2025-01-23T17:54:19Z) - DSBench: How Far Are Data Science Agents from Becoming Data Science Experts? [58.330879414174476]
現実的なタスクでデータサイエンスエージェントを評価するためのベンチマークであるDSBenchを紹介する。
このベンチマークには、466のデータ分析タスクと、EloquenceとKaggleのコンペからソースされた74のデータモデリングタスクが含まれている。
現状のLLM, LVLM, エージェントを評価したところ, 最高のエージェントはデータ解析タスクの34.12%しか解決できず, RPG(Relative Performance Gap)は34.74%であった。
論文 参考訳（メタデータ） (2024-09-12T02:08:00Z) - DiscoveryBench: Towards Data-Driven Discovery with Large Language Models [50.36636396660163]
我々は、データ駆動探索の多段階プロセスを形式化する最初の包括的なベンチマークであるDiscoveryBenchを紹介する。
我々のベンチマークには、社会学や工学などの6つの分野にまたがる264のタスクが含まれている。
私たちのベンチマークでは、自律的なデータ駆動型発見の課題を説明し、コミュニティが前進するための貴重なリソースとして役立ちます。
論文 参考訳（メタデータ） (2024-07-01T18:58:22Z) - Zero-shot Retrieval: Augmenting Pre-trained Models with Search Engines [83.65380507372483]
大規模で事前訓練されたモデルは、問題を解決するのに必要なタスク固有のデータの量を劇的に削減するが、多くの場合、ドメイン固有のニュアンスを箱から取り出すのに失敗する。
本稿では,NLPとマルチモーダル学習の最近の進歩を活用して,検索エンジン検索による事前学習モデルを強化する方法について述べる。
論文 参考訳（メタデータ） (2023-11-29T05:33:28Z) - Stance Detection Benchmark: How Robust Is Your Stance Detection? [65.91772010586605]
Stance Detection (StD) は、あるトピックやクレームに対する著者の姿勢を検出することを目的としている。
マルチデータセット学習環境において、さまざまなドメインの10のStDデータセットから学習するStDベンチマークを導入する。
このベンチマーク設定では、5つのデータセットに新しい最先端結果を表示することができます。
論文 参考訳（メタデータ） (2020-01-06T13:37:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。