論文の概要: Act2Intention: A Benchmark For Developing Active Mobile Agents Through Inferring User Intention from GUI Actions
- arxiv url: http://arxiv.org/abs/2608.14132v1
- Date: Fri, 14 Aug 2026 09:36:59 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-17 20:14:29.34067
- Title: Act2Intention: A Benchmark For Developing Active Mobile Agents Through Inferring User Intention from GUI Actions
- Title（参考訳）: Act2Intention: GUIアクションからユーザ意図を推測してアクティブなモバイルエージェントを開発するベンチマーク
- Abstract要約: 本稿では,ユーザ意図の理解,予測,意思決定を統合し,アクティブなモバイルエージェントを構築するAct2Intentionフレームワークを提案する。
Act2Intention Benchはデータ収集と検証された生成によって構築され、72,511の意図と52のアプリにわたる70,000以上のアクションで構成されています。
実験の結果、Act2Intention Benchの監督された微調整により、+32.0 Acc-S、+10.25 Acc-S、+6.9 SSRの絶対的な改善が得られた。
- 参考スコア（独自算出の注目度）: 18.497151729519267
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Mobile GUI Agents powered by multimodal large language models (MLLMs) show promise in human-computer intelligence. However, current research primarily focuses on reactive task execution while lacking a comprehensive understanding-prediction-execution process for user intentions, which are the core requirements of active agents. In this paper, we propose the Act2Intention framework that builds an active mobile agent by integrating understanding, predicting user intentions, and executing decisions. First, we construct the Act2Intention Bench through data collection and validated generation, comprising 72,511 intentions and over 700,000 actions across 52 apps, thereby establishing the first benchmark for evaluating proactive agents via continuous intention-action trajectories. We further develop the Act2Intention Agent, achieving proactive services through Proactive-oriented Intention Understanding, Personalized Proactive Intention Prediction, and Experience-guided Intention Execution. Experimental results show that supervised fine-tuning on Act2Intention Bench yields absolute improvements of +32.0 Acc-S, +10.25 Acc-S, and +6.9 SSR points over non-fine-tuned counterparts under the same agent framework for intention understanding, prediction, and execution, respectively. This success underscores the necessity and value of the Act2Intention Bench, which establishes a standardized platform for developing and evaluating proactive agents and consequently paves the way for research on intention-driven human-computer interaction.
- Abstract（参考訳）: マルチモーダル大言語モデル(MLLM)を利用したモバイルGUIエージェントは、人間のコンピュータインテリジェンスにおいて有望であることを示す。
しかしながら、現在の研究では、アクティブエージェントのコア要件である、ユーザの意図に対する包括的な理解・予測・実行プロセスが欠如しながら、リアクティブなタスク実行に重点を置いている。
本稿では,ユーザの意図を理解し,予測し,意思決定を行うことにより,アクティブなモバイルエージェントを構築するAct2Intentionフレームワークを提案する。
まず,72,511件の意図と,52アプリにわたる70,000件以上のアクションを含むデータ収集と検証された生成を通じて,Act2Intention Benchを構築する。
我々はさらにアクト2意図エージェントを開発し、プロアクティブ指向のインテンション理解、パーソナライズされたアクティブインテンション予測、体験誘導インテンション実行を通じてプロアクティブなサービスを実現する。
Act2Intention Benchの教師付き微調整により、意図的理解、予測、実行のための同一のエージェント・フレームワークの下で、+32.0 Acc-S、+10.25 Acc-S、+6.9 SSRポイントの絶対的な改善が得られた。
この成功は、プロアクティブエージェントの開発と評価のための標準化されたプラットフォームを確立するAct2Intention Benchの必要性と価値を浮き彫りにした。
関連論文リスト
- From Profiling to Synthesis: Benchmarking Implicit Behavioral Alignment in Personalized LLM Agents [56.187590188698955]
大規模言語モデルは、ますます有能な自律エージェントを可能にしてきたが、そのようなエージェントを実用的に有効にするためには、パーソナライズが不可欠である。
最近のベンチマークではエージェントのパーソナライゼーションの評価が始まっているが、それらは主に静的な選好スナップショット、固定されたインタラクションログ、あるいは事前に定義されたユーザプロファイルに対する質問応答に依存している。
縦断的相互作用履歴から構築した暗黙的行動アライメントのベンチマークであるIBA-Benchを紹介する。
IBA-Agentは、広範囲な検索と軌道レベルのアライメントを通じて競合する優先順位を調整するエージェントフレームワークである。
論文 参考訳（メタデータ） (2026-08-03T12:52:04Z) - VitaBench 2.0: Evaluating Personalized and Proactive Agents in Long-Term User Interactions [63.13827503828231]
我々は、長期ユーザーインタラクションにおけるパーソナライズされたプロアクティブなエージェント動作を評価するためのベンチマークであるVitaBench 2.0を紹介する。
結果は、最先端のモデルでさえ、現実世界のパーソナライゼーションは非常に困難であることを示している。
論文 参考訳（メタデータ） (2026-05-26T15:07:38Z) - ProactiveMobile: A Comprehensive Benchmark for Boosting Proactive Intelligence on Mobile Devices [17.39388308538324]
本稿では,プロアクティブなモバイルエージェント開発のためのベンチマークであるProactiveMobileを紹介する。
プロアクティブタスクは、デバイス上のコンテキスト信号の4次元にわたる潜在ユーザ意図を推測するものとして形式化されている。
このベンチマークは成功率19.15%で、実験ではo1 (15.71%) と GPT-5 (7.39%) を上回っている。
論文 参考訳（メタデータ） (2026-02-25T12:32:37Z) - Pushing Forward Pareto Frontiers of Proactive Agents with Behavioral Agentic Optimization [61.641777037967366]
プロアクティブな大規模言語モデル(LLM)エージェントは、複数のターンで積極的に計画し、クエリし、相互作用することを目的としている。
エージェント強化学習(RL)は、マルチターン環境でエージェントを訓練するための有望なソリューションとして登場した。
本稿では,行動強化と情報収集能力の強化を両立させたエージェントRLフレームワークであるBAOを提案する。
論文 参考訳（メタデータ） (2026-02-11T20:40:43Z) - ProAct: A Benchmark and Multimodal Framework for Structure-Aware Proactive Response [20.913342340957904]
ProAct-75は、さまざまなドメインにわたるプロアクティブエージェントのトレーニングと評価のために設計されたベンチマークである。
我々のデータセットは、明示的なタスクグラフに富んだ91,581のステップレベルのアノテーションを備えている。
MLLM(Multimodal Large Language Model)を用いた参照ベースラインであるProAct-Helperを提案する。
論文 参考訳（メタデータ） (2026-02-03T11:52:19Z) - PersonalAlign: Hierarchical Implicit Intent Alignment for Personalized GUI Agent with Long-Term User-Centric Records [67.68348568175718]
パーソナライズされたGUIエージェント(PersonalAlign)の階層的意図的アライメントに注目した。
PersonalAlignは、曖昧な指示で省略された好みを解決するために、長期的なユーザレコードを永続的なコンテキストとして活用する必要がある。
GPT-5, Qwen3-VL, UI-TARSなどのGUIエージェントをAndroidIntent上で評価する。
論文 参考訳（メタデータ） (2026-01-14T17:12:48Z) - Proactive Agent: Shifting LLM Agents from Reactive Responses to Active Assistance [95.03771007780976]
我々は、人間の指示なしにタスクを予測および開始できるプロアクティブエージェントを開発するという課題に取り組む。
まず,実世界の人的活動を収集し,前向きなタスク予測を生成する。
これらの予測は、ヒトのアノテータによって受け入れられるか拒否されるかのどちらかとしてラベル付けされる。
ラベル付きデータは、人間の判断をシミュレートする報酬モデルをトレーニングするために使用される。
論文 参考訳（メタデータ） (2024-10-16T08:24:09Z) - Tell Me More! Towards Implicit User Intention Understanding of Language
Model Driven Agents [110.25679611755962]
現在の言語モデル駆動エージェントは、しばしば効果的なユーザ参加のメカニズムを欠いている。
Intention-in-Interaction (IN3) は明示的なクエリを通してユーザの暗黙の意図を検査するための新しいベンチマークである。
私たちは、タスクの曖昧さを積極的に評価し、ユーザの意図を問う強力なモデルであるMistral-Interactを経験的に訓練し、それらを実行可能な目標へと洗練させます。
論文 参考訳（メタデータ） (2024-02-14T14:36:30Z) - MobileAgent: enhancing mobile control via human-machine interaction and
SOP integration [0.0]
大規模言語モデル(LLM)は、ユーザのためのモバイルデバイス操作を自動化できるようになった。
パーソナライズされたユーザデータに関するプライバシー上の懸念は、モバイル操作中に発生し、ユーザ確認が必要になる。
エージェントと人間間の対話的なタスクを設計し、機密情報を識別し、パーソナライズされたユーザニーズに合わせる。
提案手法は,複数ステップのタスクにまたがる30Kのユニークな命令を含む新しいデバイス制御ベンチマークであるAitWで評価される。
論文 参考訳（メタデータ） (2024-01-04T03:44:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。