論文の概要: Improving Proficiency and Efficiency of Android GUI Agents via Self-Generating Tool Actions

• arxiv url: http://arxiv.org/abs/2609.06792v1
• Date: Sun, 06 Sep 2026 19:22:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-10 19:44:08.306576
• Title: Improving Proficiency and Efficiency of Android GUI Agents via Self-Generating Tool Actions
• Title（参考訳）: 自己生成ツールアクションによるAndroid GUIエージェントの熟練度と効率の改善
• Abstract要約: DroidToolは、エージェントを自己生成ツールで拡張するためのフレームワークである。 DroidToolでは、プロポーザル、実装、テスト生成と実行、修復といったステージを特徴とするエージェントワークフローを採用している。
• 参考スコア（独自算出の注目度）: 24.76596973597511
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Android agents using a hybrid action space that combines GUI actions and tool actions (e.g., accessing application data via APIs) remain largely underexplored, mainly due to the excessive effort required to create tools. To address this gap, we introduce DroidTool, a framework for augmenting the agents with self-generated tools, which are realized as Python functions operating on application states (e.g., a database). To create tools with minimal human labor, DroidTool employs an agentic workflow featuring stages: proposal, implementation, test generation and execution, and repair. Notably, when testing the created tools for verification, it constructs relational tests across relevant tools for natural preparation of appropriate test preconditions and improved test coverage, rather than testing each tool separately. The GUI agents augmented with the generated tools achieved approximately 4.47%p higher performance with approximately 20.05% fewer interactions than the GUI-only agents, averaged across representative benchmarks: AndroidWorld, B-MoCA, and MobileSafetyBench.
• Abstract（参考訳）: GUIアクションとツールアクション(例えば、API経由でアプリケーションデータにアクセスする)を組み合わせたハイブリッドアクションスペースを使用するAndroidエージェントは、主にツール作成に必要な過剰な労力のために、ほとんど探索されていない。 このギャップに対処するために、DroidToolを紹介します。DroidToolは、エージェントを自己生成ツールで拡張するフレームワークで、アプリケーション状態(例えばデータベース)で動作するPython関数として実現されます。 人的労力を最小限に抑えるツールを開発するために、DroidToolでは、プロポーザル、実装、テスト生成と実行、修復といったステージを備えたエージェントワークフローを採用している。 特に、作成した検証ツールをテストする際には、各ツールを個別にテストするのではなく、適切なテスト条件の自然な準備とテストカバレッジの改善のために、関連するツール間でリレーショナルテストを構築する。 生成されたツールで強化されたGUIエージェントは、約4.47%のハイパフォーマンスを達成し、GUIのみのエージェントよりも約20.05%少ないインタラクションを実現し、代表ベンチマーク(AndroidWorld、B-MoCA、MobileSafetyBench)で平均化された。

関連論文リスト

• SING: Synthetic Intention Graph for Scalable Active Tool Discovery in LLM Agents [64.59100414726556]
  大規模言語モデル(LLM)エージェントは、コンテキスト、ツール、マルチターン実行を管理するハーネスに依存している。 Retrieval-augmented Tool selectionは、自然な代替手段を提供するが、既存のワンショット検索方法は、独立したツール記述とエージェントの真のタスク意図との整合に失敗する。 我々は、ユーザ意図、ツール機能、ツールコラボレーションパターンをリンクするインテントツーオールグラフを構築する、意図認識型のアクティブツール発見フレームワークであるSINGを提案する。
  論文  参考訳（メタデータ） (2026-06-15T11:37:37Z)
• ToolOmni: Enabling Open-World Tool Use via Agentic learning with Proactive Retrieval and Grounded Execution [49.30293260493709]
  大きな言語モデル(LLM)は、外部ツールを利用することで問題解決能力を高める。 静的埋め込み検索やパラメータ記憶に頼っている既存の手法は、ユーザの意図をツールのセマンティクスに合わせるのに苦労している。 提案するツールOmniは,プロアクティブ検索とグラウンドド実行により,オープンワールドツール利用のためのLLMを実現する統合エージェントフレームワークである。
  論文  参考訳（メタデータ） (2026-04-15T12:26:10Z)
• Learning to Rewrite Tool Descriptions for Reliable LLM-Agent Tool Use [21.666294374943178]
  トレースリッチな設定からトレースフリーなデプロイメントへ監督を移行するカリキュラム学習フレームワークを提案する。 実験では、予期せぬツール、強力なクロスドメインの一般化、そして、候補ツールの数が100を超えるほど堅牢性に一貫した向上が示されている。
  論文  参考訳（メタデータ） (2026-02-23T23:50:24Z)
• AdaReasoner: Dynamic Tool Orchestration for Iterative Visual Reasoning [66.24374176797075]
  textbfAdaReasonerは、ツール固有の、あるいは明示的な教師付き行動ではなく、一般的な推論スキルとしてツールの使用を学ぶマルチモーダルモデルのファミリーである。 AdaReasonerは、(i)スケーラブルなデータキュレーションパイプラインによって、長期にわたる多段階のツールインタラクションにモデルを公開し、(ii)ツール-GRPO、(ii)ツールの選択とシークエンシングをエンドツーエンドの成功に基づいて優先順位付けする強化学習アルゴリズム、(iii)ツールの使用を動的に規制する適応学習メカニズムによって実現されている。
  論文  参考訳（メタデータ） (2026-01-26T16:04:43Z)
• DeepAgent: A General Reasoning Agent with Scalable Toolsets [111.6384541877723]
  DeepAgentは、自律的な思考、ツール発見、アクション実行を実行するエンドツーエンドのディープ推論エージェントである。 長期にわたる相互作用の課題に対処するために,過去の相互作用を構造化エピソード,動作,ツール記憶に圧縮する自律的メモリ折り畳み機構を導入する。 LLMシミュレートされたAPIを活用し、ツール呼び出しトークンにきめ細かいクレジットを割り当てるツールコールアドバンテージ属性を適用した、エンドツーエンドの強化学習戦略であるToolPOを開発した。
  論文  参考訳（メタデータ） (2025-10-24T16:24:01Z)
• TheMCPCompany: Creating General-purpose Agents with Task-specific Tools [12.249551019598442]
  TheMCPCompanyは、様々な現実世界のサービスと対話するタスクにおいて、ツールコールエージェントを評価するためのベンチマークである。 また、各タスクに手動でアノテートされた接地木ツールも提供します。 全体として、我々の研究は、最も高度な推論モデルは、より単純な環境でツールを見つけるのに効果的であるが、複雑なエンタープライズ環境をナビゲートするのに深刻な苦労をしていることを示している。
  論文  参考訳（メタデータ） (2025-10-22T06:42:01Z)
• ToolLibGen: Scalable Automatic Tool Creation and Aggregation for LLM Reasoning [80.10274552177096]
  外部ツールを備えたLarge Language Models (LLM) は、複雑な推論タスクにおけるパフォーマンスの向上を実証している。 このツールに強化された推論が広く採用されるのは、ドメイン固有のツールが不足しているためである。 構造化ツールライブラリに非構造化ツールのコレクションを自動的に組み込むための体系的なアプローチを提案する。
  論文  参考訳（メタデータ） (2025-10-09T04:11:16Z)
• ToolFuzz -- Automated Agent Tool Testing [5.174808367448261]
  ToolFuzzは,(1)ツール実行時のエラーにつながるユーザクエリと,(2)誤ったエージェント応答につながるユーザクエリの2つのタイプのエラーを検出するように設計されている。 ToolFuzzは、プロンプトエンジニアリングのアプローチと比較して、20倍の誤入力を識別する。
  論文  参考訳（メタデータ） (2025-03-06T14:29:52Z)
• LLM Agents Making Agent Tools [2.5529148902034637]
  ツールの使用は、大規模言語モデル(LLM)を、複雑なマルチステップタスクを実行できる強力なエージェントに変えた。 しかし、これらのツールは人間の開発者によって事前に実装されなければならない。 論文をコードで自律的にLLM互換のツールに変換するエージェントフレームワークであるToolMakerを提案する。
  論文  参考訳（メタデータ） (2025-02-17T11:44:11Z)
• AgentStudio: A Toolkit for Building General Virtual Agents [57.02375267926862]
  一般的な仮想エージェントは、マルチモーダルな観察、複雑なアクション空間のマスター、動的でオープンなドメイン環境における自己改善を扱う必要がある。 AgentStudioは、非常に汎用的な観察とアクション空間を備えた軽量でインタラクティブな環境を提供する。 オンラインベンチマークタスクの作成、GUI要素の注釈付け、ビデオ内のアクションのラベル付けといったツールを統合する。 環境とツールに基づいて、GUIインタラクションと関数呼び出しの両方を効率的な自動評価でベンチマークするオンラインタスクスイートをキュレートします。
  論文  参考訳（メタデータ） (2024-03-26T17:54:15Z)
• Autonomous Large Language Model Agents Enabling Intent-Driven Mobile GUI Testing [17.24045904273874]
  そこで我々は,Android用の自動GUIテストエージェントであるDroidAgentを提案する。 これはLarge Language Modelと、長期記憶や短期記憶などのサポートメカニズムに基づいている。 DroidAgentは61%のアクティビティカバレッジを達成したが、現在の最先端のGUIテスト技術では51%だった。
  論文  参考訳（メタデータ） (2023-11-15T01:59:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。