論文の概要: Dynamic Planning for LLM-based Graphical User Interface Automation

• arxiv url: http://arxiv.org/abs/2410.00467v2
• Date: Tue, 22 Oct 2024 10:47:13 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-05 05:27:01.770768
• Title: Dynamic Planning for LLM-based Graphical User Interface Automation
• Title（参考訳）: LLMを用いたグラフィカルユーザインタフェース自動化のための動的計画法
• Authors: Shaoqing Zhang, Zhuosheng Zhang, Kehai Chen, Xinbei Ma, Muyun Yang, Tiejun Zhao, Min Zhang,
• Abstract要約: LLMベースのGUIエージェントのための動的思考計画(D-PoT)と呼ばれる新しいアプローチを提案する。 D-PoTは環境フィードバックと実行履歴に基づいて計画の動的調整を行う。 実験の結果、提案されたD-PoTは強いGPT-4Vベースラインを+12.7%上回った。
• 参考スコア（独自算出の注目度）: 48.31532014795368
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: The advent of large language models (LLMs) has spurred considerable interest in advancing autonomous LLMs-based agents, particularly in intriguing applications within smartphone graphical user interfaces (GUIs). When presented with a task goal, these agents typically emulate human actions within a GUI environment until the task is completed. However, a key challenge lies in devising effective plans to guide action prediction in GUI tasks, though planning have been widely recognized as effective for decomposing complex tasks into a series of steps. Specifically, given the dynamic nature of environmental GUIs following action execution, it is crucial to dynamically adapt plans based on environmental feedback and action history.We show that the widely-used ReAct approach fails due to the excessively long historical dialogues. To address this challenge, we propose a novel approach called Dynamic Planning of Thoughts (D-PoT) for LLM-based GUI agents.D-PoT involves the dynamic adjustment of planning based on the environmental feedback and execution history. Experimental results reveal that the proposed D-PoT significantly surpassed the strong GPT-4V baseline by +12.7% (34.66% $\rightarrow$ 47.36%) in accuracy. The analysis highlights the generality of dynamic planning in different backbone LLMs, as well as the benefits in mitigating hallucinations and adapting to unseen tasks. Code is available at https://github.com/sqzhang-lazy/D-PoT.
• Abstract（参考訳）: 大規模言語モデル(LLM)の出現は、特にスマートフォンのグラフィカルユーザインタフェース(GUI)における興味深い応用において、自律LLMベースのエージェントの進歩に大きな関心を喚起している。 タスク目標が提示されると、これらのエージェントは通常、タスクが完了するまでGUI環境内のヒューマンアクションをエミュレートする。 しかし、重要な課題は、GUIタスクにおけるアクション予測を導く効果的な計画を考案することであるが、計画は複雑なタスクを一連のステップに分解するのに有効であると広く認識されている。 具体的には、行動実行後の環境GUIの動的な性質を考えると、環境フィードバックや行動履歴に基づく計画の動的適応が不可欠である。 この課題に対処するために,LLMベースのGUIエージェントのための動的思考計画(D-PoT)と呼ばれる新しいアプローチを提案する。 実験の結果、提案されたD-PoTは強いGPT-4Vベースラインを+12.7%(34.66%$\rightarrow 47.36%)超えた。 この分析は、異なるバックボーンLLMにおける動的計画の一般化と、幻覚を緩和し、目に見えないタスクに適応する利点を強調している。 コードはhttps://github.com/sqzhang-lazy/D-PoT.comで入手できる。

関連論文リスト

• Interactive and Expressive Code-Augmented Planning with Large Language Models [62.799579304821826]
  大きな言語モデル(LLM)は、常識的推論と対話的な意思決定において強力な能力を示す。 近年,制御フローなどのコード・アジャセント技術を用いてLCM出力を構造化し,計画性能を向上させる技術が提案されている。 完全コード表現で動的なLEM計画手法であるREPL-Planを提案する。
  論文  参考訳（メタデータ） (2024-11-21T04:23:17Z)
• VeriGraph: Scene Graphs for Execution Verifiable Robot Planning [33.8868315479384]
  本稿では,ロボット計画のための視覚言語モデル(VLM)を統合するフレームワークであるVeriGraphを提案する。 VeriGraphはシーングラフを中間表現として使用し、キーオブジェクトと空間関係をキャプチャして、計画検証と改善を改善する。 提案手法は,多様な操作シナリオにおけるタスク完了率を大幅に向上させ,言語ベースタスクでは58%,画像ベースタスクでは30%,ベースラインメソッドでは58%向上させる。
  論文  参考訳（メタデータ） (2024-11-15T18:59:51Z)
• ET-Plan-Bench: Embodied Task-level Planning Benchmark Towards Spatial-Temporal Cognition with Foundation Models [39.606908488885125]
  ET-Plan-Benchは、Large Language Models (LLMs) を用いたタスク計画の具体化のためのベンチマークである。 様々な難易度や複雑さのレベルにおいて、制御可能で多様な実施タスクが特徴である。 我々のベンチマークでは、大規模で定量化され、高度に自動化され、きめ細かな診断フレームワークとして認識されている。
  論文  参考訳（メタデータ） (2024-10-02T19:56:38Z)
• AgentGen: Enhancing Planning Abilities for Large Language Model based Agent via Environment and Task Generation [89.68433168477227]
  LLM(Large Language Model)ベースのエージェントは注目され、ますます人気が高まっている。 本稿では,LLMの学習指導による計画能力の向上について検討する。 この制限に対処するために,多様な環境の自動合成と段階的な計画課題について検討する。
  論文  参考訳（メタデータ） (2024-08-01T17:59:46Z)
• Learning to Plan for Retrieval-Augmented Large Language Models from Knowledge Graphs [59.76268575344119]
  知識グラフ(KG)から得られた計画データを用いて,大規模言語モデル(LLM)計画能力を向上するための新しいフレームワークを提案する。 KGデータで微調整されたLLMは、計画能力を向上し、検索を含む複雑なQAタスクを処理するのがより適している。
  論文  参考訳（メタデータ） (2024-06-20T13:07:38Z)
• Learning Logic Specifications for Policy Guidance in POMDPs: an Inductive Logic Programming Approach [57.788675205519986]
  我々は任意の解法によって生成されるPOMDP実行から高品質なトレースを学習する。 我々は、データと時間効率のIndu Logic Programming(ILP)を利用して、解釈可能な信念に基づくポリシー仕様を生成する。 ASP(Answer Set Programming)で表現された学習は、ニューラルネットワークよりも優れた性能を示し、より少ない計算時間で最適な手作りタスクに類似していることを示す。
  論文  参考訳（メタデータ） (2024-02-29T15:36:01Z)
• AutoGPT+P: Affordance-based Task Planning with Large Language Models [6.848986296339031]
  AutoGPT+Pは、余裕に基づくシーン表現と計画システムを組み合わせたシステムである。 提案手法は,現在最先端のLCM計画手法であるSayCanの81%の成功率を超え,98%の成功率を達成した。
  論文  参考訳（メタデータ） (2024-02-16T16:00:50Z)
• Dynamic Planning with a LLM [15.430182858130884]
  大言語モデル(LLM)はゼロショット設定で多くのNLPタスクを解くことができるが、具体化エージェントを含むアプリケーションは依然として問題である。 LLM動的プランナー(LLM-DP)は,LLMが従来のプランナーと手動で作業し,具体的課題を解決する,神経象徴的な枠組みである。
  論文  参考訳（メタデータ） (2023-08-11T21:17:13Z)
• Embodied Task Planning with Large Language Models [86.63533340293361]
  本研究では,現場制約を考慮した地上計画のための具体的タスクにおけるTAsk Planing Agent (TaPA)を提案する。 推論の際には,オープンボキャブラリオブジェクト検出器を様々な場所で収集された多視点RGB画像に拡張することにより,シーン内の物体を検出する。 実験の結果,我々のTaPAフレームワークから生成されたプランは,LLaVAやGPT-3.5よりも大きなマージンで高い成功率が得られることがわかった。
  論文  参考訳（メタデータ） (2023-07-04T17:58:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。