論文の概要: API Agents vs. GUI Agents: Divergence and Convergence

• arxiv url: http://arxiv.org/abs/2503.11069v1
• Date: Fri, 14 Mar 2025 04:26:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-17 13:06:17.628462
• Title: API Agents vs. GUI Agents: Divergence and Convergence
• Title（参考訳）: API Agents vs. GUI Agents: 多様性と収束性
• Authors: Chaoyun Zhang, Shilin He, Liqun Li, Si Qin, Yu Kang, Qingwei Lin, Dongmei Zhang,
• Abstract要約: APIとGUIベースの大規模言語モデル(LLM)は、グラフィカルなユーザインターフェースを人間的な方法で操作する。 本稿では,それらの分散と潜在的収束を系統的に解析する。 LLMベースの自動化における継続的なイノベーションは、APIとGUI駆動エージェントの境界線を曖昧にする可能性があることを示唆している。
• 参考スコア（独自算出の注目度）: 35.28490346033735
• License:
• Abstract: Large language models (LLMs) have evolved beyond simple text generation to power software agents that directly translate natural language commands into tangible actions. While API-based LLM agents initially rose to prominence for their robust automation capabilities and seamless integration with programmatic endpoints, recent progress in multimodal LLM research has enabled GUI-based LLM agents that interact with graphical user interfaces in a human-like manner. Although these two paradigms share the goal of enabling LLM-driven task automation, they diverge significantly in architectural complexity, development workflows, and user interaction models. This paper presents the first comprehensive comparative study of API-based and GUI-based LLM agents, systematically analyzing their divergence and potential convergence. We examine key dimensions and highlight scenarios in which hybrid approaches can harness their complementary strengths. By proposing clear decision criteria and illustrating practical use cases, we aim to guide practitioners and researchers in selecting, combining, or transitioning between these paradigms. Ultimately, we indicate that continuing innovations in LLM-based automation are poised to blur the lines between API- and GUI-driven agents, paving the way for more flexible, adaptive solutions in a wide range of real-world applications.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、単純なテキスト生成を超えて進化し、自然言語コマンドを直接有形アクションに変換するソフトウェアエージェントとなった。 APIベースのLLMエージェントは、最初、その堅牢な自動化機能とプログラムエンドポイントとのシームレスな統合で有名になったが、近年、GUIベースのLLMエージェントが人間のようにグラフィカルなユーザーインターフェイスと対話できるようになってきた。 これらの2つのパラダイムは、LLM駆動のタスク自動化を実現するという目標を共有していますが、アーキテクチャの複雑さ、開発ワークフロー、ユーザインタラクションモデルに大きな違いがあります。 本稿では, API ベースおよび GUI ベースの LLM エージェントを総合的に比較検討し,それらの分散と潜在的な収束を体系的に解析する。 ハイブリッドアプローチが相補的な強みを活用できる重要な次元とシナリオを考察する。 明確な意思決定基準を提案し,実践的ユースケースを示すことによって,これらのパラダイムの選択,組み合わせ,移行を実践者や研究者に指導することを目指す。 最終的には、LLMベースの自動化における継続的なイノベーションが、APIとGUI駆動エージェントの境界を曖昧にし、より柔軟で適応的なソリューションを、幅広い現実世界のアプリケーションで実現しようとしていることを示しています。

関連論文リスト

• Scaling Autonomous Agents via Automatic Reward Modeling And Planning [52.39395405893965]
  大規模言語モデル(LLM)は、様々なタスクにまたがる顕著な機能を示している。 しかし、彼らは多段階の意思決定と環境フィードバックを必要とする問題に苦戦している。 人間のアノテーションを使わずに環境から報酬モデルを自動的に学習できるフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-02-17T18:49:25Z)
• Creating an LLM-based AI-agent: A high-level methodology towards enhancing LLMs with APIs [0.0]
  大規模言語モデル(LLM)は、工学と科学の様々な側面に革命をもたらした。 この論文は総合的なガイドとして機能し、アプリケーションプログラミングインタフェース(API)を活用する能力を備えたLLMの強化のための多面的アプローチを解明する。 本稿では,Hugging Faceコミュニティの小さなモデルを用いて,携帯端末の機能を活用したオンデバイスアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2024-12-17T14:14:04Z)
• Large Language Model-Brained GUI Agents: A Survey [42.82362907348966]
  マルチモーダルモデルはGUI自動化の新しい時代を支えてきた。 彼らは自然言語理解、コード生成、視覚処理において例外的な能力を示した。 これらのエージェントはパラダイムシフトを表しており、ユーザーは単純な会話コマンドで複雑なマルチステップタスクを実行できる。
  論文  参考訳（メタデータ） (2024-11-27T12:13:39Z)
• GUI Agents with Foundation Models: A Comprehensive Survey [91.97447457550703]
  この調査は(M)LLMベースのGUIエージェントに関する最近の研究を集約する。 重要な課題を特定し,今後の研究方向性を提案する。 この調査が(M)LLMベースのGUIエージェントの分野におけるさらなる進歩を促すことを願っている。
  論文  参考訳（メタデータ） (2024-11-07T17:28:10Z)
• Harnessing LLMs for API Interactions: A Framework for Classification and Synthetic Data Generation [0.0]
  本稿では,自然言語入力を対応するAPI呼び出しに分類するために,Large Language Models (LLM) を統合する新しいシステムを提案する。 本システムでは,単純な入力による複雑なソフトウェア機能の実行,インタラクション効率の向上,ソフトウェア利用障壁の低減を実現している。
  論文  参考訳（メタデータ） (2024-09-18T04:56:52Z)
• Optimizing Collaboration of LLM based Agents for Finite Element Analysis [1.5039745292757671]
  本稿では,Large Language Models (LLM) 内の複数のエージェント間の相互作用について,プログラミングおよびコーディングタスクの文脈で検討する。 我々はAutoGenフレームワークを利用してエージェント間の通信を容易にし、各セットアップの40のランダムランからの成功率に基づいて異なる構成を評価する。
  論文  参考訳（メタデータ） (2024-08-23T23:11:08Z)
• CoCo-Agent: A Comprehensive Cognitive MLLM Agent for Smartphone GUI Automation [61.68049335444254]
  MLLM(Multimodal large language model)は、人間のような自律型言語エージェントが現実世界の環境と相互作用する可能性を示している。 包括的環境認識(CEP)と条件付き行動予測(CAP)の2つの新しいアプローチを備えた包括的認知型LLMエージェントCoCo-Agentを提案する。 AITW と META-GUI ベンチマークにおいて,我々のエージェントは実シナリオで有望な性能を示す新しい最先端性能を実現する。
  論文  参考訳（メタデータ） (2024-02-19T08:29:03Z)
• TaskBench: Benchmarking Large Language Models for Task Automation [82.2932794189585]
  タスク自動化における大規模言語モデル(LLM)の機能を評価するためのフレームワークであるTaskBenchを紹介する。 具体的には、タスクの分解、ツールの選択、パラメータ予測を評価する。 提案手法は, 自動構築と厳密な人的検証を組み合わせることで, 人的評価との整合性を確保する。
  論文  参考訳（メタデータ） (2023-11-30T18:02:44Z)
• Recommender AI Agent: Integrating Large Language Models for Interactive Recommendations [53.76682562935373]
  我々は,LLMを脳として,レコメンダモデルをツールとして使用する,textbfInteRecAgentという効率的なフレームワークを紹介した。 InteRecAgentは会話レコメンデーションシステムとして満足度を達成し、汎用LLMよりも優れる。
  論文  参考訳（メタデータ） (2023-08-31T07:36:44Z)
• AgentBench: Evaluating LLMs as Agents [88.45506148281379]
  大規模言語モデル(LLM)は、従来のNLPタスクを超えた現実的な実用的ミッションをターゲットとして、ますます賢く自律的になってきています。 我々は,現在8つの異なる環境からなるベンチマークであるAgentBenchを紹介し,LLM-as-Agentの推論と意思決定能力を評価する。
  論文  参考訳（メタデータ） (2023-08-07T16:08:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。