論文の概要: ComfyBench: Benchmarking LLM-based Agents in ComfyUI for Autonomously Designing Collaborative AI Systems

• arxiv url: http://arxiv.org/abs/2409.01392v2
• Date: Tue, 26 Nov 2024 14:32:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-28 15:24:45.696672
• Title: ComfyBench: Benchmarking LLM-based Agents in ComfyUI for Autonomously Designing Collaborative AI Systems
• Title（参考訳）: ComfyBench:コラボレーティブAIシステムの自動設計のためのComfyUIにおけるLLMベースのエージェントのベンチマーク
• Authors: Xiangyuan Xue, Zeyu Lu, Di Huang, Zidong Wang, Wanli Ouyang, Lei Bai,
• Abstract要約: この研究は、LLMベースのエージェントを使用して、協調AIシステムを自律的に設計する試みである。 ComfyBenchをベースとしたComfyAgentは,エージェントが自律的に協調的なAIシステムを生成して設計できるようにするフレームワークである。 ComfyAgentは、o1-previewに匹敵する解像度を達成し、ComfyBenchの他のエージェントをはるかに上回っているが、ComfyAgentはクリエイティブタスクの15%しか解決していない。
• 参考スコア（独自算出の注目度）: 80.69865295743149
• License:
• Abstract: Much previous AI research has focused on developing monolithic models to maximize their intelligence, with the primary goal of enhancing performance on specific tasks. In contrast, this work attempts to study using LLM-based agents to design collaborative AI systems autonomously. To explore this problem, we first introduce ComfyBench to evaluate agents's ability to design collaborative AI systems in ComfyUI. ComfyBench is a comprehensive benchmark comprising 200 diverse tasks covering various instruction-following generation challenges, along with detailed annotations for 3,205 nodes and 20 workflows. Based on ComfyBench, we further develop ComfyAgent, a novel framework that empowers LLM-based agents to autonomously design collaborative AI systems by generating workflows. ComfyAgent is based on two core concepts. First, it represents workflows with code, which can be reversibly converted into workflows and executed as collaborative systems by the interpreter. Second, it constructs a multi-agent system that cooperates to learn from existing workflows and generate new workflows for a given task. While experimental results demonstrate that ComfyAgent achieves a comparable resolve rate to o1-preview and significantly surpasses other agents on ComfyBench, ComfyAgent has resolved only 15\% of creative tasks. LLM-based agents still have a long way to go in autonomously designing collaborative AI systems. Progress with ComfyBench is paving the way for more intelligent and autonomous collaborative AI systems.
• Abstract（参考訳）: これまでのAI研究は、インテリジェンスを最大化するモノリシックモデルの開発に重点を置いてきた。 対照的に、この研究はLLMベースのエージェントを使用して、協調AIシステムを自律的に設計する試みである。 この問題を探るため、まずComfyBenchを導入し、ComfyUIで協調AIシステムを設計するエージェントの能力を評価する。 ComfyBenchは、さまざまな命令追従生成課題をカバーする200の多様なタスクと、3,205ノードと20のワークフローに関する詳細なアノテーションからなる総合的なベンチマークである。 ComfyBenchをベースとしたComfyAgentは、LLMベースのエージェントがワークフローを生成することで協調的なAIシステムを自律的に設計することを可能にする新しいフレームワークである。 ComfyAgentは2つのコアコンセプトに基づいている。 まず、ワークフローをコードで表現し、ワークフローに可逆的に変換し、インタプリタによって協調的なシステムとして実行される。 第二に、既存のワークフローから学び、与えられたタスクのために新しいワークフローを生成するために協力するマルチエージェントシステムを構築する。 実験の結果、ComfyAgentはo1-previewに匹敵し、ComfyBench上の他のエージェントをはるかに上回っていることがわかったが、ComfyAgentは創造的なタスクの15倍しか解決していない。 LLMベースのエージェントは、コラボレーティブなAIシステムを自律的に設計する上で、まだまだ長い道のりがある。 ComfyBenchによる進歩は、よりインテリジェントで自律的な協調AIシステムへの道を開いた。

関連論文リスト

• PC-Agent: A Hierarchical Multi-Agent Collaboration Framework for Complex Task Automation on PC [98.82146219495792]
  本稿では,PC-Agentという階層型エージェントフレームワークを提案する。 認識の観点からは,現在のMLLMのスクリーンショットコンテンツに対する認識能力の不十分さを克服するために,アクティブ知覚モジュール(APM)を考案する。 意思決定の観点から、複雑なユーザ命令や相互依存サブタスクをより効果的に扱うために、階層的なマルチエージェント協調アーキテクチャを提案する。
  論文  参考訳（メタデータ） (2025-02-20T05:41:55Z)
• TheAgentCompany: Benchmarking LLM Agents on Consequential Real World Tasks [52.46737975742287]
  私たちは小さなソフトウェア企業環境を模倣したデータによる自己完結型環境を構築します。 最も競争力のあるエージェントでは、タスクの24%が自律的に完了できます。 これは、LMエージェントによるタスク自動化に関するニュアンスな絵を描く。
  論文  参考訳（メタデータ） (2024-12-18T18:55:40Z)
• Optimizing Collaboration of LLM based Agents for Finite Element Analysis [1.5039745292757671]
  本稿では,Large Language Models (LLM) 内の複数のエージェント間の相互作用について,プログラミングおよびコーディングタスクの文脈で検討する。 我々はAutoGenフレームワークを利用してエージェント間の通信を容易にし、各セットアップの40のランダムランからの成功率に基づいて異なる構成を評価する。
  論文  参考訳（メタデータ） (2024-08-23T23:11:08Z)
• Internet of Agents: Weaving a Web of Heterogeneous Agents for Collaborative Intelligence [79.5316642687565]
  既存のマルチエージェントフレームワークは、多種多様なサードパーティエージェントの統合に苦慮することが多い。 我々はこれらの制限に対処する新しいフレームワークであるInternet of Agents (IoA)を提案する。 IoAはエージェント統合プロトコル、インスタントメッセージのようなアーキテクチャ設計、エージェントのチーム化と会話フロー制御のための動的メカニズムを導入している。
  論文  参考訳（メタデータ） (2024-07-09T17:33:24Z)
• Experiential Co-Learning of Software-Developing Agents [83.34027623428096]
  大規模言語モデル(LLM)は、特にソフトウェア開発において、様々な領域に大きな変化をもたらした。 本稿では,新しいLLM学習フレームワークであるExperiential Co-Learningを紹介する。 実験では、このフレームワークにより、エージェントは、目に見えないソフトウェア開発タスクをより効果的に対処できることを示した。
  論文  参考訳（メタデータ） (2023-12-28T13:50:42Z)
• A Dynamic LLM-Powered Agent Network for Task-Oriented Agent Collaboration [55.35849138235116]
  本稿では,様々なタスクやドメインに対する動的コミュニケーション構造において,候補からエージェントのチームを自動的に選択する手法を提案する。 具体的には, LLMを利用したエージェント協調のための動的LLMパワーエージェントネットワーク(textDyLAN$)というフレームワークを構築した。 我々は、コード生成、意思決定、一般的な推論、算術的推論タスクにおいて、適度な計算コストで、DyLANが強力なベースラインを上回ることを実証する。
  論文  参考訳（メタデータ） (2023-10-03T16:05:48Z)
• AutoAgents: A Framework for Automatic Agent Generation [27.74332323317923]
  AutoAgentsは、さまざまなタスクに応じてAIチームを構築するために、複数の専門エージェントを適応的に生成し、コーディネートする革新的なフレームワークである。 各種ベンチマーク実験により,AutoAgentsは既存のマルチエージェント手法よりも一貫性と正確な解を生成することが示された。
  論文  参考訳（メタデータ） (2023-09-29T14:46:30Z)
• Self-collaboration Code Generation via ChatGPT [35.88318116340547]
  大規模言語モデル(LLM)はコード生成能力に優れていますが、複雑なタスクに苦労しています。 本稿では,ChatGPT で実証した LLM を用いたコード生成のための自己協調フレームワークを提案する。 この仮想チームを効果的に組織化し、管理するために、ソフトウェア開発方法論をフレームワークに組み入れます。
  論文  参考訳（メタデータ） (2023-04-15T16:33:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。