論文の概要: ComfyBench: Benchmarking LLM-based Agents in ComfyUI for Autonomously Designing Collaborative AI Systems

• arxiv url: http://arxiv.org/abs/2409.01392v2
• Date: Tue, 26 Nov 2024 14:32:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-28 15:24:45.696672
• Title: ComfyBench: Benchmarking LLM-based Agents in ComfyUI for Autonomously Designing Collaborative AI Systems
• Title（参考訳）: ComfyBench:コラボレーティブAIシステムの自動設計のためのComfyUIにおけるLLMベースのエージェントのベンチマーク
• Authors: Xiangyuan Xue, Zeyu Lu, Di Huang, Zidong Wang, Wanli Ouyang, Lei Bai,
• Abstract要約: この研究は、LLMベースのエージェントを使用して、協調AIシステムを自律的に設計する試みである。 ComfyBenchをベースとしたComfyAgentは,エージェントが自律的に協調的なAIシステムを生成して設計できるようにするフレームワークである。 ComfyAgentは、o1-previewに匹敵する解像度を達成し、ComfyBenchの他のエージェントをはるかに上回っているが、ComfyAgentはクリエイティブタスクの15%しか解決していない。
• 参考スコア（独自算出の注目度）: 80.69865295743149
• License:
• Abstract: Much previous AI research has focused on developing monolithic models to maximize their intelligence, with the primary goal of enhancing performance on specific tasks. In contrast, this work attempts to study using LLM-based agents to design collaborative AI systems autonomously. To explore this problem, we first introduce ComfyBench to evaluate agents's ability to design collaborative AI systems in ComfyUI. ComfyBench is a comprehensive benchmark comprising 200 diverse tasks covering various instruction-following generation challenges, along with detailed annotations for 3,205 nodes and 20 workflows. Based on ComfyBench, we further develop ComfyAgent, a novel framework that empowers LLM-based agents to autonomously design collaborative AI systems by generating workflows. ComfyAgent is based on two core concepts. First, it represents workflows with code, which can be reversibly converted into workflows and executed as collaborative systems by the interpreter. Second, it constructs a multi-agent system that cooperates to learn from existing workflows and generate new workflows for a given task. While experimental results demonstrate that ComfyAgent achieves a comparable resolve rate to o1-preview and significantly surpasses other agents on ComfyBench, ComfyAgent has resolved only 15\% of creative tasks. LLM-based agents still have a long way to go in autonomously designing collaborative AI systems. Progress with ComfyBench is paving the way for more intelligent and autonomous collaborative AI systems.
• Abstract（参考訳）: これまでのAI研究は、インテリジェンスを最大化するモノリシックモデルの開発に重点を置いてきた。 対照的に、この研究はLLMベースのエージェントを使用して、協調AIシステムを自律的に設計する試みである。 この問題を探るため、まずComfyBenchを導入し、ComfyUIで協調AIシステムを設計するエージェントの能力を評価する。 ComfyBenchは、さまざまな命令追従生成課題をカバーする200の多様なタスクと、3,205ノードと20のワークフローに関する詳細なアノテーションからなる総合的なベンチマークである。 ComfyBenchをベースとしたComfyAgentは、LLMベースのエージェントがワークフローを生成することで協調的なAIシステムを自律的に設計することを可能にする新しいフレームワークである。 ComfyAgentは2つのコアコンセプトに基づいている。 まず、ワークフローをコードで表現し、ワークフローに可逆的に変換し、インタプリタによって協調的なシステムとして実行される。 第二に、既存のワークフローから学び、与えられたタスクのために新しいワークフローを生成するために協力するマルチエージェントシステムを構築する。 実験の結果、ComfyAgentはo1-previewに匹敵し、ComfyBench上の他のエージェントをはるかに上回っていることがわかったが、ComfyAgentは創造的なタスクの15倍しか解決していない。 LLMベースのエージェントは、コラボレーティブなAIシステムを自律的に設計する上で、まだまだ長い道のりがある。 ComfyBenchによる進歩は、よりインテリジェントで自律的な協調AIシステムへの道を開いた。

関連論文リスト

• MorphAgent: Empowering Agents through Self-Evolving Profiles and Decentralized Collaboration [8.078098082305575]
  本稿では,分散マルチエージェントコラボレーションのための新しいフレームワークであるMorphAgentを紹介する。 MorphAgentは3つの主要なメトリクスで最適化された自己進化エージェントプロファイルを使用している。 実験の結果,MorphAgentはタスク性能や要求の変化に対する適応性という点で従来の静的ロールMASよりも優れていた。
  論文  参考訳（メタデータ） (2024-10-19T09:10:49Z)
• xLAM: A Family of Large Action Models to Empower AI Agent Systems [111.5719694445345]
  AIエージェントタスク用に設計された大規模なアクションモデルであるxLAMをリリースする。 xLAMは、複数のエージェント能力ベンチマークで例外的なパフォーマンスを提供する。
  論文  参考訳（メタデータ） (2024-09-05T03:22:22Z)
• Optimizing Collaboration of LLM based Agents for Finite Element Analysis [1.5039745292757671]
  本稿では,Large Language Models (LLM) 内の複数のエージェント間の相互作用について,プログラミングおよびコーディングタスクの文脈で検討する。 我々はAutoGenフレームワークを利用してエージェント間の通信を容易にし、各セットアップの40のランダムランからの成功率に基づいて異なる構成を評価する。
  論文  参考訳（メタデータ） (2024-08-23T23:11:08Z)
• Internet of Agents: Weaving a Web of Heterogeneous Agents for Collaborative Intelligence [79.5316642687565]
  既存のマルチエージェントフレームワークは、多種多様なサードパーティエージェントの統合に苦慮することが多い。 我々はこれらの制限に対処する新しいフレームワークであるInternet of Agents (IoA)を提案する。 IoAはエージェント統合プロトコル、インスタントメッセージのようなアーキテクチャ設計、エージェントのチーム化と会話フロー制御のための動的メカニズムを導入している。
  論文  参考訳（メタデータ） (2024-07-09T17:33:24Z)
• Scaling Large-Language-Model-based Multi-Agent Collaboration [75.5241464256688]
  大規模言語モデルによるエージェントのパイオニア化は、マルチエージェントコラボレーションの設計パターンを暗示している。 神経スケーリング法則に触発された本研究では,マルチエージェント協調におけるエージェントの増加に類似の原理が適用されるかを検討する。
  論文  参考訳（メタデータ） (2024-06-11T11:02:04Z)
• S-Agents: Self-organizing Agents in Open-ended Environments [15.700383873385892]
  動的ワークフローのための「エージェントのツリー」構造を持つ自己組織化エージェントシステム(S-Agents)を導入する。 この構造はエージェントのグループを自律的に調整することができ、オープン環境と動的環境の課題に効率的に対処することができる。 実験の結果,S-AgentsはMinecraft環境において協調的な建築作業や資源収集を行うことができた。
  論文  参考訳（メタデータ） (2024-02-07T04:36:31Z)
• Investigate-Consolidate-Exploit: A General Strategy for Inter-Task Agent Self-Evolution [92.84441068115517]
  Investigate-Consolidate-Exploit(ICE)は、AIエージェントの適応性と柔軟性を高めるための新しい戦略である。 ICEは、真の自己進化のためのタスク間の知識の伝達を促進する。 XAgentフレームワークに関する我々の実験は、ICEの有効性を示し、API呼び出しを最大80%削減する。
  論文  参考訳（メタデータ） (2024-01-25T07:47:49Z)
• CCA: Collaborative Competitive Agents for Image Editing [59.54347952062684]
  本稿では,CCA(Collaborative Competitive Agents)の新たな生成モデルを提案する。 複数のLarge Language Models (LLM) ベースのエージェントを使って複雑なタスクを実行する。 この論文の主な貢献は、制御可能な中間ステップと反復最適化を備えたマルチエージェントベースの生成モデルの導入である。
  論文  参考訳（メタデータ） (2024-01-23T11:46:28Z)
• TrainerAgent: Customizable and Efficient Model Training through LLM-Powered Multi-Agent System [14.019244136838017]
  TrainerAgentは、タスク、データ、モデル、サーバーエージェントを含むマルチエージェントフレームワークである。 これらのエージェントは、ユーザ定義のタスク、入力データ、要求(例えば、精度、速度)を分析し、データとモデルの両方の観点からそれらを最適化して満足なモデルを取得し、最終的にこれらのモデルをオンラインサービスとしてデプロイする。 本研究は,従来のモデル開発と比較して,効率と品質が向上した望ましいモデルの実現において,大きな進歩を示すものである。
  論文  参考訳（メタデータ） (2023-11-11T17:39:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。