論文の概要: ComfyBench: Benchmarking LLM-based Agents in ComfyUI for Autonomously Designing Collaborative AI Systems

• arxiv url: http://arxiv.org/abs/2409.01392v2
• Date: Tue, 26 Nov 2024 14:32:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-01 15:52:52.785843
• Title: ComfyBench: Benchmarking LLM-based Agents in ComfyUI for Autonomously Designing Collaborative AI Systems
• Title（参考訳）: ComfyBench:コラボレーティブAIシステムの自動設計のためのComfyUIにおけるLLMベースのエージェントのベンチマーク
• Authors: Xiangyuan Xue, Zeyu Lu, Di Huang, Zidong Wang, Wanli Ouyang, Lei Bai,
• Abstract要約: この研究は、LLMベースのエージェントを使用して、協調AIシステムを自律的に設計する試みである。 ComfyBenchをベースとしたComfyAgentは,エージェントが自律的に協調的なAIシステムを生成して設計できるようにするフレームワークである。 ComfyAgentは、o1-previewに匹敵する解像度を達成し、ComfyBenchの他のエージェントをはるかに上回っているが、ComfyAgentはクリエイティブタスクの15%しか解決していない。
• 参考スコア（独自算出の注目度）: 80.69865295743149
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Much previous AI research has focused on developing monolithic models to maximize their intelligence, with the primary goal of enhancing performance on specific tasks. In contrast, this work attempts to study using LLM-based agents to design collaborative AI systems autonomously. To explore this problem, we first introduce ComfyBench to evaluate agents's ability to design collaborative AI systems in ComfyUI. ComfyBench is a comprehensive benchmark comprising 200 diverse tasks covering various instruction-following generation challenges, along with detailed annotations for 3,205 nodes and 20 workflows. Based on ComfyBench, we further develop ComfyAgent, a novel framework that empowers LLM-based agents to autonomously design collaborative AI systems by generating workflows. ComfyAgent is based on two core concepts. First, it represents workflows with code, which can be reversibly converted into workflows and executed as collaborative systems by the interpreter. Second, it constructs a multi-agent system that cooperates to learn from existing workflows and generate new workflows for a given task. While experimental results demonstrate that ComfyAgent achieves a comparable resolve rate to o1-preview and significantly surpasses other agents on ComfyBench, ComfyAgent has resolved only 15\% of creative tasks. LLM-based agents still have a long way to go in autonomously designing collaborative AI systems. Progress with ComfyBench is paving the way for more intelligent and autonomous collaborative AI systems.
• Abstract（参考訳）: これまでのAI研究は、インテリジェンスを最大化するモノリシックモデルの開発に重点を置いてきた。 対照的に、この研究はLLMベースのエージェントを使用して、協調AIシステムを自律的に設計する試みである。 この問題を探るため、まずComfyBenchを導入し、ComfyUIで協調AIシステムを設計するエージェントの能力を評価する。 ComfyBenchは、さまざまな命令追従生成課題をカバーする200の多様なタスクと、3,205ノードと20のワークフローに関する詳細なアノテーションからなる総合的なベンチマークである。 ComfyBenchをベースとしたComfyAgentは、LLMベースのエージェントがワークフローを生成することで協調的なAIシステムを自律的に設計することを可能にする新しいフレームワークである。 ComfyAgentは2つのコアコンセプトに基づいている。 まず、ワークフローをコードで表現し、ワークフローに可逆的に変換し、インタプリタによって協調的なシステムとして実行される。 第二に、既存のワークフローから学び、与えられたタスクのために新しいワークフローを生成するために協力するマルチエージェントシステムを構築する。 実験の結果、ComfyAgentはo1-previewに匹敵し、ComfyBench上の他のエージェントをはるかに上回っていることがわかったが、ComfyAgentは創造的なタスクの15倍しか解決していない。 LLMベースのエージェントは、コラボレーティブなAIシステムを自律的に設計する上で、まだまだ長い道のりがある。 ComfyBenchによる進歩は、よりインテリジェントで自律的な協調AIシステムへの道を開いた。

関連論文リスト

• ComfyGPT: A Self-Optimizing Multi-Agent System for Comprehensive ComfyUI Workflow Generation [71.31634636156384]
  タスク記述に基づいてComfyUIを生成するように設計された,最初の自己最適化型マルチエージェントシステムであるComfyGPTを紹介する。 ComfyGPTは、ReformatAgent、FlowAgent、RefineAgent、ExecuteAgentの4つの特殊エージェントで構成されている。 FlowDatasetは、13,571のワークフロー記述ペアを含む大規模なデータセットであり、FlowBenchはワークフロー生成システムを評価するためのベンチマークである。
  論文  参考訳（メタデータ） (2025-03-22T06:48:50Z)
• Towards Agentic AI Networking in 6G: A Generative Foundation Model-as-Agent Approach [35.05793485239977]
  本稿では,AIエージェント間のインタラクション,協調学習,知識伝達を支援する新しいフレームワークであるAgentNetを提案する。 本稿では,デジタルツイン方式の産業自動化とメタバース方式のインフォテインメントシステムという,2つの応用シナリオについて考察する。
  論文  参考訳（メタデータ） (2025-03-20T00:48:44Z)
• PC-Agent: A Hierarchical Multi-Agent Collaboration Framework for Complex Task Automation on PC [98.82146219495792]
  本稿では,PC-Agentという階層型エージェントフレームワークを提案する。 認識の観点からは,現在のMLLMのスクリーンショットコンテンツに対する認識能力の不十分さを克服するために,アクティブ知覚モジュール(APM)を考案する。 意思決定の観点から、複雑なユーザ命令や相互依存サブタスクをより効果的に扱うために、階層的なマルチエージェント協調アーキテクチャを提案する。
  論文  参考訳（メタデータ） (2025-02-20T05:41:55Z)
• TheAgentCompany: Benchmarking LLM Agents on Consequential Real World Tasks [52.46737975742287]
  私たちは小さなソフトウェア企業環境を模倣したデータによる自己完結型環境を構築します。 最も競争力のあるエージェントでは、タスクの24%が自律的に完了できます。 これは、LMエージェントによるタスク自動化に関するニュアンスな絵を描く。
  論文  参考訳（メタデータ） (2024-12-18T18:55:40Z)
• MorphAgent: Empowering Agents through Self-Evolving Profiles and Decentralized Collaboration [8.078098082305575]
  本稿では,分散マルチエージェントコラボレーションのための新しいフレームワークであるMorphAgentを紹介する。 MorphAgentは3つの主要なメトリクスで最適化された自己進化エージェントプロファイルを使用している。 実験の結果,MorphAgentはタスク性能や要求の変化に対する適応性という点で従来の静的ロールMASよりも優れていた。
  論文  参考訳（メタデータ） (2024-10-19T09:10:49Z)
• xLAM: A Family of Large Action Models to Empower AI Agent Systems [111.5719694445345]
  AIエージェントタスク用に設計された大規模なアクションモデルであるxLAMをリリースする。 xLAMは、複数のエージェント能力ベンチマークで例外的なパフォーマンスを提供する。
  論文  参考訳（メタデータ） (2024-09-05T03:22:22Z)
• Optimizing Collaboration of LLM based Agents for Finite Element Analysis [1.5039745292757671]
  本稿では,Large Language Models (LLM) 内の複数のエージェント間の相互作用について,プログラミングおよびコーディングタスクの文脈で検討する。 我々はAutoGenフレームワークを利用してエージェント間の通信を容易にし、各セットアップの40のランダムランからの成功率に基づいて異なる構成を評価する。
  論文  参考訳（メタデータ） (2024-08-23T23:11:08Z)
• Internet of Agents: Weaving a Web of Heterogeneous Agents for Collaborative Intelligence [79.5316642687565]
  既存のマルチエージェントフレームワークは、多種多様なサードパーティエージェントの統合に苦慮することが多い。 我々はこれらの制限に対処する新しいフレームワークであるInternet of Agents (IoA)を提案する。 IoAはエージェント統合プロトコル、インスタントメッセージのようなアーキテクチャ設計、エージェントのチーム化と会話フロー制御のための動的メカニズムを導入している。
  論文  参考訳（メタデータ） (2024-07-09T17:33:24Z)
• Scaling Large-Language-Model-based Multi-Agent Collaboration [75.5241464256688]
  大規模言語モデルによるエージェントのパイオニア化は、マルチエージェントコラボレーションの設計パターンを暗示している。 神経スケーリング法則に触発された本研究では,マルチエージェント協調におけるエージェントの増加に類似の原理が適用されるかを検討する。
  論文  参考訳（メタデータ） (2024-06-11T11:02:04Z)
• S-Agents: Self-organizing Agents in Open-ended Environments [15.700383873385892]
  動的ワークフローのための「エージェントのツリー」構造を持つ自己組織化エージェントシステム(S-Agents)を導入する。 この構造はエージェントのグループを自律的に調整することができ、オープン環境と動的環境の課題に効率的に対処することができる。 実験の結果,S-AgentsはMinecraft環境において協調的な建築作業や資源収集を行うことができた。
  論文  参考訳（メタデータ） (2024-02-07T04:36:31Z)
• Investigate-Consolidate-Exploit: A General Strategy for Inter-Task Agent Self-Evolution [92.84441068115517]
  Investigate-Consolidate-Exploit(ICE)は、AIエージェントの適応性と柔軟性を高めるための新しい戦略である。 ICEは、真の自己進化のためのタスク間の知識の伝達を促進する。 XAgentフレームワークに関する我々の実験は、ICEの有効性を示し、API呼び出しを最大80%削減する。
  論文  参考訳（メタデータ） (2024-01-25T07:47:49Z)
• CCA: Collaborative Competitive Agents for Image Editing [59.54347952062684]
  本稿では,CCA(Collaborative Competitive Agents)の新たな生成モデルを提案する。 複数のLarge Language Models (LLM) ベースのエージェントを使って複雑なタスクを実行する。 この論文の主な貢献は、制御可能な中間ステップと反復最適化を備えたマルチエージェントベースの生成モデルの導入である。
  論文  参考訳（メタデータ） (2024-01-23T11:46:28Z)
• TrainerAgent: Customizable and Efficient Model Training through LLM-Powered Multi-Agent System [14.019244136838017]
  TrainerAgentは、タスク、データ、モデル、サーバーエージェントを含むマルチエージェントフレームワークである。 これらのエージェントは、ユーザ定義のタスク、入力データ、要求(例えば、精度、速度)を分析し、データとモデルの両方の観点からそれらを最適化して満足なモデルを取得し、最終的にこれらのモデルをオンラインサービスとしてデプロイする。 本研究は,従来のモデル開発と比較して,効率と品質が向上した望ましいモデルの実現において,大きな進歩を示すものである。
  論文  参考訳（メタデータ） (2023-11-11T17:39:24Z)
• A Dynamic LLM-Powered Agent Network for Task-Oriented Agent Collaboration [55.35849138235116]
  本稿では,様々なタスクやドメインに対する動的コミュニケーション構造において,候補からエージェントのチームを自動的に選択する手法を提案する。 具体的には, LLMを利用したエージェント協調のための動的LLMパワーエージェントネットワーク(textDyLAN$)というフレームワークを構築した。 我々は、コード生成、意思決定、一般的な推論、算術的推論タスクにおいて、適度な計算コストで、DyLANが強力なベースラインを上回ることを実証する。
  論文  参考訳（メタデータ） (2023-10-03T16:05:48Z)
• AutoAgents: A Framework for Automatic Agent Generation [27.74332323317923]
  AutoAgentsは、さまざまなタスクに応じてAIチームを構築するために、複数の専門エージェントを適応的に生成し、コーディネートする革新的なフレームワークである。 各種ベンチマーク実験により,AutoAgentsは既存のマルチエージェント手法よりも一貫性と正確な解を生成することが示された。
  論文  参考訳（メタデータ） (2023-09-29T14:46:30Z)
• Self-collaboration Code Generation via ChatGPT [35.88318116340547]
  大規模言語モデル(LLM)はコード生成能力に優れていますが、複雑なタスクに苦労しています。 本稿では,ChatGPT で実証した LLM を用いたコード生成のための自己協調フレームワークを提案する。 この仮想チームを効果的に組織化し、管理するために、ソフトウェア開発方法論をフレームワークに組み入れます。
  論文  参考訳（メタデータ） (2023-04-15T16:33:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。