論文の概要: Optimizing LLM-Based Multi-Agent System with Textual Feedback: A Case Study on Software Development
- arxiv url: http://arxiv.org/abs/2505.16086v1
- Date: Thu, 22 May 2025 00:00:27 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-05-23 17:12:47.948942
- Title: Optimizing LLM-Based Multi-Agent System with Textual Feedback: A Case Study on Software Development
- Title（参考訳）: テキストフィードバックによるLLMに基づくマルチエージェントシステムの最適化:ソフトウェア開発を事例として
- Authors: Ming Shen, Raphael Shu, Anurag Pratik, James Gung, Yubin Ge, Monica Sunkara, Yi Zhang,
- Abstract要約: 自然言語フィードバックを利用したロールベースマルチエージェントシステムのグループ最適化に関する実証事例研究を行った。
本稿では,2段階のエージェントプロンプトの最適化パイプラインを提案し,性能の低いエージェントを同定し,特定エージェントのシステムプロンプトを最適化する。
本研究では,多様な評価次元で評価されたソフトウェア開発タスクに対処するロールベースマルチエージェントシステムに対する最適化手法の有効性を実証する。
- 参考スコア（独自算出の注目度）: 14.245155142689988
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We have seen remarkable progress in large language models (LLMs) empowered multi-agent systems solving complex tasks necessitating cooperation among experts with diverse skills. However, optimizing LLM-based multi-agent systems remains challenging. In this work, we perform an empirical case study on group optimization of role-based multi-agent systems utilizing natural language feedback for challenging software development tasks under various evaluation dimensions. We propose a two-step agent prompts optimization pipeline: identifying underperforming agents with their failure explanations utilizing textual feedback and then optimizing system prompts of identified agents utilizing failure explanations. We then study the impact of various optimization settings on system performance with two comparison groups: online against offline optimization and individual against group optimization. For group optimization, we study two prompting strategies: one-pass and multi-pass prompting optimizations. Overall, we demonstrate the effectiveness of our optimization method for role-based multi-agent systems tackling software development tasks evaluated on diverse evaluation dimensions, and we investigate the impact of diverse optimization settings on group behaviors of the multi-agent systems to provide practical insights for future development.
- Abstract（参考訳）: 大規模言語モデル(LLM)では,多様なスキルを持つ専門家の協力を必要とする複雑なタスクを解くマルチエージェントシステムの実現が目覚ましい進歩を遂げている。
しかし、LLMベースのマルチエージェントシステムの最適化は依然として困難である。
本研究では,自然言語フィードバックを用いたロールベースマルチエージェントシステムのグループ最適化を,様々な評価次元下でのソフトウェア開発タスクに挑戦するための実証的研究を行った。
本稿では,2段階のエージェントプロンプトを最適化パイプラインとして提案する。テキストフィードバックを用いたエラー説明による未処理エージェントの識別と,障害説明を用いた特定エージェントのシステムプロンプトの最適化である。
次に、オフライン最適化に対するオンラインと、グループ最適化に対する個人との2つの比較グループを用いて、システム性能に対する様々な最適化設定の影響について検討する。
グループ最適化では、1パスと複数パスの2つのプロンプト戦略について検討する。
本研究では,多様な評価次元で評価されたソフトウェア開発タスクに対処するロールベースマルチエージェントシステムに対する最適化手法の有効性を実証し,多エージェントシステムのグループ動作に対する多様な最適化設定の影響について検討し,今後の開発に向けた実践的な洞察を提供する。
関連論文リスト
- Review, Refine, Repeat: Understanding Iterative Decoding of AI Agents with Dynamic Evaluation and Selection [71.92083784393418]
Best-of-N (BON) サンプリングのような推論時間法は、パフォーマンスを改善するための単純で効果的な代替手段を提供する。
本稿では,反復的改良と動的候補評価,検証器による選択を併用した反復的エージェント復号(IAD)を提案する。
論文 参考訳（メタデータ） (2025-04-02T17:40:47Z) - A Survey on the Optimization of Large Language Model-based Agents [16.733092886211097]
大規模言語モデル(LLM)は様々な分野で広く採用されており、自律的な意思決定や対話的なタスクに欠かせないものとなっている。
しかしながら、現在の作業は通常、バニラLLMに適用された迅速な設計や微調整戦略に依存している。
LLMに基づくエージェント最適化手法の総合的なレビューを行い、パラメータ駆動型およびパラメータフリーな手法に分類する。
論文 参考訳（メタデータ） (2025-03-16T10:09:10Z) - Towards more Contextual Agents: An extractor-Generator Optimization Framework [0.0]
LLM(Large Language Model)ベースのエージェントは、幅広い汎用アプリケーションにわたる複雑なタスクの解決に顕著な成功を収めている。
しかしながら、それらのパフォーマンスは、専門産業や研究領域のようなコンテキスト固有のシナリオで劣化することが多い。
この課題に対処するため,本研究では,LLMエージェントの文脈適応性を高めるための体系的アプローチを提案する。
論文 参考訳（メタデータ） (2025-02-18T15:07:06Z) - Multi-Agent Design: Optimizing Agents with Better Prompts and Topologies [41.21314691388456]
対話やコラボレーションを行う複数のエージェントとして使用される大規模な言語モデルは、複雑なタスクの解決に優れています。
マルチエージェントシステム(MAS)のプロンプトやトポロジーの設計は本質的に複雑である。
複雑なMAS設計空間を効率的に活用するMAS最適化フレームワークであるMulti-Agent System Search (MASS)を提案する。
論文 参考訳（メタデータ） (2025-02-04T17:56:44Z) - Deep Insights into Automated Optimization with Large Language Models and Evolutionary Algorithms [3.833708891059351]
大きな言語モデル(LLM)と進化的アルゴリズム(EA)は、制限を克服し、最適化をより自動化するための有望な新しいアプローチを提供する。
LLMは最適化戦略の生成、洗練、解釈が可能な動的エージェントとして機能する。
EAは進化作用素を通して、複雑な解空間を効率的に探索する。
論文 参考訳（メタデータ） (2024-10-28T09:04:49Z) - Optima: Optimizing Effectiveness and Efficiency for LLM-Based Multi-Agent System [75.25394449773052]
大規模言語モデル (LLM) に基づくマルチエージェントシステム (MAS) は協調的問題解決において顕著な可能性を示している。
通信効率の低下、スケーラビリティの低下、効果的なパラメータ更新方法の欠如などです。
本稿では,コミュニケーション効率とタスク効率を両立させ,これらの課題に対処する新しいフレームワークOptimaを提案する。
論文 参考訳（メタデータ） (2024-10-10T17:00:06Z) - How Multimodal Integration Boost the Performance of LLM for
Optimization: Case Study on Capacitated Vehicle Routing Problems [33.33996058215666]
大規模言語モデル(LLM)は、複雑な最適化課題に対処するための有能なツールとして自らを位置づけている。
テキストと視覚の両方のプロンプトを処理可能なマルチモーダルLLMを用いて最適化性能を向上させることを提案する。
論文 参考訳（メタデータ） (2024-03-04T06:24:21Z) - Unleashing the Potential of Large Language Models as Prompt Optimizers: Analogical Analysis with Gradient-based Model Optimizers [108.72225067368592]
本稿では,大規模言語モデル(LLM)に基づくプロンプトの設計について検討する。
モデルパラメータ学習における2つの重要な要素を同定する。
グラディエントにインスパイアされた Prompt ベースの GPO を開発した。
論文 参考訳（メタデータ） (2024-02-27T15:05:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。