論文の概要: A Large-Scale Study on the Development and Issues of Multi-Agent AI Systems
- arxiv url: http://arxiv.org/abs/2601.07136v1
- Date: Mon, 12 Jan 2026 02:07:15 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-01-13 19:08:01.17973
- Title: A Large-Scale Study on the Development and Issues of Multi-Agent AI Systems
- Title（参考訳）: マルチエージェントAIシステムの開発と課題に関する大規模研究
- Abstract要約: 本稿では8つの主要なシステムにまたがる42K以上のユニークなコミットと4.7K以上の解決問題を分析する。
私たちの分析では、持続性、安定性、バースト駆動の3つの異なる開発プロファイルを特定しました。
問題に関するデータによると、最も頻繁な懸念はバグ(22%)、インフラストラクチャ(14%)、エージェント調整の問題(10%)である。
- 参考スコア（独自算出の注目度）: 2.1215369927766714
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The rapid emergence of multi-agent AI systems (MAS), including LangChain, CrewAI, and AutoGen, has shaped how large language model (LLM) applications are developed and orchestrated. However, little is known about how these systems evolve and are maintained in practice. This paper presents the first large-scale empirical study of open-source MAS, analyzing over 42K unique commits and over 4.7K resolved issues across eight leading systems. Our analysis identifies three distinct development profiles: sustained, steady, and burst-driven. These profiles reflect substantial variation in ecosystem maturity. Perfective commits constitute 40.8% of all changes, suggesting that feature enhancement is prioritized over corrective maintenance (27.4%) and adaptive updates (24.3%). Data about issues shows that the most frequent concerns involve bugs (22%), infrastructure (14%), and agent coordination challenges (10%). Issue reporting also increased sharply across all frameworks starting in 2023. Median resolution times range from under one day to about two weeks, with distributions skewed toward fast responses but a minority of issues requiring extended attention. These results highlight both the momentum and the fragility of the current ecosystem, emphasizing the need for improved testing infrastructure, documentation quality, and maintenance practices to ensure long-term reliability and sustainability.
- Abstract（参考訳）: LangChain、CrewAI、AutoGenを含むマルチエージェントAIシステム(MAS)の急速な台頭は、大規模言語モデル(LLM)アプリケーションがどのように開発され、編成されるかを形作っている。
しかし、これらのシステムがどのように進化し、実際に維持されているかについてはほとんど分かっていない。
本稿では,オープンソースのMASに関する大規模な実証的研究を行い,42K以上のユニークなコミットと4.7K以上の解決問題を分析した。
私たちの分析では、持続性、安定性、バースト駆動の3つの異なる開発プロファイルを特定しました。
これらのプロファイルは生態系の成熟度にかなりの変化を反映している。
完全なコミットはすべての変更の40.8%を占めており、機能の強化が修正保守(27.4%)と適応更新(24.3%)よりも優先されていることを示唆している。
問題に関するデータによると、最も頻繁な懸念はバグ(22%)、インフラストラクチャ(14%)、エージェント調整の問題(10%)である。
問題報告は2023年からすべてのフレームワークで大幅に増加した。
メディアの解決期間は1日弱から2週間程度で、分布は急激な対応に傾いているが、一部の問題では注意を向ける必要がある。
これらの結果は、現在のエコシステムの勢いと脆弱さの両方を強調し、長期的な信頼性と持続可能性を保証するために、テストインフラストラクチャの改善、ドキュメント品質、メンテナンスプラクティスの必要性を強調している。
関連論文リスト
- DeepResearch Agent System [0.919770842662809]
DeepResearch Agent Systemは、ディープ情報検索、多段階推論、自律的な研究タスクのために設計された、大規模な言語モデルシステムである。
システムは128Kのコンテキストウィンドウをサポートし、18.7%の精度と23.4%のリコール改善をもたらす階層的な注意機構を備えている。
システムは、データ合成、トレーニング、推論コードを含む完全にオープンソースであり、学術研究、ビジネス分析、研究開発支援、教育の応用をサポートする。
論文 参考訳（メタデータ） (2026-07-30T01:15:47Z) - Quality and Security Signals in AI-Generated Python Refactoring Pull Requests [0.0]
AIDevデータセットからPythonプルリクエスト(PR)を実証研究する。
MLベースのPythonの品質評価ツールであるPyQuを用いてエージェントPRを分析する。
以上の結果から,エージェントのコミットが22.5%の品質特性を改善することが示唆された。
同時に、修正ファイルの24.17%が新しいPylint問題を導入している。
論文 参考訳（メタデータ） (2026-05-20T17:43:36Z) - Claw-Eval: Toward Trustworthy Evaluation of Autonomous Agents [66.97968363332465]
エージェントベンチマークの3つのギャップに対処するエンドツーエンド評価スイートであるClaw-Evalを紹介した。
Claw-Evalは3つのグループにまたがる9つのカテゴリにまたがる300の人間検証タスクで構成されている。
すべてのエージェントアクションは、3つの独立したエビデンスチャネルを通じて記録される。
論文 参考訳（メタデータ） (2026-04-07T17:43:18Z) - ClawArena: Benchmarking AI Agents in Evolving Information Environments [61.664633997138004]
ClawArenaは、進化する情報環境におけるAIエージェントの評価のためのベンチマークである。
それぞれのシナリオは、エージェントをノイズ、部分的、時には矛盾するトレースだけに露呈しながら、完全に隠された地上の真実を維持します。
評価は、マルチソースコンフリクト推論、動的信念修正、暗黙のパーソナライゼーションという3つの複合的な課題に基づいて構成される。
論文 参考訳（メタデータ） (2026-04-05T17:55:23Z) - Needle in the Repo: A Benchmark for Maintainability in AI-Generated Repository Edits [3.9532936038777144]
Needle in the Repo (NITR) は、リポジトリの動作的に正しい編集が維持可能な構造を保存するかどうかを評価するためのフレームワークである。
NITRは、ソフトウェアエンジニアリングの知恵を、小さな、現実的なマルチファイルに埋め込まれた制御されたプローブに蒸留する。
GPT、Claude、Gemini、Qwenの各ファミリーの23のコーディング構成を、直接推論とエージェントベースの設定の両方で評価する。
論文 参考訳（メタデータ） (2026-03-29T15:56:05Z) - Dynamic analysis enhances issue resolution [53.50448142467294]
DAIRA(Dynamic Analysis-enhanced Issue Resolution Agent)は、エージェントの推論サイクルに動的解析を組み込む自動修復フレームワークである。
テストトレース駆動の方法論によって駆動されるDAIRAは、軽量モニタを使用して重要なランタイムデータを抽出する。
Gemini 3 Flash Previewを使用すると、DAIRAは新たな最先端(SOTA)パフォーマンスを確立し、SWE-bench Verifiedデータセットで79.4%の解像度を達成する。
論文 参考訳（メタデータ） (2026-03-23T14:48:54Z) - Architecture-Aware Multi-Design Generation for Repository-Level Feature Addition [53.50448142467294]
RAIMは、リポジトリレベルの機能追加のための、多設計およびアーキテクチャ対応のフレームワークである。
複数の多様な実装設計を生成することで、線形パッチから切り離される。
NoCode-bench Verifiedデータセットの実験では、RAIMが新しい最先端のパフォーマンスを確立することが示されている。
論文 参考訳（メタデータ） (2026-03-02T12:50:40Z) - Data Annotation Quality Problems in AI-Enabled Perception System Development [3.716862357836751]
データアノテーションは、AI対応の知覚システムの開発において必須であるが、非常にエラーを起こしやすい。
我々は3つのデータ品質次元にまたがる18の繰り返しアノテーションエラーの分類法を開発した。
この研究は、信頼できるAI対応認識システムを構築するための共有語彙、診断ツールセット、行動可能なガイダンスを提供することで、SE4AIに貢献する。
論文 参考訳（メタデータ） (2025-11-20T14:30:51Z) - Eigen-1: Adaptive Multi-Agent Refinement with Monitor-Based RAG for Scientific Reasoning [53.45095336430027]
暗黙的な検索と構造化された協調を組み合わせた統合フレームワークを開発する。
Humanity's Last Exam (HLE) Bio/Chem Goldでは,48.3%の精度を実現している。
SuperGPQAとTRQAの結果はドメイン間の堅牢性を確認した。
論文 参考訳（メタデータ） (2025-09-25T14:05:55Z) - Agent KB: Leveraging Cross-Domain Experience for Agentic Problem Solving [62.71545696485824]
我々は,異種エージェントフレームワーク間のシームレスな体験共有を可能にするユニバーサルメモリ基盤であるAgent KBを紹介した。
Agent KBはトラジェクトリを構造化知識ベースに集約し、軽量APIを提供する。
我々は,GAIA,Humanity's Last Exam,GPQA,SWE-benchなどの主要フレームワークにまたがるエージェントを検証した。
論文 参考訳（メタデータ） (2025-07-08T17:59:22Z) - Retrieval-Augmented Generation with Conflicting Evidence [57.66282463340297]
大規模言語モデル (LLM) エージェントは、応答の事実性を改善するために、検索強化世代 (RAG) をますます採用している。
実際には、これらのシステムは曖昧なユーザクエリを処理し、複数のソースからの情報に衝突する可能性がある。
RAMDocs(Retrieval with Ambiguity and Misinformation in Documents)は,ユーザクエリのエビデンスを矛盾させるような,複雑で現実的なシナリオをシミュレートする新しいデータセットである。
論文 参考訳（メタデータ） (2025-04-17T16:46:11Z) - Benchmarking Reasoning Robustness in Large Language Models [76.79744000300363]
新規データや不完全データでは,性能が著しく低下することがわかった。
これらの結果は、厳密な論理的推論に対するリコールへの依存を浮き彫りにした。
本稿では,情報不足によって引き起こされる幻覚を利用して推論ギャップを明らかにする,Math-RoBと呼ばれる新しいベンチマークを提案する。
論文 参考訳（メタデータ） (2025-03-06T15:36:06Z) - A Comprehensive Study of Bug-Fix Patterns in Autonomous Driving Systems [16.72158049599736]
自律運転システム(ADSe)におけるバグフィックスパターンの実証的研究について述べる。
我々は、ApolloとAutowareという2つの主要な自動運転プロジェクトのコミット履歴とバグレポートを、1,331のバグ修正から分析した。
本研究は,経路計画やデータフロー,構成管理など,いくつかの主要なバグフィックスパターンを明らかにする。
論文 参考訳（メタデータ） (2025-02-04T02:13:05Z) - Lingma SWE-GPT: An Open Development-Process-Centric Language Model for Automated Software Improvement [62.94719119451089]
Lingma SWE-GPTシリーズは、現実世界のコード提出活動から学び、シミュレーションする。
Lingma SWE-GPT 72BはGitHubの30.20%の問題を解決する。
論文 参考訳（メタデータ） (2024-11-01T14:27:16Z) - Generative AI for Requirements Engineering: A Systematic Literature Review [1.6986294649170766]
生成事前学習型トランスモデルが現在の応用を支配している。
産業採用は未熟であり、90%以上の研究が初期開発に対応している。
GenAIベースのREの変革的な可能性にもかかわらず、いくつかの障壁は実践的な採用を妨げる。
論文 参考訳（メタデータ） (2024-09-10T02:44:39Z) - Cumulative Reasoning with Large Language Models [12.267474250936123]
Cumulative Reasoning (CR)は、大規模言語モデル(LLM)問題解決を強化する構造化フレームワークである。
CRはLLMを3つの異なる役割 - Proposer、Verifier(s)、Reporter - タスクを体系的に分解し、中間的推論ステップを生成し、検証し、ソリューションに構成する。
論文 参考訳（メタデータ） (2023-08-08T16:18:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。