論文の概要: DistDebug-Bench: Can LLM Agents Diagnose Bugs in Distributed Systems?

• arxiv url: http://arxiv.org/abs/2611.03523v1
• Date: Mon, 02 Nov 2026 17:56:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-06 04:04:25.670133
• Title: DistDebug-Bench: Can LLM Agents Diagnose Bugs in Distributed Systems?
• Title（参考訳）: DistDebug-Bench: LLMエージェントは分散システムのバグを診断できるか?
• Abstract要約: Dist Debug-Benchは、エージェントがコードレベルで複雑なシステム障害を診断する能力を評価するためのベンチマークである。 広く使用されている11の分散システムから120の高品質な現実世界のバグをキュレートし、5つのプログラミング言語と10の障害パターンにまたがる。 繰り返し発生するギャップは、明確な推論構造の欠如と、一貫性のないツール使用範囲からの非決定性の欠如によるトンネルビジョンである。
• 参考スコア（独自算出の注目度）: 22.988647354797706
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: LLM agents show strong potential in software engineering tasks such as competitive programming and code synthesis. Existing benchmarks, however, largely focus on small-scale settings such as self-contained Python modules, leaving distributed systems, an essential class of production software, under-examined. We introduce DistDebug-Bench, a benchmark for evaluating agents' ability to diagnose complex-system failures at the code level. It curates 120 high-quality real-world bugs from 11 widely used distributed systems, spanning 5 programming languages and 10 failure patterns. Through an extensive evaluation of state-of-the-art LLMs and agents, we identify substantial gaps between current agents and real-world debugging tasks. A recurring gap is tunnel vision due to a lack of explicit reasoning structure and nondeterminism from inconsistent tool-use scope. The benchmark and evaluator are available at https://github.com/OrderLab/distdebug-bench, with agent traces and a leaderboard at https://distdebug.com.
• Abstract（参考訳）: LLMエージェントは、競争力のあるプログラミングやコード合成といったソフトウェア工学のタスクに強い可能性を示す。 しかし、既存のベンチマークは主に、自己完結型のPythonモジュールのような小規模設定に重点を置いており、分散システムは本番ソフトウェアの基本クラスであり、過小評価されていない。 コードレベルで複雑なシステム障害を診断するエージェントの能力を評価するためのベンチマークであるDistDebug-Benchを紹介する。 広く使用されている11の分散システムから120の高品質な現実世界のバグをキュレートし、5つのプログラミング言語と10の障害パターンにまたがる。 最先端のLCMとエージェントを広範囲に評価することにより、現在のエージェントと現実世界のデバッグタスクの間にかなりのギャップが見つかった。 繰り返し発生するギャップは、明確な推論構造の欠如と、一貫性のないツール使用範囲からの非決定性の欠如によるトンネルビジョンである。 ベンチマークと評価はhttps://github.com/OrderLab/distdebug-benchで,エージェントトレースとリーダボードはhttps://distdebug.comで公開されている。

関連論文リスト

• Observability and Fault Injection for LLM-Based Multi-Agent Systems in Software Engineering [16.65912184999416]
  大規模言語モデルに基づくマルチエージェントシステムは、ソフトウェア工学のタスクのためにますます研究されている。 OpenTelemetryベースの分散トレースとフォールトインジェクションを組み合わせた軽量でフレームワークに依存しないツールであるllmmas-otelを提案する。
  論文  参考訳（メタデータ） (2026-08-25T08:59:08Z)
• ProgramBench: Can Language Models Rebuild Programs From Scratch? [59.40748183470308]
  ProgramBenchは、ソフトウェアエンジニアリングエージェントがソフトウェアをホリシックに開発する能力を測定する。 エンドツーエンドの動作テストはエージェント駆動ファジィによって生成される。 モデルは、人間が書いたコードと大きく異なるモノリシックでシングルファイルの実装を好む。
  論文  参考訳（メタデータ） (2026-05-05T09:17:02Z)
• InspectCoder: Dynamic Analysis-Enabled Self Repair through interactive LLM-Debugger Collaboration [71.18377595277018]
  大きな言語モデル(LLM)は、診断が難しい複雑なロジックエラーを伴うバグの多いコードを生成することが多い。 対話型デバッガ制御による動的解析を LLM に委ねる初のエージェントプログラム修復システムである InspectCoder を提案する。
  論文  参考訳（メタデータ） (2025-10-21T06:26:29Z)
• Where LLM Agents Fail and How They can Learn From Failures [62.196870049524364]
  大規模言語モデル(LLM)エージェントは、複雑なマルチステップタスクの解決において有望であることを示す。 単一ルート原因エラーがその後の決定を通じて伝播する、障害のカスケードに対する脆弱性を増幅する。 現在のシステムは、モジュール的で体系的な方法でエージェントエラーを包括的に理解できるフレームワークを欠いている。 AgentErrorTaxonomyは、メモリ、リフレクション、計画、アクション、システムレベルの操作にまたがる障害モードのモジュール分類である。
  論文  参考訳（メタデータ） (2025-09-29T18:20:27Z)
• A Unified Debugging Approach via LLM-Based Multi-Agent Synergy [39.11825182386288]
  FixAgentはマルチエージェントのシナジーによる統合デバッグのためのエンドツーエンドフレームワークである。 1.25$times$ 2.56$times$レポレベルのベンチマークであるDefects4Jのバグを修正した。
  論文  参考訳（メタデータ） (2024-04-26T04:55:35Z)
• AgentFL: Scaling LLM-based Fault Localization to Project-Level Context [11.147750199280813]
  本稿では,ChatGPTに基づくマルチエージェントシステムであるAgentFLについて述べる。 人間の開発者の振る舞いをシミュレートすることで、AgentFLはFLタスクを3段階のプロセスとしてモデル化する。 広く使用されているDefects4J-V1.2.0ベンチマークの評価は、AgentFLがTop-1内の395のバグのうち157をローカライズできることを示している。
  論文  参考訳（メタデータ） (2024-03-25T01:58:19Z)
• DebugBench: Evaluating Debugging Capability of Large Language Models [80.73121177868357]
  DebugBench - LLM(Large Language Models)のベンチマーク。 C++、Java、Pythonの4つの主要なバグカテゴリと18のマイナータイプをカバーする。 ゼロショットシナリオで2つの商用および4つのオープンソースモデルを評価する。
  論文  参考訳（メタデータ） (2024-01-09T15:46:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。