論文の概要: Characterizing the Failure Modes of LLMs in Resolving Real-World GitHub Issues

• arxiv url: http://arxiv.org/abs/2605.12270v1
• Date: Tue, 12 May 2026 15:34:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-13 21:48:56.968748
• Title: Characterizing the Failure Modes of LLMs in Resolving Real-World GitHub Issues
• Title（参考訳）: 現実のGitHub問題の解決におけるLLMの障害モードの特徴付け
• Authors: Yanjie Jiang, Yian Huang, Guancheng Wang, Junjie Chen, Hui Liu, Lionel Briand,
• Abstract要約: 大きな言語モデル(LLM)は、現実のGitHub問題を解決するために、ますます多くデプロイされている。 本稿では,SWE-bench検証データセット上で,Claude 4.5 Sonnet,Gemini 3 Pro,GPT-5の3つの最先端モデルを評価する。 全治験900回にわたる243回の失敗試験の根本原因と症状の厳密な手作業による分析を行った。
• 参考スコア（独自算出の注目度）: 10.34693262597204
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large Language Models (LLMs) are increasingly deployed to resolve real-world GitHub issues. However, despite their potential, the specific failure modes of these models in complex repair tasks remain poorly understood. To characterize how LLM behavior diverges from human developer practices, this paper evaluates three state-of-the-art models, i.e., Claude 4.5 Sonnet, Gemini 3 Pro, and GPT-5, on the SWE-bench Verified dataset. We conduct a rigorous manual analysis of the symptoms and root causes underlying 243 failed attempts across 900 total trials. Our investigation first yields a unified failure taxonomy encompassing five distinct stages of the repair pipeline, within which we categorize typical failure symptoms and their prevalence. Secondly, our findings reveal that for all evaluated LLMs, strategy formulation and logic synthesis constitutes the most error-prone stage, followed by problem understanding, whereas localization exhibits the lowest failure rate. This suggests that LLMs may excel at fault localization, a task traditionally regarded as one of the most formidable challenges in automated program repair. Furthermore, we observe that robustness and operational costs (particularly in failure scenarios) vary significantly across different models. Finally, we uncover the root causes of these failures and propose actionable strategies to mitigate them. A particularly notable finding is that existing evaluation harnesses occasionally misjudge correct patches due to superficial discrepancies or hidden constraints. Collectively, our insights may provide promising directions for enhancing the effectiveness and reliability of LLM-based issue resolution.
• Abstract（参考訳）: 大きな言語モデル(LLM)は、現実のGitHub問題を解決するために、ますます多くデプロイされている。 しかし、それらの可能性にもかかわらず、複雑な修理作業におけるこれらのモデルの特定の障害モードは、まだ理解されていない。 本稿では,SWE-bench検証データセット上で,LLMの動作が人間の開発プラクティスとどのように異なるかを明らかにするために,Claude 4.5 Sonnet,Gemini 3 Pro,GPT-5の3つの最先端モデルを評価する。 全治験900回にわたる243回の失敗試験の根本原因と症状の厳密な手作業による分析を行った。 本研究は、まず、修復パイプラインの5つの異なる段階を含む統一的な障害分類を示し、その内、典型的な障害症状とその頻度を分類する。 第2に, 評価された全てのLSMに対して, 戦略定式化と論理合成が最もエラーを起こしやすい段階であり, 次いで問題理解が続いており, ローカライゼーションは最小の故障率を示している。 このことは、LLMがフォールトローカライゼーションに優れていることを示唆している。 さらに、ロバスト性や運用コスト(特に障害シナリオ)が、異なるモデルによって大きく異なることを観察する。 最後に、これらの障害の根本原因を明らかにし、それらを緩和するための実行可能な戦略を提案する。 特に顕著な発見は、既存の評価は、表面上の不一致や隠された制約のために、時々正しくパッチを誤ることがあることである。 総合的に、我々の洞察はLLMベースの課題解決の有効性と信頼性を高めるための有望な方向性を提供するかもしれない。

関連論文リスト

• Where Do LLMs Still Struggle? An In-Depth Analysis of Code Generation Benchmarks [2.979785960419084]
  大規模言語モデル(LLM)はコード生成において大きな成功を収めています。 4つの人気のあるベンチマークでコード生成タスクを調べ、主要なLCMが失敗する可能性が最も高いものを特定しました。 分析の結果,LSMでは4つの欠陥パターンが繰り返し発生し,またベンチマークタスクに共通する合併症がしばしば失敗に繋がることが明らかとなった。
  論文  参考訳（メタデータ） (2025-11-06T13:38:03Z)
• Everything You Wanted to Know About LLM-based Vulnerability Detection But Were Afraid to Ask [30.819697001992154]
  大規模言語モデルは、自動脆弱性検出のための有望なツールである。 LLMは現実世界の脆弱性を検出するのに本当に効果的か? 本稿では, LLM は (i) 信頼できないこと, (ii) コードパッチに敏感であること, (iii) モデルスケールにまたがる性能評価の3つを, 広く支持されているコミュニティの信念に異議を唱える。
  論文  参考訳（メタデータ） (2025-04-18T05:32:47Z)
• Why Do Multi-Agent LLM Systems Fail? [87.90075668488434]
  MAST-Dataは7つの人気のあるMASフレームワークで収集された1600以上の注釈付きトレースの包括的なデータセットである。 我々はMAST(Multi-Agent System Failure Taxonomy)を初めて構築する。 MASTとMAST-Dataを利用して、モデル(GPT4、Claude 3、Qwen2.5、CodeLlama)とタスク(コーディング、数学、汎用エージェント)の障害パターンを分析します。
  論文  参考訳（メタデータ） (2025-03-17T19:04:38Z)
• A Real-World Benchmark for Evaluating Fine-Grained Issue Solving Capabilities of Large Language Models [11.087034068992653]
  FAUN-Eval は LLM の Fine-grAined issUe solviNg 機能を評価するために特別に設計されたベンチマークである。 30の有名なGitHubリポジトリからキュレートされたデータセットを使って構築されている。 FAUN-Evalでは,4つのクローズドソースモデルと6つのオープンソースモデルを含む10個のLLMを評価した。
  論文  参考訳（メタデータ） (2024-11-27T03:25:44Z)
• AutoDetect: Towards a Unified Framework for Automated Weakness Detection in Large Language Models [95.09157454599605]
  大規模言語モデル(LLM)はますます強力になってきていますが、それでも顕著ですが微妙な弱点があります。 従来のベンチマークアプローチでは、特定のモデルの欠陥を徹底的に特定することはできない。 さまざまなタスクにまたがるLLMの弱点を自動的に露呈する統合フレームワークであるAutoDetectを導入する。
  論文  参考訳（メタデータ） (2024-06-24T15:16:45Z)
• RUPBench: Benchmarking Reasoning Under Perturbations for Robustness Evaluation in Large Language Models [12.112914393948415]
  RUPBenchは,多種多様な推論タスクにわたる大規模言語モデル(LLM)を評価するために設計されたベンチマークである。 我々のベンチマークには15の推論データセットが組み込まれており、コモンセンス、算術、論理、知識集約推論に分類されている。 GPT-4o, Llama3, Phi-3, Gemmaといった最先端のLCMの原文および摂動データセットの性能を調べることにより, その堅牢性およびエラーパターンを詳細に解析する。
  論文  参考訳（メタデータ） (2024-06-16T17:26:44Z)
• Evaluation and Improvement of Fault Detection for Large Language Models [30.760472387136954]
  本稿では,大規模言語モデル(LLM)における既存の故障検出手法の有効性について検討する。 既存の手法の故障検出能力を高めるために, textbfMutation による予測を行う textbfConfidence textbfSmoothing フレームワーク textbfMuCS を提案する。
  論文  参考訳（メタデータ） (2024-04-14T07:06:12Z)
• Competition-Level Problems are Effective LLM Evaluators [121.15880285283116]
  本稿では,Codeforcesにおける最近のプログラミング問題の解決において,大規模言語モデル(LLM)の推論能力を評価することを目的とする。 まず,問題の発生時間,難易度,遭遇したエラーの種類など,様々な側面を考慮して,GPT-4の望ましくないゼロショット性能を総合的に評価する。 驚くべきことに、GPT-4のTheThoughtivedのパフォーマンスは、2021年9月以降、あらゆる困難と種類の問題に対して一貫して問題が減少するような崖を経験している。
  論文  参考訳（メタデータ） (2023-12-04T18:58:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。