論文の概要: RepoDebug: Repository-Level Multi-Task and Multi-Language Debugging Evaluation of Large Language Models

• arxiv url: http://arxiv.org/abs/2509.04078v2
• Date: Mon, 08 Sep 2025 08:22:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-09 14:07:03.381287
• Title: RepoDebug: Repository-Level Multi-Task and Multi-Language Debugging Evaluation of Large Language Models
• Title（参考訳）: RepoDebug: 大規模言語モデルのリポジトリレベルマルチタスクとマルチ言語デバッグ評価
• Authors: Jingjing Liu, Zeming Liu, Zihao Cheng, Mengliang He, Xiaoming Shi, Yuhang Guo, Xiangrong Zhu, Yuanfang Guo, Yunhong Wang, Haifeng Wang,
• Abstract要約: LLM(Large Language Models)は、コードのデバッグに非常に熟練している。 本稿ではマルチタスクおよび多言語リポジトリレベルのコードデバッグデータセットであるRepo Debugを紹介する。 最高のパフォーマンスモデルである Claude 3.5 Sonnect は,リポジトリレベルのデバッグでは依然としてうまく動作しない。
• 参考スコア（独自算出の注目度）: 49.83481415540291
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large Language Models (LLMs) have exhibited significant proficiency in code debugging, especially in automatic program repair, which may substantially reduce the time consumption of developers and enhance their efficiency. Significant advancements in debugging datasets have been made to promote the development of code debugging. However, these datasets primarily focus on assessing the LLM's function-level code repair capabilities, neglecting the more complex and realistic repository-level scenarios, which leads to an incomplete understanding of the LLM's challenges in repository-level debugging. While several repository-level datasets have been proposed, they often suffer from limitations such as limited diversity of tasks, languages, and error types. To mitigate this challenge, this paper introduces RepoDebug, a multi-task and multi-language repository-level code debugging dataset with 22 subtypes of errors that supports 8 commonly used programming languages and 3 debugging tasks. Furthermore, we conduct evaluation experiments on 10 LLMs, where Claude 3.5 Sonnect, the best-performing model, still cannot perform well in repository-level debugging.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、特に自動プログラムの修正において、コードのデバッグに非常に優れた能力を示しており、開発者の時間消費を大幅に削減し、効率を向上する可能性がある。 コードデバッグの開発を促進するために、デバッギングデータセットが大幅に進歩した。 しかし、これらのデータセットは主にLLMの機能レベルのコード修復機能の評価に重点を置いており、より複雑で現実的なリポジトリレベルのシナリオを無視している。 いくつかのリポジトリレベルのデータセットが提案されているが、タスクや言語、エラータイプなど、制限された制限に悩まされることが多い。 この課題を軽減するために,マルチタスクおよび多言語リポジトリレベルのコードデバッグデータセットであるRepoDebugを紹介した。 さらに,ベストパフォーマンスのモデルであるClaude 3.5 Sonnectは,リポジトリレベルのデバッグでは十分に動作しない。

関連論文リスト

• MRG-Bench: Evaluating and Exploring the Requirements of Context for Repository-Level Code Generation [0.7342677574855649]
  大規模言語モデルのより正確な評価を提供する新しいデータセットである textbfMRG-Bench を紹介する。 我々は,大規模言語モデル,長期コンテキストモデル,RAG関連手法を含む実験を行う。 その結果、ほとんどの手法は「ユーザ要求を理解することの難しさ」に悩まされており、割り当てられたタスクを正確に理解できないことがわかった。
  論文  参考訳（メタデータ） (2025-08-05T01:53:45Z)
• MdEval: Massively Multilingual Code Debugging [37.48700033342978]
  18のプログラミング言語の3.6Kテストサンプルを含む,最初の大規模多言語デバッグベンチマークを提案する。 本稿では, MDEVAL-INSTRUCT 命令コーパスを導入し, 正しい多言語クエリとソリューションにバグを注入する。 MDEVALにおける実験により,オープンソースモデルとクローズドソースLLM間の顕著な性能差が明らかになった。
  論文  参考訳（メタデータ） (2024-11-04T17:36:40Z)
• What's Wrong with Your Code Generated by Large Language Models? An Extensive Study [80.18342600996601]
  大規模言語モデル(LLM)は、標準解に比べて短いがより複雑なコードを生成する。 3つのカテゴリと12のサブカテゴリを含む誤ったコードに対するバグの分類を開発し、一般的なバグタイプに対する根本原因を分析する。 そこで本研究では,LLMがバグタイプやコンパイラフィードバックに基づいて生成したコードを批判し,修正することのできる,自己批判を導入した新たな学習自由反復手法を提案する。
  論文  参考訳（メタデータ） (2024-07-08T17:27:17Z)
• Prompting Large Language Models to Tackle the Full Software Development Lifecycle: A Case Study [72.24266814625685]
  DevEvalでソフトウェア開発ライフサイクル全体にわたって、大きな言語モデル(LLM)のパフォーマンスを調査します。 DevEvalは4つのプログラミング言語、複数のドメイン、高品質なデータ収集、各タスクに対して慎重に設計および検証されたメトリクスを備えている。 GPT-4を含む現在のLLMは、DevEvalで提示される課題を解決できないことが実証研究によって示されている。
  論文  参考訳（メタデータ） (2024-03-13T15:13:44Z)
• DebugBench: Evaluating Debugging Capability of Large Language Models [80.73121177868357]
  DebugBench - LLM(Large Language Models)のベンチマーク。 C++、Java、Pythonの4つの主要なバグカテゴリと18のマイナータイプをカバーする。 ゼロショットシナリオで2つの商用および4つのオープンソースモデルを評価する。
  論文  参考訳（メタデータ） (2024-01-09T15:46:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。