論文の概要: XREPOTEST: Benchmarking Multilingual Repository-Level Unit Test Generation for Large Language Models
- arxiv url: http://arxiv.org/abs/2608.25939v1
- Date: Wed, 26 Aug 2026 15:53:43 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-27 14:15:15.89385
- Title: XREPOTEST: Benchmarking Multilingual Repository-Level Unit Test Generation for Large Language Models
- Title（参考訳）: XREPOTEST:大規模言語モデルのための多言語リポジトリレベル単体テスト生成のベンチマーク
- Abstract要約: XREPOTESTは5つのプログラミング言語にまたがるユニットテスト生成のためのリポジトリレベルのベンチマークである。
XREPOTESTはコンテナ化された実行フレームワークを使用して、現実的なリポジトリ制約の下でテストを評価する。
Claude 4.5、GPT-5.2、DeepSeek V4-Pro、およびQwenファミリを含む14の最先端のLLMによる実験は、スタンドアロンとリポジトリレベルのパフォーマンスの間に大きなギャップがあることを示している。
- 参考スコア（独自算出の注目度）: 8.178653684643876
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large language models (LLMs) have shown promise for automated unit test generation, but existing evaluations largely rely on standalone settings and a narrow set of programming languages, overestimating real-world readiness. We introduce XREPOTEST, a multilingual repository-level benchmark for unit test generation spanning five underexplored languages: Rust, Go, Julia, PHP, and Ruby. XREPOTEST evaluates tests under realistic repository constraints using a containerized execution framework and multiple context augmentation strategies, including file-level, LSP-based, and retrieval-based context. Beyond standard metrics such as test pass rate and coverage, we propose Invocation Rate (IR) to assess whether generated tests meaningfully exercise the intended functionality. Experiments with 14 state-of-the-art LLMs, including Claude 4.5, GPT-5.2, DeepSeek V4-Pro, and Qwen families, reveal a substantial gap between standalone and repository-level performance, as well as trade-offs between richer context and test reliability. Overall, XREPOTEST provides a challenging and informative benchmark to advance scalable and robust unit test generation in realistic software environments. The dataset and code are publicly available at: https://github.com/solis-team/XRepoTest
- Abstract（参考訳）: 大規模言語モデル(LLM)は自動単体テスト生成を約束しているが、既存の評価は主にスタンドアロンの設定と限られたプログラミング言語のセットに依存しており、実際の準備が過大評価されている。
XREPOTESTは、Rust、Go、Julia、PHP、Rubyという5つの未調査言語にまたがる、ユニットテスト生成のための多言語リポジトリレベルのベンチマークである。
XREPOTESTは、コンテナ化された実行フレームワークと、ファイルレベル、LSPベース、検索ベースのコンテキストを含む複数のコンテキスト拡張戦略を使用して、現実的なリポジトリ制約下でテストを評価する。
テストパス率やカバレッジといった標準的な指標以外にも、生成したテストが意図した機能を有意義に動作させるかどうかを評価するために、呼び出し率(IR)を提案します。
Claude 4.5、GPT-5.2、DeepSeek V4-Pro、およびQwenファミリを含む14の最先端LLMによる実験は、スタンドアローンとリポジトリレベルのパフォーマンスと、よりリッチなコンテキストとテスト信頼性のトレードオフを明らかにしている。
全体として、XREPOTESTは、現実的なソフトウェア環境でスケーラブルで堅牢な単体テスト生成を前進させるための、挑戦的で有益なベンチマークを提供する。
データセットとコードは、https://github.com/solis-team/XRepoTestで公開されている。
関連論文リスト
- LLMs for Automated Unit Test Generation and Assessment in Java: The AgoneTest Framework [2.501198441875755]
AgoneTestは、Javaにおける大規模言語モデル生成ユニットテストの評価フレームワークである。
コンパイルされるテストのサブセットでは、LLMの生成したテストは、カバレッジと欠陥検出の点で、人間によるテストと一致またはオーバーすることができる。
論文 参考訳（メタデータ） (2025-11-25T15:33:00Z) - A Multi-Language Object-Oriented Programming Benchmark for Large Language Models [61.267115598083315]
35の既存ベンチマークの調査では、3つの大きな不均衡が明らかになった。
85.7%は単一のプログラミング言語に重点を置いている。
94.3%は関数レベルまたはステートメントレベルのタスクのみを対象としている。
80%以上は平均10件未満のテストケースを含む。
論文 参考訳（メタデータ） (2025-09-30T11:30:08Z) - Rethinking Testing for LLM Applications: Characteristics, Challenges, and a Lightweight Interaction Protocol [83.83217247686402]
大言語モデル(LLM)は、単純なテキストジェネレータから、検索強化、ツール呼び出し、マルチターンインタラクションを統合する複雑なソフトウェアシステムへと進化してきた。
その固有の非決定主義、ダイナミズム、文脈依存は品質保証に根本的な課題をもたらす。
本稿では,LLMアプリケーションを3層アーキテクチャに分解する: textbftextitSystem Shell Layer, textbftextitPrompt Orchestration Layer, textbftextitLLM Inference Core。
論文 参考訳（メタデータ） (2025-08-28T13:00:28Z) - MRG-Bench: Evaluating and Exploring the Requirements of Context for Repository-Level Code Generation [0.7342677574855649]
大規模言語モデルのより正確な評価を提供する新しいデータセットである textbfMRG-Bench を紹介する。
我々は,大規模言語モデル,長期コンテキストモデル,RAG関連手法を含む実験を行う。
その結果、ほとんどの手法は「ユーザ要求を理解することの難しさ」に悩まされており、割り当てられたタスクを正確に理解できないことがわかった。
論文 参考訳（メタデータ） (2025-08-05T01:53:45Z) - SwingArena: Competitive Programming Arena for Long-context GitHub Issue Solving [90.32201622392137]
We present SwingArena, a competitive evaluation framework for Large Language Models (LLMs)。
従来の静的ベンチマークとは異なり、SwingArenaはLLMをイテレーションとして組み合わせて、テストケースを作成し、継続的インテグレーション(CI)パイプラインを通じてパッチを検証するパッチとレビュアーを生成することで、ソフトウェアのコラボレーションプロセスをモデル化する。
論文 参考訳（メタデータ） (2025-05-29T18:28:02Z) - TestForge: Feedback-Driven, Agentic Test Suite Generation [7.288137795439405]
TestForgeは、現実世界のコードのための高品質なテストスイートをコスト効率よく生成するように設計されたエージェントユニットテスティングフレームワークである。
TestForgeは、最先端の検索ベースの技術と比較して、より自然で理解しやすいテストを生成する。
論文 参考訳（メタデータ） (2025-03-18T20:21:44Z) - DI-BENCH: Benchmarking Large Language Models on Dependency Inference with Testable Repositories at Scale [39.92722886613929]
DI-BENCHは、大規模言語モデルの依存性推論能力を評価するために設計された、大規模なベンチマークおよび評価フレームワークである。
ベンチマークでは、Python、C#、Rust、JavaScriptにまたがるテスト環境を備えた581のリポジトリが提供されている。
テキストと実行ベースのメトリクスによる大規模な実験により、現在の最高のパフォーマンスモデルは42.9%の実行パス率しか達成していないことが明らかになった。
論文 参考訳（メタデータ） (2025-01-23T14:27:11Z) - LlamaRestTest: Effective REST API Testing with Small Language Models [50.058600784556816]
LlamaRestTestは、2つのLLM(Large Language Models)を使って現実的なテストインプットを生成する新しいアプローチである。
私たちは、GPTを使った仕様強化ツールであるRESTGPTなど、最先端のREST APIテストツールに対して、これを評価しています。
私たちの研究は、REST APIテストにおいて、小さな言語モデルは、大きな言語モデルと同様に、あるいは、より良く機能することができることを示しています。
論文 参考訳（メタデータ） (2025-01-15T05:51:20Z) - Commit0: Library Generation from Scratch [77.38414688148006]
Commit0は、AIエージェントにスクラッチからライブラリを書くよう促すベンチマークである。
エージェントには、ライブラリのAPIを概説する仕様文書と、インタラクティブなユニットテストスイートが提供されている。
Commit0はまた、モデルが生成したコードに対して静的解析と実行フィードバックを受け取る、インタラクティブな環境も提供する。
論文 参考訳（メタデータ） (2024-12-02T18:11:30Z) - RustRepoTrans: Repository-level Code Translation Benchmark Targeting Rust [50.65321080814249]
RustRepoTransは、インクリメンタル翻訳をターゲットにした、最初のリポジトリレベルのコンテキストコード変換ベンチマークである。
複雑な翻訳シナリオの制約を評価するために, 7つの代表的なLLMを評価し, それらの誤差を分析した。
論文 参考訳（メタデータ） (2024-11-21T10:00:52Z) - ASTER: Natural and Multi-language Unit Test Generation with LLMs [6.259245181881262]
静的解析を組み込んだジェネリックパイプラインを記述し,コンパイル可能な高カバレッジテストケースの生成においてLCMをガイドする。
コードカバレッジとテスト自然性の観点から,生成したテストの品質を評価するための実証的研究を行った。
論文 参考訳（メタデータ） (2024-09-04T21:46:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。