論文の概要: Multi-SWT-Bench: A Multilingual Benchmark for Reproduction Test Generation

• arxiv url: http://arxiv.org/abs/2609.34752v1
• Date: Mon, 28 Sep 2026 09:41:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-03 03:09:54.253056
• Title: Multi-SWT-Bench: A Multilingual Benchmark for Reproduction Test Generation
• Title（参考訳）: Multi-SWT-Bench: 再現テスト生成のための多言語ベンチマーク
• Abstract要約: 8つのプログラミング言語にまたがる1,963インスタンスからなる再生テスト生成のベンチマークであるMulti-SWT-BENCHを紹介する。 我々は,4つの代表的手法で最先端のLLMを実証研究し,プログラム言語間の故障解析を行う。 評価されたすべてのメソッドとLLMで、Pythonでの成功率は全言語での総成功率を超え、C++は特に低い成功率を示している。
• 参考スコア（独自算出の注目度）: 5.700741359240872
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Reproduction test generation translates a natural-language issue description into executable tests that fail on the original code and pass after the issue is resolved, providing executable evidence for verifying candidate patches. Existing benchmarks are constructed for individual programming languages, preventing a unified evaluation across diverse programming ecosystems. To address this limitation, we introduce MULTI-SWT-BENCH, a multilingual benchmark for reproduction test generation consisting of 1,963 instances across eight programming languages: Python, Java, TypeScript, JavaScript, Go, Rust, C, and C++. Using this benchmark, we conduct an empirical study of state-of-the-art LLMs with four representative methods (MSWE-agent, MOpenHands, Codex, and Claude Code) and perform a failure analysis across programming languages. Our evaluation reveals a systematic language gap. Across every evaluated method and LLM, the success rate on Python exceeds the aggregate success rate across all languages, while C++ exhibits particularly low success rates. Our failure analysis identifies both language-specific challenges arising from repository testing conventions and cross-language challenges in inferring implicit setup requirements and preserving the target behavior through iterative revisions. These findings demonstrate the importance of multilingual evaluation and provide actionable directions for developing reproduction test generation methods that generalize across software ecosystems and reliably capture issue-specific behavior.
• Abstract（参考訳）: 再現テスト生成は、自然言語のイシュー記述を、元のコードで失敗し、問題が解決した後にパスする実行可能なテストに変換することで、候補パッチを検証する実行可能な証拠を提供する。 既存のベンチマークは個々のプログラミング言語向けに構築されており、多様なプログラミングエコシステムにおける統一的な評価を妨げている。 この制限に対処するため、Python、Java、TypeScript、JavaScript、Go、Rust、C、C++という8つのプログラミング言語にわたる1,963インスタンスからなる再現テスト生成のための多言語ベンチマークであるMulti-SWT-BENCHを紹介した。 このベンチマークを用いて、4つの代表的手法(MSWE-agent, MOpenHands, Codex, Claude Code)を用いて最先端LLMの実証的研究を行い、プログラム言語間での故障解析を行う。 我々の評価は、体系的な言語ギャップを明らかにする。 評価されたすべてのメソッドとLLMで、Pythonでの成功率は全言語での総成功率を超え、C++は特に低い成功率を示している。 我々の失敗分析では、リポジトリテストの慣例から生じる言語固有の課題と、暗黙的なセットアップ要件の推測と反復的なリビジョンによる目標動作の保存における言語横断的な課題の両方を特定します。 これらの結果は、多言語評価の重要性を示し、ソフトウェアエコシステム全体にわたって一般化し、問題固有の振る舞いを確実に把握する再生テスト生成手法を開発するための実用的な方向性を提供する。

関連論文リスト

• Large Language Models for Code Generation from Multilingual Prompts: A Curated Benchmark and a Study on Code Quality [45.28284966022665]
  本稿では,GPT-4o mini,DeepSeek,Claudeが生成したソースコードに,プログラミングタスクを記述するために使用する言語がどのように影響するかを検討する。 私たちは、オリジナルの英語のプロンプトを中国語、ヒンディー語、スペイン語、イタリア語に翻訳し、手作業でキュレートします。 テストパスレートによる機能的正当性,確立したコードメトリクスによる構造的品質,静的解析ツールによる検出など,複数の次元を用いて生成されたコードを評価する。
  論文  参考訳（メタデータ） (2026-07-16T10:35:25Z)
• UA-Code-Bench: A Competitive Programming Benchmark for Evaluating LLM Code Generation in Ukrainian [0.42970700836450487]
  本稿では,ウクライナにおける言語モデルのコード生成と競合するプログラム問題解決能力の徹底的な評価を目的とした,新しいオープンソースベンチマークであるUA-Code-Benchを紹介する。 ベンチマークには、Eolympプラットフォームから500の問題が含まれており、非常に簡単なものから非常に難しいものまで、5つの複雑性レベルに均等に分散している。 その結果,OpenAI o3 や GPT-5 のようなトップパフォーマンスモデルでさえ,その半分しか解けていないことがわかった。
  論文  参考訳（メタデータ） (2025-11-07T07:24:56Z)
• A Multi-Language Object-Oriented Programming Benchmark for Large Language Models [61.267115598083315]
  35の既存ベンチマークの調査では、3つの大きな不均衡が明らかになった。 85.7%は単一のプログラミング言語に重点を置いている。 94.3%は関数レベルまたはステートメントレベルのタスクのみを対象としている。 80%以上は平均10件未満のテストケースを含む。
  論文  参考訳（メタデータ） (2025-09-30T11:30:08Z)
• mHumanEval -- A Multilingual Benchmark to Evaluate Large Language Models for Code Generation [28.531581489405745]
  mHumanEvalは200以上の自然言語でプロンプトをサポートする拡張ベンチマークである。 我々は15の多様な自然言語(NL)に対して専門的な人文翻訳を提供する。 我々は,SOTA (State-of-the-art) Code LLMの多言語コード生成能力を解析して結論付ける。
  論文  参考訳（メタデータ） (2024-10-19T08:44:26Z)
• CRUXEval-X: A Benchmark for Multilingual Code Reasoning, Understanding and Execution [50.1875460416205]
  CRUXEVAL-Xコード推論ベンチマークには19のプログラミング言語が含まれている。 各言語に対して少なくとも600人の被験者で構成され、合計19Kのコンテンツ一貫性テストがある。 Pythonでのみトレーニングされたモデルでさえ、他の言語で34.4%のPass@1を達成することができる。
  論文  参考訳（メタデータ） (2024-08-23T11:43:00Z)
• AdaCCD: Adaptive Semantic Contrasts Discovery Based Cross Lingual Adaptation for Code Clone Detection [69.79627042058048]
  AdaCCDは、その言語でアノテーションを使わずに、新しい言語のクローンコードを検出する新しい言語間適応手法である。 5つのプログラミング言語からなる多言語コードクローン検出ベンチマークを構築し,AdaCCDの言語間適応性を評価する。
  論文  参考訳（メタデータ） (2023-11-13T12:20:48Z)
• Zero-Shot Cross-lingual Semantic Parsing [56.95036511882921]
  7つのテスト言語に対する並列データを持たないゼロショット問題として,言語間セマンティックパーシングについて検討した。 英文論理形式ペアデータのみを用いて解析知識を付加言語に転送するマルチタスクエンコーダデコーダモデルを提案する。 このシステムは、ゼロショット解析を潜時空間アライメント問題としてフレーム化し、事前訓練されたモデルを改善し、最小のクロスリンガル転送ペナルティで論理形式を生成することができる。
  論文  参考訳（メタデータ） (2021-04-15T16:08:43Z)
• XTREME: A Massively Multilingual Multi-task Benchmark for Evaluating Cross-lingual Generalization [128.37244072182506]
  言語間TRansfer Evaluation of Multilinguals XTREMEは、40言語および9タスクにわたる多言語表現の言語間一般化能力を評価するためのベンチマークである。 我々は、英語でテストされたモデルは、多くのタスクにおいて人間のパフォーマンスに達するが、言語間変換されたモデルの性能にはまだ大きなギャップがあることを示した。
  論文  参考訳（メタデータ） (2020-03-24T19:09:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。