論文の概要: PolyCodeEval: Benchmarking Multilingual Code Generation from Functions to Repositories
- arxiv url: http://arxiv.org/abs/2610.11618v1
- Date: Thu, 08 Oct 2026 09:58:32 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-10 02:36:53.939811
- Title: PolyCodeEval: Benchmarking Multilingual Code Generation from Functions to Repositories
- Title（参考訳）: PolyCodeEval:関数からリポジトリへの多言語コード生成のベンチマーク
- Abstract要約: PolyCodeEvalは、コード生成のための統一された多言語および多言語ベンチマークである。
関数をまたいだ2,590のコード生成タスクから、58の実際の実行可能オープンソースリポジトリから5つのプログラミング言語のリポジトリにまたがる。
- 参考スコア（独自算出の注目度）: 17.600556246852253
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: As large language models increasingly move toward repository-level software engineering, existing code-generation benchmarks remain fragmented across language coverage, task granularity, and evaluation protocols, impeding systematic comparison. To address this gap, we present PolyCodeEval, a unified multilingual and multi-granularity benchmark for code generation. It comprises 2,590 code generation tasks spanning functions to repositories, derived from 58 real, executable open-source repositories in five programming languages. All tasks are evaluated under a unified execution-based protocol with integration procedures tailored to their generation targets. Building on this benchmark, we evaluate frontier large language models, state-of-the-art specialized methods, and general coding agents. Our results show that existing approaches still struggle to correctly generate complete code fragments across granularities and languages. Specifically, the studied methods generate at most 71.7%, 76.7%, and 31.0% correct functions, files, and repositories, respectively, with performance varying widely across languages. Paired experiments further show that implementation context from related functions in the same file improves the executable correctness of function generation. Method rankings also vary across task granularities and programming languages, highlighting the importance of multilingual, multi-granularity evaluation for comprehensively assessing code generation capabilities.
- Abstract（参考訳）: 大規模言語モデルがリポジトリレベルのソフトウェアエンジニアリングへと向かっていくにつれ、既存のコード生成ベンチマークは、言語カバレッジ、タスクの粒度、評価プロトコルで断片化され、体系的な比較を妨げている。
このギャップに対処するため、コード生成のための多言語および多言語ベンチマークであるPolyCodeEvalを提案する。
関数からリポジトリにまたがる2,590のコード生成タスクで構成されており、5つのプログラミング言語で58の実際の実行可能オープンソースリポジトリから派生している。
すべてのタスクは、ジェネレーションターゲットに合わせた統合手順を備えた、統一された実行ベースのプロトコルで評価される。
このベンチマークに基づいて、フロンティアの大規模言語モデル、最先端の専門的手法、一般的なコーディングエージェントを評価する。
その結果、既存のアプローチでは、粒度や言語をまたいだ完全なコードフラグメントを正しく生成するのに依然として苦労しています。
具体的には、研究されたメソッドは、それぞれ71.7%、76.7%、そして31.0%の正確な関数、ファイル、リポジトリを生成する。
ペア実験により、同じファイル内の関連する関数の実装コンテキストが、関数生成の実行可能な正確性を改善することが示される。
メソッドランキングはタスクの粒度やプログラミング言語によって異なり、コード生成能力を総合的に評価するための多言語、多言語評価の重要性を強調している。
関連論文リスト
- Large Language Models for Code Generation from Multilingual Prompts: A Curated Benchmark and a Study on Code Quality [45.28284966022665]
本稿では,GPT-4o mini,DeepSeek,Claudeが生成したソースコードに,プログラミングタスクを記述するために使用する言語がどのように影響するかを検討する。
私たちは、オリジナルの英語のプロンプトを中国語、ヒンディー語、スペイン語、イタリア語に翻訳し、手作業でキュレートします。
テストパスレートによる機能的正当性,確立したコードメトリクスによる構造的品質,静的解析ツールによる検出など,複数の次元を用いて生成されたコードを評価する。
論文 参考訳（メタデータ） (2026-07-16T10:35:25Z) - A Multi-Language Object-Oriented Programming Benchmark for Large Language Models [61.267115598083315]
35の既存ベンチマークの調査では、3つの大きな不均衡が明らかになった。
85.7%は単一のプログラミング言語に重点を置いている。
94.3%は関数レベルまたはステートメントレベルのタスクのみを対象としている。
80%以上は平均10件未満のテストケースを含む。
論文 参考訳（メタデータ） (2025-09-30T11:30:08Z) - Beyond Language Barriers: Multi-Agent Coordination for Multi-Language Code Generation [8.896718697354187]
XL-CoGenは、複数のプログラミング言語で高品質なコードを生成する。
中間表現、コード生成、翻訳、自動修復を統合する。
論文 参考訳（メタデータ） (2025-09-24T09:18:08Z) - IFEvalCode: Controlled Code Generation [69.28317223249358]
本稿では,Code LLMの命令追従能力を改善するために,前方および後方制約生成を提案する。
IFEvalCodeは、7つのプログラミング言語の1.6Kテストサンプルからなる多言語ベンチマークである。
論文 参考訳（メタデータ） (2025-07-30T08:08:48Z) - Turning the Tide: Repository-based Code Reflection [52.13709676656648]
マルチファイルリポジトリコンテキストにおけるコード理解と生成を評価するベンチマークであるLiveRepoReflectionを紹介する。
多様性、正確性、難易度を確保するため、6ドル(約6,800円)のプログラミング言語で厳格にテストケースをフィルタリングしました。
RepoReflection-Instructは、さまざまなソースから派生した大規模で品質の高い命令チューニングデータセットである。
論文 参考訳（メタデータ） (2025-07-14T02:36:27Z) - M2rc-Eval: Massively Multilingual Repository-level Code Completion Evaluation [39.6123499117046]
18のプログラミング言語をカバーする多言語リポジトリレベルのコード補完ベンチマークを提案する。
異なる補完シナリオに2種類の細かいアノテーション(バケットレベルとセマンティックレベル)が提供される。
また、M2RC-INSTRUCTデータセットを多言語で作成し、既存のコード大言語モデルのリポジトリレベルのコード補完能力を向上させる。
論文 参考訳（メタデータ） (2024-10-28T15:58:41Z) - Multi-Programming Language Ensemble for Code Generation in Large Language Model [5.882816711878273]
大規模言語モデル(LLM)は、特にワンパスコード生成において、コード生成を大幅に改善した。
既存のアプローチのほとんどは、単一のプログラミング言語でコードを生成することだけに重点を置いており、LLMの多言語機能を活用する可能性を見越している。
本稿では,複数の言語にまたがるコード生成を利用して全体的な性能を向上させる,新しいアンサンブルに基づくMulti-Programming Language Ensemble (MPLE)を提案する。
論文 参考訳（メタデータ） (2024-09-06T08:31:18Z) - Language Agnostic Code Embeddings [61.84835551549612]
私たちは、さまざまなプログラミング言語にまたがるコード埋め込みの言語間機能に重点を置いています。
1つは特定の言語のニュアンスと構文に深く結びついており、もう1つは詳細を知らない。
我々は、この言語固有のコンポーネントを分離して排除すると、下流のコード検索タスクが大幅に改善されることを示した。
論文 参考訳（メタデータ） (2023-10-25T17:34:52Z) - xCodeEval: A Large Scale Multilingual Multitask Benchmark for Code
Understanding, Generation, Translation and Retrieval [32.60391966381949]
我々はこれまでで最大のマルチ言語マルチタスクベンチマークであるxCodeEvalを紹介した。
コード理解、生成、翻訳、検索を含む合計7ドルのタスクが特徴だ。
xCodeEvalは実行ベースの評価を採用し、多言語コード実行エンジンであるExecEvalを提供する。
論文 参考訳（メタデータ） (2023-03-06T10:08:51Z) - ReACC: A Retrieval-Augmented Code Completion Framework [53.49707123661763]
本稿では,語彙のコピーと類似したセマンティクスを持つコード参照の両方を検索により活用する検索拡張コード補完フレームワークを提案する。
我々は,Python および Java プログラミング言語のコード補完タスクにおけるアプローチを評価し,CodeXGLUE ベンチマークで最先端のパフォーマンスを実現する。
論文 参考訳（メタデータ） (2022-03-15T08:25:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。