論文の概要: Large Language Models for Code Generation from Multilingual Prompts: A Curated Benchmark and a Study on Code Quality

• arxiv url: http://arxiv.org/abs/2607.14816v1
• Date: Thu, 16 Jul 2026 10:35:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-17 17:01:33.077199
• Title: Large Language Models for Code Generation from Multilingual Prompts: A Curated Benchmark and a Study on Code Quality
• Title（参考訳）: 多言語プロンプトからのコード生成のための大規模言語モデル:キュレートされたベンチマークとコード品質に関する研究
• Abstract要約: 本稿では,GPT-4o mini,DeepSeek,Claudeが生成したソースコードに,プログラミングタスクを記述するために使用する言語がどのように影響するかを検討する。 私たちは、オリジナルの英語のプロンプトを中国語、ヒンディー語、スペイン語、イタリア語に翻訳し、手作業でキュレートします。 テストパスレートによる機能的正当性,確立したコードメトリクスによる構造的品質,静的解析ツールによる検出など,複数の次元を用いて生成されたコードを評価する。
• 参考スコア（独自算出の注目度）: 45.28284966022665
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large Language Models (LLMs) perform differently on identical programming tasks when prompted in different natural languages, a phenomenon known as language bias. While this behavior has been widely studied for general text generation, its impact on code generation quality and programming conventions remains largely unexplored. We investigate how the language used to describe programming tasks affects the source code generated by GPT-4o mini, DeepSeek, and Claude. Our study comprises 460 coding tasks spanning Python (230) and Java (230). We translate and manually curate the original English prompts into Chinese, Hindi, Spanish, and Italian while preserving their technical meaning. We evaluate the generated code using multiple dimensions, including functional correctness through test pass rates, structural quality using established code metrics, issues detected by static analysis tools, and lexical characteristics such as the language used in identifiers and comments. Our results show that (i) English prompts do not consistently produce the best functional correctness or code quality, (ii) the impact of prompt language depends on both the programming language and the LLM, and (iii) generated code frequently mixes English with the prompt language in comments and string literals. These findings provide the first curated multilingual benchmark for studying language bias in code generation and offer insights for developing more robust multilingual code generation systems.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、言語バイアス(英語版)として知られる、異なる自然言語で誘導されるとき、同一のプログラミングタスクで異なる動作を行う。 この振る舞いは一般的なテキスト生成のために広く研究されてきたが、コード生成の品質やプログラミングの慣行に対する影響はいまだに未解明である。 本稿では,GPT-4o mini,DeepSeek,Claudeが生成したソースコードに,プログラミングタスクを記述するために使用する言語がどのように影響するかを検討する。 研究はPython(230)とJava(230)にまたがる460のコーディングタスクからなる。 私たちは、その技術的な意味を保ちながら、元の英語のプロンプトを中国語、ヒンディー語、スペイン語、イタリア語に翻訳し、手作業でキュレートします。 テストパス率による機能的正当性,確立されたコードメトリクスを用いた構造的品質,静的解析ツールで検出された問題,識別子やコメントで使用される言語などの語彙的特徴など,複数の次元を用いて生成されたコードを評価する。 私たちの結果は (i)英語のプロンプトは、常に最高の機能的正当性やコード品質を生成しない。 (ii)プロンプト言語の影響はプログラミング言語とLLMの両方に依存し、 (iii)生成されたコードは、しばしばコメントや文字列リテラルで英語とプロンプト言語を混ぜる。 これらの結果は、コード生成における言語バイアスを研究するための最初のキュレートされた多言語ベンチマークを提供し、より堅牢な多言語コード生成システムの開発のための洞察を提供する。

関連論文リスト

• IFEvalCode: Controlled Code Generation [69.28317223249358]
  本稿では,Code LLMの命令追従能力を改善するために,前方および後方制約生成を提案する。 IFEvalCodeは、7つのプログラミング言語の1.6Kテストサンプルからなる多言語ベンチマークである。
  論文  参考訳（メタデータ） (2025-07-30T08:08:48Z)
• Evaluating Programming Language Confusion [6.462594894731934]
  コードのための大規模言語モデル(Code LLM)は、ソフトウェア工学において大きな注目を集めている。 これらのモデルは、プログラミング概念の理解、アルゴリズムの実装、さらには異なるプログラミング言語のブリッジ化において、顕著な能力を示してきた。 これらの進歩にもかかわらず、コードLLMは、意図しない言語でコードを生成するために、しばしばプログラミング言語の混乱に苦しむ。
  論文  参考訳（メタデータ） (2025-03-17T18:14:15Z)
• mHumanEval -- A Multilingual Benchmark to Evaluate Large Language Models for Code Generation [28.531581489405745]
  mHumanEvalは200以上の自然言語でプロンプトをサポートする拡張ベンチマークである。 我々は15の多様な自然言語(NL)に対して専門的な人文翻訳を提供する。 我々は,SOTA (State-of-the-art) Code LLMの多言語コード生成能力を解析して結論付ける。
  論文  参考訳（メタデータ） (2024-10-19T08:44:26Z)
• CRUXEval-X: A Benchmark for Multilingual Code Reasoning, Understanding and Execution [50.1875460416205]
  CRUXEVAL-Xコード推論ベンチマークには19のプログラミング言語が含まれている。 各言語に対して少なくとも600人の被験者で構成され、合計19Kのコンテンツ一貫性テストがある。 Pythonでのみトレーニングされたモデルでさえ、他の言語で34.4%のPass@1を達成することができる。
  論文  参考訳（メタデータ） (2024-08-23T11:43:00Z)
• From Effectiveness to Efficiency: Uncovering Linguistic Bias in Large Language Model-based Code Generation [30.914387085368734]
  大規模言語モデル(LLM)はコード生成に有望な能力を示している。 本稿では,英語と中国語のレンズによる潜在的な言語バイアスについて検討する。
  論文  参考訳（メタデータ） (2024-06-02T03:22:30Z)
• AdaCCD: Adaptive Semantic Contrasts Discovery Based Cross Lingual Adaptation for Code Clone Detection [69.79627042058048]
  AdaCCDは、その言語でアノテーションを使わずに、新しい言語のクローンコードを検出する新しい言語間適応手法である。 5つのプログラミング言語からなる多言語コードクローン検出ベンチマークを構築し,AdaCCDの言語間適応性を評価する。
  論文  参考訳（メタデータ） (2023-11-13T12:20:48Z)
• MCoNaLa: A Benchmark for Code Generation from Multiple Natural Languages [76.93265104421559]
  英語以外の自然言語コマンドからコード生成をベンチマークします。 スペイン語,日本語,ロシア語の3言語で896個のNLコードペアを注釈した。 難易度はこれらの3つの言語によって異なるが、全てのシステムは英語にかなり遅れている。
  論文  参考訳（メタデータ） (2022-03-16T04:21:50Z)
• X-FACTR: Multilingual Factual Knowledge Retrieval from Pretrained Language Models [103.75890012041366]
  言語モデル(LM)は、事実の知識を捉えるのに驚くほど成功した。 しかし、LMの実際の表現能力の研究は、ほぼ間違いなく英語で行われている。 我々は23の語型的多様言語に対するクローゼスタイルプローブのベンチマークを作成する。
  論文  参考訳（メタデータ） (2020-10-13T05:29:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。