論文の概要: A Study on the Impact of Natural Language Differences in Prompts on Automatic Code Generation Using LLMs

• arxiv url: http://arxiv.org/abs/2609.18311v1
• Date: Wed, 16 Sep 2026 08:32:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-20 08:55:53.713022
• Title: A Study on the Impact of Natural Language Differences in Prompts on Automatic Code Generation Using LLMs
• Title（参考訳）: LLMを用いた自動コード生成におけるプロンプトの自然言語差の影響に関する研究
• Abstract要約: 本研究の目的は、入力の自然言語がLLMベースのコード生成性能にどのように影響するかを定量化することである。 コード生成における言語バイアスを定量化するために、各問題は英語、日本語、中国語で表される。 本研究では,翻訳前後の精度を比較し,翻訳の有効性を緩和戦略として評価する。
• 参考スコア（独自算出の注目度）: 37.09127555664535
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large Language Models (LLMs) have demonstrated remarkable performance in automatic code generation tasks, thereby encouraging new research in this area. Although numerous studies have explored LLM-based code generation, the impact of the natural language in input prompts remains unexplored (language bias). This study aims to (1) quantify how the natural language of input prompts influences LLM-based code generation performance and (2) evaluate a mitigation strategy to reduce language bias in code generation. We assess code generation Accuracy on AtCoder, LeetCode, and BigCodeBench. To quantify the language bias on code generation, each problem is presented in English, Japanese, and Chinese. We use seven LLMs (GPT-4o, o3-mini, DeepSeek-V3.2, Llama-3, Qwen2.5-Coder-14B, Qwen2.5-Coder-0.5B, and GitHub Copilot) and assess their performance in terms of Accuracy (the number of problems for which generated code passes all test cases). We compare Accuracy before and after translation to evaluate the effectiveness of translation as a mitigation strategy. We observed that the natural language of problem statements affects LLM-based code generation performance. Specifically, the languages officially supported by each dataset achieved the highest median Accuracy. Also, translation improved Accuracy, but its effectiveness was not consistent across datasets and model types. We found that AtCoder contained a particularly high proportion of narrative-style problem statements and longer problem statements. Natural language significantly affects LLM code generation accuracy. Translation can mitigate language bias in some settings, but its effectiveness depends on the dataset and model type. Furthermore, the narrative aspects and context length of input prompts are important factors related to language bias and the effectiveness of translation as a mitigation strategy.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、自動コード生成タスクにおいて顕著な性能を示し、この分野の新たな研究を奨励している。 LLMベースのコード生成について多くの研究がなされているが、入力プロンプトにおける自然言語の影響は未解明のままである(言語バイアス)。 本研究の目的は,(1)入力の自然言語がLLMベースのコード生成性能にどのように影響するかを定量化し,(2)コード生成における言語バイアスを低減するための緩和戦略を評価することである。 AtCoder、LeetCode、BigCodeBenchのコード生成精度を評価する。 コード生成における言語バイアスを定量化するために、各問題は英語、日本語、中国語で表される。 私たちは7つのLCM(GPT-4o、o3-mini、DeepSeek-V3.2、Llama-3、Qwen2.5-Coder-14B、Qwen2.5-Coder-0.5B、GitHub Copilot)を使用して、正確性(生成されたコードがすべてのテストケースを通過する問題の数)でパフォーマンスを評価します。 本研究では,翻訳前後の精度を比較し,翻訳の有効性を緩和戦略として評価する。 我々は,問題文の自然言語がLLMベースのコード生成性能に影響を与えることを観察した。 具体的には、各データセットが公式にサポートする言語は、最も高い中央値の精度を達成した。 また、翻訳によって精度が向上したが、その効果はデータセットやモデルタイプ間では一致しなかった。 AtCoderには、特に物語的な問題ステートメントと長い問題ステートメントが含まれていることが分かりました。 自然言語はLLMコード生成精度に大きな影響を及ぼす。 翻訳はいくつかの設定で言語のバイアスを軽減することができるが、その効果はデータセットとモデルタイプに依存する。 さらに、入力プロンプトの物語的側面と文脈長は、言語バイアスと緩和戦略としての翻訳の有効性に関連する重要な要因である。

関連論文リスト

• Large Language Models for Code Generation from Multilingual Prompts: A Curated Benchmark and a Study on Code Quality [45.28284966022665]
  本稿では,GPT-4o mini,DeepSeek,Claudeが生成したソースコードに,プログラミングタスクを記述するために使用する言語がどのように影響するかを検討する。 私たちは、オリジナルの英語のプロンプトを中国語、ヒンディー語、スペイン語、イタリア語に翻訳し、手作業でキュレートします。 テストパスレートによる機能的正当性,確立したコードメトリクスによる構造的品質,静的解析ツールによる検出など,複数の次元を用いて生成されたコードを評価する。
  論文  参考訳（メタデータ） (2026-07-16T10:35:25Z)
• Evaluating Non-English Developer Support in Machine Learning for Software Engineering [10.991188038644617]
  非英語のコードコメント生成と、そのような出力を評価するための現在の手法の信頼性について検討する。 我々は、オランダ語、英語、ギリシャ語、ポーランド語、中国語の5つの自然言語にまたがる5つのコードLLMを評価した。 以上の結果から, 生成能力は英語以外では著しく低下することがわかった。
  論文  参考訳（メタデータ） (2026-05-07T09:14:46Z)
• IFEvalCode: Controlled Code Generation [69.28317223249358]
  本稿では,Code LLMの命令追従能力を改善するために,前方および後方制約生成を提案する。 IFEvalCodeは、7つのプログラミング言語の1.6Kテストサンプルからなる多言語ベンチマークである。
  論文  参考訳（メタデータ） (2025-07-30T08:08:48Z)
• Function-to-Style Guidance of LLMs for Code Translation [59.487054943812836]
  コード翻訳における大規模言語モデルの性能向上を目的として,F2STransという関数型案内パラダイムを提案する。 提案手法は,(1)高品質なソースターゲットコードペアを用いた翻訳精度を最適化する機能学習という2つの重要な段階から構成される。 我々は,最新のソースコード,広範なテストケース,手動で注釈付き接頭辞翻訳を含む新しいコード翻訳ベンチマークを導入する。
  論文  参考訳（メタデータ） (2025-07-15T08:25:02Z)
• Specification-Driven Code Translation Powered by Large Language Models: How Far Are We? [8.534857249221844]
  コード翻訳の中間表現としてNL-specificationを用いる。 以上の結果から,NL特異化だけでは性能改善には至らないことが明らかとなった。 コード翻訳の性能解析に加えて,翻訳コードの品質についても検討する。
  論文  参考訳（メタデータ） (2024-12-05T20:10:21Z)
• From Effectiveness to Efficiency: Uncovering Linguistic Bias in Large Language Model-based Code Generation [30.914387085368734]
  大規模言語モデル(LLM)はコード生成に有望な能力を示している。 本稿では,英語と中国語のレンズによる潜在的な言語バイアスについて検討する。
  論文  参考訳（メタデータ） (2024-06-02T03:22:30Z)
• Testing LLMs on Code Generation with Varying Levels of Prompt Specificity [0.0]
  大規模言語モデル (LLM) は、人間のようなテキスト生成と処理を模倣する非並列的な技術を示している。 自然言語のプロンプトを実行可能なコードに変換する可能性は、ソフトウェア開発プラクティスの大きな変化を約束します。
  論文  参考訳（メタデータ） (2023-11-10T23:41:41Z)
• LeTI: Learning to Generate from Textual Interactions [60.425769582343506]
  本稿では,テキストインタラクション(LETI)から学習するLMの可能性を,バイナリラベルによる正当性をチェックするだけでなく,テキストフィードバックを通じて出力中のエラーをピンポイントし,説明する。 私たちの焦点はコード生成タスクであり、そこではモデルが自然言語命令に基づいてコードを生成する。 LETIは、目的のLMを用いて、自然言語命令、LM生成プログラム、テキストフィードバックの結合に基づいて、モデルを反復的に微調整する。
  論文  参考訳（メタデータ） (2023-05-17T15:53:31Z)
• LEVER: Learning to Verify Language-to-Code Generation with Execution [64.36459105535]
  本稿では,プログラムの実行結果の検証を学習することで,言語からコードへの生成を改善するシンプルな手法であるLEVERを提案する。 具体的には、LLMからサンプリングされたプログラムが、自然言語入力、プログラム自体とその実行結果に基づいて正しいか否かを判定するために、検証者を訓練する。 LEVER はベースコード LLMs (4.6% から 10.9% まで) を継続的に改善し、それらすべてに対して新しい最先端の結果を得る。
  論文  参考訳（メタデータ） (2023-02-16T18:23:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。