論文の概要: How Natural Language Proficiency Shapes GenAI Code for Software Engineering Tasks

• arxiv url: http://arxiv.org/abs/2511.04115v1
• Date: Thu, 06 Nov 2025 07:06:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-07 20:17:53.336568
• Title: How Natural Language Proficiency Shapes GenAI Code for Software Engineering Tasks
• Title（参考訳）: 自然言語の習熟度がソフトウエアエンジニアリングタスクのGenAIコードをどのように形作るか
• Authors: Ruksit Rojpaisarnkit, Youmei Fan, Kenichi Matsumoto, Raula Gaikovina Kula,
• Abstract要約: 本稿では,Large Language Models (LLMs) が生成するコードの習熟度と正しさに,英語の習熟度自体が影響を及ぼすかを検討する。 我々は164のプログラミングタスクにおいて、基本的なプロンプトから高度なプロンプトの英語の習熟度を変化させ、その結果のコード習熟度と正しさを測定した。 結果のコード習熟度への影響はモデルに依存したものの、高い習熟率のプロンプトが一貫してすべてのモデルに対してより正確なコードを出力していることが判明した。
• 参考スコア（独自算出の注目度）: 3.487093088832285
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: With the widespread adoption of Foundation Model (FM)-powered tools in software engineering, the natural language prompt has become a critical interface between developers and Large Language Models (LLMs). While much research has focused on prompt structure, the natural language proficiency is an underexplored factor that can influence the quality of generated code. This paper investigates whether the English language proficiency itself independent of the prompting technique affects the proficiency and correctness of code generated by LLMs. Using the HumanEval dataset, we systematically varied the English proficiency of prompts from basic to advanced for 164 programming tasks and measured the resulting code proficiency and correctness. Our findings show that LLMs default to an intermediate (B2) natural language level. While the effect on the resulting code proficiency was model-dependent, we found that higher-proficiency prompts consistently yielded more correct code across all models. These results demonstrate that natural language proficiency is a key lever for controlling code generation, helping developers tailor AI output and improve the reliability of solutions.
• Abstract（参考訳）: ソフトウェア工学におけるファンデーションモデル(FM)ベースのツールの普及により、自然言語プロンプトは開発者とLLM(Large Language Models)の間で重要なインターフェースとなっている。 多くの研究が迅速な構造に焦点を当てているが、自然言語の習熟度は、生成されたコードの品質に影響を与える未発見の要素である。 本稿では,英語の習熟度自体がLLMの習熟度や正確性に影響を及ぼすかどうかを考察する。 我々はHumanEvalデータセットを用いて、164のプログラミングタスクの基本から高度なプロンプトの英語の習熟度を体系的に変化させ、その結果のコード習熟度と正しさを測定した。 以上の結果から, LLM は中間言語レベル (B2) にデフォルトであることがわかった。 結果のコード習熟度への影響はモデルに依存したものの、高い習熟率のプロンプトが一貫してすべてのモデルに対してより正確なコードを出力していることが判明した。 これらの結果は、自然言語の習熟度がコード生成を制御するためのキーレバーであり、開発者がAI出力をカスタマイズし、ソリューションの信頼性を向上させるのに役立つことを示している。

関連論文リスト

• CodeSimpleQA: Scaling Factuality in Code Large Language Models [55.705748501461294]
  本稿では,コード関連質問への回答において,LLMの実際の精度を評価するための総合的なベンチマークであるCodeSimpleQAを提案する。 また,66万サンプルの大規模インストラクションコーパスであるCodeSimpleQA-Instructを作成し,教師付き微調整と強化学習を組み合わせたポストトレーニングフレームワークを開発した。
  論文  参考訳（メタデータ） (2025-12-22T14:27:17Z)
• From Code Foundation Models to Agents and Applications: A Practical Guide to Code Intelligence [150.3696990310269]
  大規模言語モデル(LLM)は、自然言語記述を直接関数コードに変換することによって、自動ソフトウェア開発を変革した。 コードLLMに関する総合的な合成と実践的ガイド(一連の解析および探索実験)を提供する。 一般LLM(GPT-4, Claude, LLaMA)とコード特殊化LLM(StarCoder, Code LLaMA, DeepSeek-Coder, QwenCoder)のコード機能の解析を行う。
  論文  参考訳（メタデータ） (2025-11-23T17:09:34Z)
• Bridging LLM-Generated Code and Requirements: Reverse Generation technique and SBC Metric for Developer Insights [0.0]
  本稿では,SBCスコアと呼ばれる新しいスコアリング機構を提案する。 これは、大規模言語モデルの自然言語生成能力を活用するリバースジェネレーション技術に基づいている。 直接コード解析とは異なり、我々のアプローチはAI生成コードからシステム要求を再構築し、元の仕様と比較する。
  論文  参考訳（メタデータ） (2025-02-11T01:12:11Z)
• Large Language Models are Interpretable Learners [53.56735770834617]
  本稿では,Large Language Models(LLM)とシンボルプログラムの組み合わせによって,表現性と解釈可能性のギャップを埋めることができることを示す。 自然言語プロンプトを持つ事前訓練されたLLMは、生の入力を自然言語の概念に変換することができる解釈可能な膨大なモジュールセットを提供する。 LSPが学んだ知識は自然言語の記述と記号規則の組み合わせであり、人間(解釈可能)や他のLLMに容易に転送できる。
  論文  参考訳（メタデータ） (2024-06-25T02:18:15Z)
• Synthetic Programming Elicitation for Text-to-Code in Very Low-Resource Programming and Formal Languages [21.18996339478024]
  SPEAC(emphsynthetic programming elicitation and compilation)を紹介する。 SPEACは、より頻繁に、意味的正しさを犠牲にすることなく、構文的に正しいプログラムを生成する。 UCLID5形式検証言語のケーススタディにおいて,SPEACの性能を実証的に評価した。
  論文  参考訳（メタデータ） (2024-06-05T22:16:19Z)
• From Effectiveness to Efficiency: Uncovering Linguistic Bias in Large Language Model-based Code Generation [30.914387085368734]
  大規模言語モデル(LLM)はコード生成に有望な能力を示している。 本稿では,英語と中国語のレンズによる潜在的な言語バイアスについて検討する。
  論文  参考訳（メタデータ） (2024-06-02T03:22:30Z)
• CodeGRAG: Bridging the Gap between Natural Language and Programming Language via Graphical Retrieval Augmented Generation [58.84212778960507]
  CodeGRAGは、制御フローとそれらのデータフローに基づいて、コードブロックのグラフィカルなビューを構築し、プログラミングドメインの知識をよりよく解釈する。 CodeGRAGはLLMのコード生成能力を大幅に改善し、言語間コード生成のパフォーマンス向上も実現している。
  論文  参考訳（メタデータ） (2024-05-03T02:48:55Z)
• If LLM Is the Wizard, Then Code Is the Wand: A Survey on How Code Empowers Large Language Models to Serve as Intelligent Agents [81.60906807941188]
  大型言語モデル(LLM)は、自然言語と形式言語(コード)の組み合わせに基づいて訓練される コードは、標準構文、論理一貫性、抽象化、モジュール性を備えた高レベルの目標を実行可能なステップに変換する。
  論文  参考訳（メタデータ） (2024-01-01T16:51:20Z)
• Cross-lingual Transfer in Programming Languages: An Extensive Empirical Study [5.350495525141013]
  大規模言語モデル(LLM)は、様々なソフトウェアエンジニアリングタスクにおいて最先端のパフォーマンスを達成した。 RustやSwiftといった重要な言語は、公開コードに制限があるため、低リソースのままである。 対象とタスクに対して最適なソース言語を推定する性能予測モデルを構築した。
  論文  参考訳（メタデータ） (2023-10-25T19:04:33Z)
• Benchmarking and Explaining Large Language Model-based Code Generation: A Causality-Centric Approach [12.214585409361126]
  大規模言語モデル(LLM)ベースのコード生成は複雑で強力なブラックボックスモデルである。 本稿では,プロンプトと生成されたコードの因果グラフに基づく新しい表現を提案する。 我々は,12以上の迅速な調整戦略で3つの人気のあるLCMを研究することで,我々のフレームワークが提供できる洞察について説明する。
  論文  参考訳（メタデータ） (2023-10-10T14:56:26Z)
• L2CEval: Evaluating Language-to-Code Generation Capabilities of Large Language Models [102.00201523306986]
  大規模言語モデル(LLM)の言語間コード生成能力を体系的に評価するL2CEvalを提案する。 モデルのサイズ、事前学習データ、命令チューニング、異なるプロンプトメソッドなど、それらのパフォーマンスに影響を与える可能性のある要因を分析する。 モデル性能の評価に加えて、モデルに対する信頼性校正を計測し、出力プログラムの人間による評価を行う。
  論文  参考訳（メタデータ） (2023-09-29T17:57:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。