論文の概要: A Multi-Language Perspective on the Robustness of LLM Code Generation

• arxiv url: http://arxiv.org/abs/2504.19108v1
• Date: Sun, 27 Apr 2025 05:00:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-02 19:15:54.136842
• Title: A Multi-Language Perspective on the Robustness of LLM Code Generation
• Title（参考訳）: LLM符号生成のロバスト性に関する多言語的視点
• Authors: Fazle Rabbi, Zushuo Ding, Jinqiu Yang,
• Abstract要約: 我々は、いくつかの顕著なコード生成モデルの堅牢性を評価するために、包括的な比較分析を行う。 プロンプトの4つの重要な領域、DocString、関数名、構文、フォーマットに摂動を導入する。 本研究は,様々なシナリオにおけるコード生成モデルの性能に光を当て,実験結果を示す。
• 参考スコア（独自算出の注目度）: 2.580765958706854
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models have gained significant traction and popularity in recent times, extending their usage to code-generation tasks. While this field has garnered considerable attention, the exploration of testing and evaluating the robustness of code generation models remains an ongoing endeavor. Previous studies have primarily focused on code generation models specifically for the Python language, overlooking other widely used programming languages. In this research, we conduct a comprehensive comparative analysis to assess the robustness performance of several prominent code generation models. Furthermore, we investigate how their performance varies across different programming languages. To accomplish this, we introduce perturbations in four key areas of the prompt: DocString, function name, syntax, and format. We have compiled and released a dedicated dataset for this purpose. This work presents our experimental findings, shedding light on the performance of code generation models in various scenarios.
• Abstract（参考訳）: 大規模言語モデルは近年大きな牽引力と人気を集め、コード生成タスクにその使用範囲を広げている。 この分野ではかなり注目されているが、コード生成モデルの堅牢性のテストと評価は現在も進行中である。 これまでの研究は主にPython言語に特化したコード生成モデルに重点を置いてきた。 本研究では,いくつかの顕著なコード生成モデルのロバスト性を評価するために,包括的比較分析を行う。 さらに,その性能が様々なプログラミング言語でどのように異なるかを検討する。 これを実現するために、DocString、関数名、構文、フォーマットの4つの重要な領域で摂動を導入する。 この目的のために専用のデータセットをコンパイルしてリリースしました。 本研究は,様々なシナリオにおけるコード生成モデルの性能に光を当て,実験結果を示す。

関連論文リスト

• CodeXEmbed: A Generalist Embedding Model Family for Multiligual and Multi-task Code Retrieval [103.116634967815]
  CodeXEmbedは400Mから7Bパラメータの大規模なコード埋め込みモデルのファミリーである。 我々の新しいトレーニングパイプラインは、複数のプログラミング言語を統合し、様々なコード関連タスクを共通の検索フレームワークに変換する。 私たちの7Bモデルは、コード検索において新しい最先端(SOTA)を設定し、以前の主要なモデルであるVoyage-CodeをCoIRベンチマークで20%以上上回っています。
  論文  参考訳（メタデータ） (2024-11-19T16:54:45Z)
• P-MMEval: A Parallel Multilingual Multitask Benchmark for Consistent Evaluation of LLMs [84.24644520272835]
  大きな言語モデル(LLM)は、翻訳、コード生成、推論といったタスクにまたがる様々な多言語機能を示す。 以前の評価では、その範囲を基本自然言語処理(NLP)や、独立した機能固有のタスクに制限することが多かった。 我々は、これらのベンチマークの有用性に関する以前の研究の監視に対処するため、大規模ベンチマークから利用可能な、合理的なベンチマークを選択するパイプラインを提案する。 本稿では,P-MMEvalを提案する。P-MMEval,P-MMEval,P-MMEval,P-MMEval,P-MMEval,P-MMEval。
  論文  参考訳（メタデータ） (2024-11-14T01:29:36Z)
• Can OpenSource beat ChatGPT? -- A Comparative Study of Large Language Models for Text-to-Code Generation [0.24578723416255752]
  テキスト・ツー・コード生成の能力について,5つの大言語モデル (LLM) を評価した。 ChatGPTはこれらの典型的なプログラミング課題を、Code Llamaのようなコード特化モデルよりもはるかに効果的に処理することができる。
  論文  参考訳（メタデータ） (2024-09-06T10:03:49Z)
• Large Language Models for Code Summarization [0.0]
  大規模言語モデルがコード説明/要約でどのように機能するかをレビューする。 また、自然言語記述に基づくコード生成機能についても検討する。
  論文  参考訳（メタデータ） (2024-05-29T12:18:51Z)
• GenCodeSearchNet: A Benchmark Test Suite for Evaluating Generalization in Programming Language Understanding [5.9535699822923]
  我々は,言語モデルの言語理解能力を評価するために,GenCodeSearchNet (GeCS) という新しいベンチマークデータセットを提案する。 完全なデータセットの一部として、我々が導入した新しい手作業でキュレートされたサブセットであるStatCodeSearchは、人気があるが、これまでのところあまり表現されていないプログラミング言語である。 評価と比較のために、細調整されたBERTスタイルモデルとGPTスタイルの大規模言語モデルを用いて、いくつかのベースライン結果を収集した。
  論文  参考訳（メタデータ） (2023-11-16T09:35:00Z)
• Evaluating Large Language Models on Controlled Generation Tasks [92.64781370921486]
  本稿では,異なる粒度を持つ文計画ベンチマークを含む,様々なベンチマークを広範囲に分析する。 大規模言語モデルと最先端の微調整された小型モデルを比較した後、大規模言語モデルが後方に落ちたり、比較されたり、より小型モデルの能力を超えたりしたスペクトルを示す。
  論文  参考訳（メタデータ） (2023-10-23T03:48:24Z)
• L2CEval: Evaluating Language-to-Code Generation Capabilities of Large Language Models [102.00201523306986]
  大規模言語モデル(LLM)の言語間コード生成能力を体系的に評価するL2CEvalを提案する。 モデルのサイズ、事前学習データ、命令チューニング、異なるプロンプトメソッドなど、それらのパフォーマンスに影響を与える可能性のある要因を分析する。 モデル性能の評価に加えて、モデルに対する信頼性校正を計測し、出力プログラムの人間による評価を行う。
  論文  参考訳（メタデータ） (2023-09-29T17:57:00Z)
• A Simple, Yet Effective Approach to Finding Biases in Code Generation [16.094062131137722]
  この研究は、現在のコード生成システムが、彼らの大きな言語モデルバックボーンから受け継がれた望ましくないバイアスを示すことを示している。 コーディング課題のモジュラー分解と解析を可能にする「影響ブロック」の概念を提案する。
  論文  参考訳（メタデータ） (2022-10-31T15:06:15Z)
• Multi-lingual Evaluation of Code Generation Models [82.7357812992118]
  本稿では,MBXPとMultilingual HumanEval,MathQA-Xという,評価コード生成モデルに関する新しいベンチマークを提案する。 これらのデータセットは10以上のプログラミング言語をカバーする。 コード生成モデルの性能を多言語で評価することができる。
  論文  参考訳（メタデータ） (2022-10-26T17:17:06Z)
• Twist Decoding: Diverse Generators Guide Each Other [116.20780037268801]
  様々なモデルの恩恵を受けながらテキストを生成するシンプルで一般的な推論アルゴリズムであるTwist decodingを導入する。 我々の方法は、語彙、トークン化、あるいは生成順序が共有されていると仮定しない。
  論文  参考訳（メタデータ） (2022-05-19T01:27:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。