論文の概要: CodeMind: Evaluating Large Language Models for Code Reasoning

• arxiv url: http://arxiv.org/abs/2402.09664v5
• Date: Thu, 22 May 2025 05:34:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-23 17:12:47.591414
• Title: CodeMind: Evaluating Large Language Models for Code Reasoning
• Title（参考訳）: CodeMind: コード推論のための大規模言語モデルの評価
• Authors: Changshu Liu, Yang Chen, Reyhaneh Jabbarvand,
• Abstract要約: 大規模言語モデル(LLM)は、プログラミングタスクの自動化に広く使われている。 本稿では,LLMのコード推論能力を評価するためのフレームワークであるCodeMindを紹介する。
• 参考スコア（独自算出の注目度）: 6.819757372634151
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large Language Models (LLMs) have been widely used to automate programming tasks. Their capabilities have been evaluated by assessing the quality of generated code through tests or proofs. The extent to which they can reason about code is a critical question revealing important insights about their true capabilities. This paper introduces CodeMind, a framework designed to gauge the code reasoning abilities of LLMs through the following explicit and implicit code reasoning tasks: Independent Execution Reasoning (IER), Specification Reasoning (SR) and Dynamic Semantics Reasoning (DSR). The first evaluates the abilities of LLMs to simulate the execution of given inputs to a code and predict the output (IER). The second assesses the abilities of LLMs to incorporate the simulation of test data in the specification into code generation (SR). Finally, CodeMind evaluates LLMs' abilities to understand overall code semantics only given a specific input/output (DSR). Our extensive evaluation of ten LLMs across four widely used benchmarks using CodeMind shows that LLMs, depending on their size and training strategy, can reason about some dynamic aspects of code. However, their performance drops for code with higher complexity, non-trivial logical and arithmetic operators, non-primitive types, and API calls. We show that these reasoning tasks evaluate LLMs differently, and a comprehensive evaluation of code reasoning requires them all. Finally, we show that the performance of LLMs in bug repair is not correlated with any of the code reasoning tasks, and except for advanced frontier models, other LLMs do not incorporate code reasoning when performing bug repair.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、プログラミングタスクの自動化に広く使われている。 それらの能力は、テストや証明を通じて生成されたコードの品質を評価することで評価されている。 コードについて推論できる範囲は、その真の能力に関する重要な洞察を明らかにする重要な問題である。 Independent Execution Reasoning (IER)、Specification Reasoning (SR)、Dynamic Semantics Reasoning (DSR)である。 1つ目は、LLMがコードに対する入力の実行をシミュレートし、出力(IER)を予測する能力を評価することである。 2つ目は、LLMが仕様にテストデータのシミュレーションをコード生成(SR)に組み込む能力を評価することである。 最後に、CodeMindは、特定のインプット/アウトプット(DSR)を与えられたコードセマンティクス全体を理解するLLMの能力を評価する。 CodeMindを使って4つの広く使用されているベンチマークで10のLLMを広範囲に評価したところ、LLMはサイズやトレーニング戦略によって、コードの動的な側面を推論できることがわかった。 しかし、そのパフォーマンスは、複雑さが高く、非自明な論理演算子、非プリミティブ型、API呼び出しを持つコードに対して低下する。 これらの推論タスクはLLMと異なる評価を行い、コード推論の包括的な評価にはそれらすべてが必要であることを示す。 最後に、バグ修正におけるLLMの性能は、どのコード推論タスクとも相関せず、高度なフロンティアモデルを除いて、他のLLMにはバグ修正を行う際のコード推論が組み込まれていないことを示す。

関連論文リスト

• Code to Think, Think to Code: A Survey on Code-Enhanced Reasoning and Reasoning-Driven Code Intelligence in LLMs [53.00384299879513]
  大規模言語モデル(LLM)では、コードと推論が互いに強化される。 コードは検証可能な実行パスを提供し、論理的な分解を強制し、実行時の検証を可能にする。 我々は,このシナジーを強化するために,重要な課題を特定し,今後の研究方向性を提案する。
  論文  参考訳（メタデータ） (2025-02-26T18:55:42Z)
• A Tool for In-depth Analysis of Code Execution Reasoning of Large Language Models [1.644043499620662]
  本稿では,コード実行推論フレームワークの結果を分析する一連のツールであるExeRScopeを紹介する。 分析は、より多くのベンチマークを設計することなく、同様の特性を持つコードに一般化することができる。
  論文  参考訳（メタデータ） (2025-01-30T16:56:08Z)
• Evaluating and Aligning CodeLLMs on Human Preference [42.26173776584043]
  実世界のコーディングタスクの複雑さと多様性をエミュレートするために,厳密な人為的なベンチマークであるCodeArenaを提案する。 また,大規模合成命令微調整の有効性を検証するために,多種多様な合成命令コーパスSynCode-Instructを提案する。 その結果、実行ベースのベンチマークとCodeArenaのパフォーマンスの違いが判明した。
  論文  参考訳（メタデータ） (2024-12-06T17:40:38Z)
• Case2Code: Learning Inductive Reasoning with Synthetic Data [105.89741089673575]
  プログラムの表現性と正確性を利用したtextbfCase2Code タスクを提案する。 まず、合成したCase2Codeタスクにおける代表LLMを評価し、LLMにおいてケース・ツー・コード誘導が困難であることを実証する。 実験結果から,このような帰納的学習は,Case2Codeの性能だけでなく,学習用LLMの各種符号化能力の向上にも寄与することがわかった。
  論文  参考訳（メタデータ） (2024-07-17T11:35:00Z)
• Source Code Summarization in the Era of Large Language Models [23.715005053430957]
  大規模言語モデル(LLM)は、コード関連のタスクのパフォーマンスを大幅に向上させた。 本稿では,LLMにおけるコード要約の体系的および包括的研究を行う。
  論文  参考訳（メタデータ） (2024-07-09T05:48:42Z)
• What's Wrong with Your Code Generated by Large Language Models? An Extensive Study [80.18342600996601]
  大規模言語モデル(LLM)は、標準解に比べて短いがより複雑なコードを生成する。 3つのカテゴリと12のサブカテゴリを含む誤ったコードに対するバグの分類を開発し、一般的なバグタイプに対する根本原因を分析する。 そこで本研究では,LLMがバグタイプやコンパイラフィードバックに基づいて生成したコードを批判し,修正することのできる,自己批判を導入した新たな学習自由反復手法を提案する。
  論文  参考訳（メタデータ） (2024-07-08T17:27:17Z)
• Bug In the Code Stack: Can LLMs Find Bugs in Large Python Code Stacks [1.3586572110652484]
  本研究では,大規模文書から文脈情報を取得する上でのLLM(Large Language Models)の機能について検討する。 我々のベンチマークであるBug In The Code Stack (BICS)は、大規模なソースコード内の単純な構文バグを識別するLLMの能力を評価するために設計されている。 その結果,(1)検索タスクのテキストベースの環境に比べ,コードベースの環境の方が有意に困難であり,(2)異なるモデル間の性能差が大きく,(3)コンテキスト長と性能劣化との間には顕著な相関関係があることが判明した。
  論文  参考訳（メタデータ） (2024-06-21T17:37:10Z)
• Reasoning Runtime Behavior of a Program with LLM: How Far Are We? [25.451857140926943]
  コードのための大規模な言語モデル(LLM)は、強力なコード理解と生成能力を示している。 コード推論は、コードLLMの最も重要な能力の1つである。 本稿では,プログラム実行によるLLMのコード推論能力と一貫性を評価するためのフレームワークであるRevalを提案する。
  論文  参考訳（メタデータ） (2024-03-25T05:37:16Z)
• Code Prompting Elicits Conditional Reasoning Abilities in Text+Code LLMs [65.2379940117181]
  自然言語の問題をコードに変換する一連のプロンプトであるコードプロンプトを導入します。 コードプロンプトは複数のLLMに対して高速に向上することがわかった。 GPT 3.5を解析した結果,入力問題のコードフォーマッティングが性能向上に不可欠であることが判明した。
  論文  参考訳（メタデータ） (2024-01-18T15:32:24Z)
• If LLM Is the Wizard, Then Code Is the Wand: A Survey on How Code Empowers Large Language Models to Serve as Intelligent Agents [81.60906807941188]
  大型言語モデル(LLM)は、自然言語と形式言語(コード)の組み合わせに基づいて訓練される コードは、標準構文、論理一貫性、抽象化、モジュール性を備えた高レベルの目標を実行可能なステップに変換する。
  論文  参考訳（メタデータ） (2024-01-01T16:51:20Z)
• LINC: A Neurosymbolic Approach for Logical Reasoning by Combining Language Models with First-Order Logic Provers [60.009969929857704]
  論理的推論は、科学、数学、社会に潜在的影響を与える可能性のある人工知能にとって重要なタスクである。 本研究では、LINCと呼ばれるモジュール型ニューロシンボリックプログラミングのようなタスクを再構成する。 我々は,FOLIOとProofWriterのバランスの取れたサブセットに対して,ほぼすべての実験条件下で,3つの異なるモデルに対して顕著な性能向上を観察した。
  論文  参考訳（メタデータ） (2023-10-23T17:58:40Z)
• Coarse-Tuning Models of Code with Reinforcement Learning Feedback [0.0]
  コード上で事前訓練されたLarge Language Models (LLM) が、プログラム合成の主流のアプローチとして登場した。 コードの品質を評価する接地関数からのフィードバックを用いて、強化学習により事前学習したLLMをさらに訓練するRCCFを提案する。
  論文  参考訳（メタデータ） (2023-05-25T22:09:08Z)
• CodeT5+: Open Code Large Language Models for Code Understanding and Generation [72.1638273937025]
  大きな言語モデル (LLM) は膨大なソースコードで事前訓練されており、コードインテリジェンスにおいて顕著な進歩を遂げている。 CodeT5+は、コンポーネントモジュールを柔軟に組み合わせて、幅広い下流のコードタスクに適合させることができるコードのためのエンコーダ-デコーダLLMのファミリーである。 我々は、ゼロショット、微調整、命令調整を含む20以上のコード関連ベンチマークでCodeT5+を広範囲に評価した。
  論文  参考訳（メタデータ） (2023-05-13T14:23:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。