論文の概要: SpecEval: Evaluating Code Comprehension in Large Language Models via Program Specifications

• arxiv url: http://arxiv.org/abs/2409.12866v1
• Date: Thu, 19 Sep 2024 16:08:39 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-07 13:10:09.666329
• Title: SpecEval: Evaluating Code Comprehension in Large Language Models via Program Specifications
• Title（参考訳）: SpecEval: プログラム仕様による大規模言語モデルにおけるコード理解の評価
• Authors: Lezhi Ma, Shangqing Liu, Lei Bu, Shangru Li, Yida Wang, Yang Liu,
• Abstract要約: プログラム仕様を用いて,大規模言語モデルにおけるコード理解を評価するためのSpecEvalを提案する。 プログラムのセマンティクスを表現し、徹底的な評価を行うために、正式な仕様を採用する。 特に、4つの仕様関連タスクは、基本的なレベルから高度なレベルまでLLMの能力を評価するように設計されている。
• 参考スコア（独自算出の注目度）: 12.683365968483807
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large Language models have achieved impressive performance in automated software engineering. Extensive efforts have been made to evaluate the abilities of code LLMs in various aspects, with an increasing number of benchmarks and evaluation frameworks proposed. Apart from the most sought-after capability of code generation, the capability of code comprehension is being granted growing attention. Nevertheless, existing works assessing the code comprehension capability of LLMs exhibit varied limitations. Evaluation frameworks like CRUXEval and REval usually focus on code reasoning tasks over a certain input case, leading to a limited range of execution traces covered, resulting in a loss in code semantics examined and the inability to assess the comprehensive understanding of LLMs concerning the target program. To tackle the challenges above, we propose SpecEval, a novel black-box evaluation framework to evaluate code comprehension in LLMs via program specifications. Inspired by the idea that specifications can comprehensively articulate program behaviors concerning all possible execution traces, we employ formal specifications to represent program semantics and perform thorough evaluations. In particular, four specification-related tasks are designed to assess the capability of LLMs from basic to advanced levels. Moreover, counterfactual analysis is conducted to study the performance variance of LLMs under semantics-preserving perturbations, and progressive consistency analysis is performed to study the performance consistency of LLMs over a series of tasks with sequential dependence. Systematic experiments are conducted on six state-of-the-art LLMs. Experimental results present a below-satisfactory performance of LLMs on specification-related tasks, revealing the limitations of existing LLMs in articulating program semantics, underscoring future directions for enhancement.
• Abstract（参考訳）: 大規模な言語モデルは、自動化されたソフトウェアエンジニアリングにおいて素晴らしいパフォーマンスを達成しました。 様々な面でコードLLMの能力を評価するために大規模な努力がなされており、ベンチマークや評価フレームワークが提案されている。 コード生成の最も望まれる能力とは別に、コード理解の能力は注目されている。 それでも、LLMのコード理解能力を評価する既存の研究は、様々な制限を呈している。 CRUXEvalやRevalなどの評価フレームワークは、通常は特定の入力ケース上のコード推論タスクに重点を置いており、限られた実行トレースがカバーされ、コードセマンティクスの欠如と、ターゲットプログラムに関するLLMの包括的な理解の欠如につながっている。 上記の課題に対処するため,プログラム仕様によるLCMのコード理解を評価する新しいブラックボックス評価フレームワークであるSpecEvalを提案する。 すべての実行トレースに関するプログラム動作を包括的に記述できるという考えから着想を得て,プログラムの意味を表現し,徹底的な評価を行う。 特に、4つの仕様関連タスクは、基本的なレベルから高度なレベルまでLLMの能力を評価するように設計されている。 さらに, セマンティックス保存摂動下でのLCMの性能変動を解析し, 逐次的依存を伴う一連のタスクにおけるLCMの性能の整合性を調べるために, 逐次的整合性解析を行う。 システム実験は6つの最先端LCMで実施される。 実験結果から,LLMの仕様関連タスクに対する満足度の低い性能を示し,プログラムセマンティクスにおける既存のLLMの限界を明らかにし,将来的な拡張の方向性を明らかにした。

関連論文リスト

• Understanding the Role of LLMs in Multimodal Evaluation Benchmarks [77.59035801244278]
  本稿では,MLLM評価におけるLarge Language Model (LLM)バックボーンの役割について検討する。 本研究は4つのMLLMベンチマークと8つの最先端MLLMベンチマークを含む。 鍵となる発見は、いくつかのベンチマークでは視覚的な入力がなくても高いパフォーマンスを実現しており、最大50%のエラーレートは、LLMバックボーンにおける不十分な世界的知識に起因していることを示している。
  論文  参考訳（メタデータ） (2024-10-16T07:49:13Z)
• Embodied Agent Interface: Benchmarking LLMs for Embodied Decision Making [85.24399869971236]
  我々は,大規模言語モデル(LLM)を具体的意思決定のために評価することを目指している。 既存の評価は最終的な成功率にのみ依存する傾向がある。 本稿では,様々なタスクの形式化を支援する汎用インタフェース (Embodied Agent Interface) を提案する。
  論文  参考訳（メタデータ） (2024-10-09T17:59:00Z)
• A Survey on Evaluating Large Language Models in Code Generation Tasks [30.256255254277914]
  本稿では,コード生成タスクにおけるLarge Language Models (LLMs) の性能評価に使用される現在の手法と指標について概説する。 自動ソフトウェア開発の需要が急速に増加し、LLMはコード生成の分野で大きな可能性を示してきた。
  論文  参考訳（メタデータ） (2024-08-29T12:56:06Z)
• CIBench: Evaluating Your LLMs with a Code Interpreter Plugin [68.95137938214862]
  データサイエンスタスクにコードインタプリタを利用するLLMの能力を総合的に評価する,CIBenchという対話型評価フレームワークを提案する。 評価データセットは,LLM-人的協調手法を用いて構築され,連続的かつ対話的なIPythonセッションを活用することによって,実際のワークフローをシミュレートする。 コードインタプリタの利用において, CIBench 上で 24 個の LLM の能力を解析し, 将来の LLM に対する貴重な洞察を提供するため, 広範囲にわたる実験を行った。
  論文  参考訳（メタデータ） (2024-07-15T07:43:55Z)
• Source Code Summarization in the Era of Large Language Models [23.715005053430957]
  大規模言語モデル(LLM)は、コード関連のタスクのパフォーマンスを大幅に向上させた。 本稿では,LLMにおけるコード要約の体系的および包括的研究を行う。
  論文  参考訳（メタデータ） (2024-07-09T05:48:42Z)
• Q*: Improving Multi-step Reasoning for LLMs with Deliberative Planning [53.6472920229013]
  大規模言語モデル(LLM)は多くの自然言語タスクにおいて印象的な能力を示している。 LLMは多段階推論を行う際にエラー、幻覚、矛盾する文を生成する傾向がある。 本稿では,LLMの復号化過程を検討計画で導くためのフレームワークであるQ*を紹介する。
  論文  参考訳（メタデータ） (2024-06-20T13:08:09Z)
• A Survey of Useful LLM Evaluation [20.048914787813263]
  2段階フレームワーク:コア能力からエージェントへ」 コア能力」の段階では, LLMの推論能力, 社会的影響, ドメイン知識について議論した。 エージェントの段階では, LLMエージェントアプリケーションの動作, 計画, ツール学習の具体化を実演した。
  論文  参考訳（メタデータ） (2024-06-03T02:20:03Z)
• FAC$^2$E: Better Understanding Large Language Model Capabilities by Dissociating Language and Cognition [56.76951887823882]
  大規模言語モデル(LLM)は、主に様々なテキスト理解および生成タスクにおける全体的なパフォーマンスによって評価される。 FAC$2$E, FAC$2$Eについて述べる。
  論文  参考訳（メタデータ） (2024-02-29T21:05:37Z)
• If LLM Is the Wizard, Then Code Is the Wand: A Survey on How Code Empowers Large Language Models to Serve as Intelligent Agents [81.60906807941188]
  大型言語モデル(LLM)は、自然言語と形式言語(コード)の組み合わせに基づいて訓練される コードは、標準構文、論理一貫性、抽象化、モジュール性を備えた高レベルの目標を実行可能なステップに変換する。
  論文  参考訳（メタデータ） (2024-01-01T16:51:20Z)
• Through the Lens of Core Competency: Survey on Evaluation of Large Language Models [27.271533306818732]
  大規模言語モデル(LLM)は優れた性能と幅広い実用性を持っている。 既存の評価タスクは、現実世界のシナリオにおける幅広いアプリケーションに追いつくのは難しい。 LLMの4つのコア能力は、推論、知識、信頼性、安全性などである。 この能力アーキテクチャの下では、類似したタスクを組み合わせて対応する能力を反映し、新しいタスクをシステムに簡単に追加することができる。
  論文  参考訳（メタデータ） (2023-08-15T17:40:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。