論文の概要: CETBench: A Novel Dataset constructed via Transformations over Programs for Benchmarking LLMs for Code-Equivalence Checking

• arxiv url: http://arxiv.org/abs/2506.04019v1
• Date: Wed, 04 Jun 2025 14:47:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-05 21:20:14.389133
• Title: CETBench: A Novel Dataset constructed via Transformations over Programs for Benchmarking LLMs for Code-Equivalence Checking
• Title（参考訳）: CETBench: コード等価チェックのためのLLMベンチマークプログラムへの変換を通じて構築された新しいデータセット
• Authors: Neeva Oza, Ishaan Govil, Parul Gupta, Dinesh Khandelwal, Dinesh Garg, Parag Singla,
• Abstract要約: CETBench - プログラムのリポジトリを通して構築された変換ベンチマークによるコード等価性を示す。 データセットの各インスタンスは、リポジトリにプログラムのペアを取り、ランダムに定義されたコード変換を適用して取得します。 解析の結果,基礎となるプログラムの組における非常に単純なコード変換がSOTA LLMの性能を著しく低下させる可能性が示唆された。
• 参考スコア（独自算出の注目度）: 18.036870409436137
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: LLMs have been extensively used for the task of automated code generation. In this work, we examine the applicability of LLMs for the related but relatively unexplored task of code-equivalence checking, i.e., given two programs, whether they are functionally equivalent or not. This is an important problem since benchmarking code equivalence can play a critical role in evaluating LLM capabilities for tasks such as code re-writing and code translation. Towards this end, we present CETBench - Code Equivalence with Transformations Benchmark, constructed via a repository of programs, where two programs in the repository may be solving the same or different tasks. Each instance in our dataset is obtained by taking a pair of programs in the repository and applying a random series of pre-defined code transformations, resulting in (non-)equivalent pairs. Our analysis on this dataset reveals a surprising finding that very simple code transformations in the underlying pair of programs can result in a significant drop in performance of SOTA LLMs for the task of code-equivalence checking. To remedy this, we present a simple fine-tuning-based approach to boost LLM performance on the transformed pairs of programs. Our approach for dataset generation is generic, and can be used with repositories with varying program difficulty levels and allows for applying varying numbers as well as kinds of transformations. In our experiments, we perform ablations over the difficulty level of original programs, as well as the kind of transformations used in generating pairs for equivalence checking. Our analysis presents deep insights into the working of LLMs for the task of code-equivalence, and points to the fact that they may still be far from what could be termed as a semantic understanding of the underlying code.
• Abstract（参考訳）: LLMは自動コード生成のタスクに広く使われている。 本研究では,2つのプログラムが機能的に等価であるか否かを条件として,関連性はあるが比較的未探索なコード等価性チェックのタスクに対するLLMの適用性を検討する。 コードの書き直しやコード翻訳といったタスクにおいて、LLMの能力を評価する上で、コード等価性のベンチマークが重要な役割を果たすため、これは重要な問題である。 この目的のために,プログラムのリポジトリを通じて構築されたCETBench - Code Equivalence with Transformations Benchmarkを紹介します。 データセットの各インスタンスは、レポジトリで一対のプログラムを受け取り、ランダムに定義されたコード変換を適用することで取得されます。 このデータセットを解析した結果,プログラムの基盤となるプログラム間の非常に単純なコード変換によって,コード等価性チェックのタスクにおいて,SOTA LLMの性能が大幅に低下する可能性が示唆された。 これを改善するために,プログラムの変換ペア上でのLCM性能を向上させるための簡単な微調整に基づくアプローチを提案する。 データセット生成のアプローチは汎用的であり,プログラムの難易度が異なるリポジトリで使用することができる。 実験では、元のプログラムの難易度と、同値チェックのためのペア生成に使用される変換の類型を比較検討した。 我々の分析は、LLMのコード等価性に関する作業に関する深い洞察を示し、それらが基盤となるコードのセマンティックな理解とはいまだにかけ離れているという事実を指摘する。

関連論文リスト

• Program Semantic Inequivalence Game with Large Language Models [10.358176296850639]
  大きな言語モデル(LLM)は、日々のコーディングタスクにおいて強力なパフォーマンスを達成することができるが、プログラムのセマンティクスに関する非自明な推論を必要とする複雑なタスクでは失敗する可能性がある。 本研究では,意味的不等価ゲームSInQに基づいて,コード推論学習データを合成的に生成する手法について検討する。 この設定により、無限の計算資源の限界における自己再生による理論的に無制限な改善が可能であることを証明した。
  論文  参考訳（メタデータ） (2025-05-02T20:03:35Z)
• SnipGen: A Mining Repository Framework for Evaluating LLMs for Code [51.07471575337676]
  言語モデル(LLM)は、コードリポジトリを含む広範なデータセットに基づいてトレーニングされる。 それらの有効性を評価することは、トレーニングに使用されるデータセットと評価に使用されるデータセットとが重複する可能性があるため、大きな課題となる。 SnipGenは、コード生成のために、様々な下流タスクをまたいだ迅速なエンジニアリングを活用するように設計された包括的なリポジトリマイニングフレームワークである。
  論文  参考訳（メタデータ） (2025-02-10T21:28:15Z)
• TRANSAGENT: An LLM-Based Multi-Agent System for Code Translation [16.46292795782835]
  コード翻訳は、ソフトウェアマイグレーション、システムアブレーション、クロスプラットフォーム開発に不可欠である。 従来のルールベースのメソッドは手書きのルールに依存している。 最近では、LLM(Large Language Models)の進歩により、学習ベースのコード翻訳がさらに強化されている。 本稿では,構文誤りや意味的誤りを解消し,LLMに基づくコード翻訳を強化した新しいマルチエージェントシステムTransagENTを提案する。
  論文  参考訳（メタデータ） (2024-09-30T02:53:03Z)
• An Empirical Study on Capability of Large Language Models in Understanding Code Semantics [4.638578225024275]
  コードのための大規模言語モデル(コードLLM)は、様々なソフトウェア工学(SE)タスクで顕著なパフォーマンスを示している。 本稿では,コード意味論の理解におけるLLMの能力を評価するためのフレームワークであるEMPICAを紹介する。
  論文  参考訳（メタデータ） (2024-07-04T03:40:58Z)
• CodecLM: Aligning Language Models with Tailored Synthetic Data [51.59223474427153]
  命令追従能力のための高品質な合成データを適応的に生成するフレームワークであるCodecLMを紹介する。 まず、ターゲットの指示分布をキャプチャするために、オンザフライで生成された簡潔なキーワードであるメタデータにシード命令をエンコードする。 また、デコード中に自己論理とコントラストフィルタを導入し、データ効率の良いサンプルを調整する。
  論文  参考訳（メタデータ） (2024-04-08T21:15:36Z)
• Mutation-based Consistency Testing for Evaluating the Code Understanding Capability of LLMs [5.549095839198671]
  大きな言語モデル(LLM)は、自然言語とプログラミング言語の両方を処理する際、顕著な能力を示している。 本稿では,LLMのコード理解性能を評価する新しい手法を提案し,特にコードと記述の微妙な差異に着目した。 演算子置換やステートメント削除など,さまざまなタイプのコード突然変異を適用して,一貫性のないコード記述ペアを生成する。 我々は,現在最先端のコード生成ベンチマークであるHumanEval-Xを用いて,GPT-3.5とGPT-4の2つのLLMのケーススタディを行う。
  論文  参考訳（メタデータ） (2024-01-11T14:27:43Z)
• If LLM Is the Wizard, Then Code Is the Wand: A Survey on How Code Empowers Large Language Models to Serve as Intelligent Agents [81.60906807941188]
  大型言語モデル(LLM)は、自然言語と形式言語(コード)の組み合わせに基づいて訓練される コードは、標準構文、論理一貫性、抽象化、モジュール性を備えた高レベルの目標を実行可能なステップに変換する。
  論文  参考訳（メタデータ） (2024-01-01T16:51:20Z)
• ML-Bench: Evaluating Large Language Models and Agents for Machine Learning Tasks on Repository-Level Code [76.84199699772903]
  ML-Benchは、既存のコードリポジトリを利用してタスクを実行する現実世界のプログラミングアプリケーションに根ざしたベンチマークである。 LLM(Large Language Model)とAIエージェントの両方を評価するために、事前に定義されたデプロイメント環境でLLMのテキスト-コード変換を評価するML-LLM-Benchと、Linuxサンドボックス環境でエンドツーエンドのタスク実行で自律エージェントをテストするML-Agent-Benchの2つの設定が採用されている。
  論文  参考訳（メタデータ） (2023-11-16T12:03:21Z)
• LEVER: Learning to Verify Language-to-Code Generation with Execution [64.36459105535]
  本稿では,プログラムの実行結果の検証を学習することで,言語からコードへの生成を改善するシンプルな手法であるLEVERを提案する。 具体的には、LLMからサンプリングされたプログラムが、自然言語入力、プログラム自体とその実行結果に基づいて正しいか否かを判定するために、検証者を訓練する。 LEVER はベースコード LLMs (4.6% から 10.9% まで) を継続的に改善し、それらすべてに対して新しい最先端の結果を得る。
  論文  参考訳（メタデータ） (2023-02-16T18:23:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。