論文の概要: CodeScore-R: An Automated Robustness Metric for Assessing the FunctionalCorrectness of Code Synthesis
- arxiv url: http://arxiv.org/abs/2406.06902v1
- Date: Tue, 11 Jun 2024 02:51:17 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-12 19:36:38.547267
- Title: CodeScore-R: An Automated Robustness Metric for Assessing the FunctionalCorrectness of Code Synthesis
- Title（参考訳）: CodeScore-R:コード合成の機能的正当性を評価するための自動ロバストネスメトリック
- Authors: Guang Yang, Yu Zhou, Xiang Chen, Xiangyu Zhang,
- Abstract要約: 本稿では,コード合成機能を評価するために,CodeScore-Rと呼ばれるロバストな自動計測手法を提案する。
JavaとPythonのコード生成とマイグレーションのタスクでは、CodeScore-Rは他のメトリクスよりも優れています。
- 参考スコア（独自算出の注目度）: 17.747095451792084
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Evaluation metrics are crucial in the field of code synthesis. Commonly used code evaluation metrics canbe classified into three types: match-based, semantic-based, and execution-based. Among them, the execution-basedPass@k metric accurately assesses the functionality of predicted code by executing test cases. However, calculatingthis metric requires a significant amount of overhead, necessitating the design of an automated evaluation metric thatcan assess the functionality of predicted code without the need for test cases. Additionally, a good evaluation metricshould be robust, that is the metric can maintain its accuracy even when the predicted code undergoes minor changes.To address these challenges, we propose an automated robust metric, called CodeScore-R, based on UniXcoder andcontrastive learning, for evaluating the functionality of code synthesis. CodeScore-R employs techniques such assketch-based processing, syntactic-equivalent transformations, and mutation testing to effectively mitigate theinterference caused by identifiers, syntax structures, and operators on evaluation results. Experimental resultsdemonstrate that in the tasks of code generation and migration in Java and Python, CodeScore-R outperforms otherevaluation metrics and is more closely aligned with the Pass@k metric, while exhibiting stronger robustness.
- Abstract（参考訳）: コード合成の分野では、評価指標が不可欠です。
一般的に使用されるコード評価メトリクスは、マッチベース、セマンティックベース、実行ベースという3つのタイプに分類される。
中でも、実行ベースのPass@kメトリックは、テストケースを実行することで、予測されたコードの機能を正確に評価する。
しかし、このメトリクスを計算するにはかなりのオーバーヘッドが必要であり、テストケースを必要とせずに予測されたコードの機能を評価する自動評価指標の設計が必要である。
さらに、予測されたコードがマイナーチェンジしても精度を維持することのできる指標として、優れた評価指標が堅牢である可能性があり、これらの課題に対処するために、コード合成の機能を評価するために、UniXcoderとContrastive Learningをベースにした、CodeScore-Rと呼ばれる自動化された堅牢なメトリクスを提案する。
CodeScore-Rは、スケッチベースの処理、構文等価変換、突然変異テストなどの技術を用いて、識別子、構文構造、演算子による推論を効果的に軽減する。
実験結果によると、JavaとPythonのコード生成とマイグレーションのタスクでは、CodeScore-Rは、他の評価指標よりも優れており、Pass@kメトリックとより密に一致しているが、強い堅牢性を示している。
関連論文リスト
- Towards Realistic Evaluation of Commit Message Generation by Matching Online and Offline Settings [77.20838441870151]
コミットメッセージ生成は、ソフトウェアエンジニアリングにおいて重要なタスクであり、正しく評価することが難しい。
オンラインメトリック - VCSに生成されたメッセージをコミットする前にユーザが導入する編集回数 - を使用して、オフライン実験用のメトリクスを選択します。
その結果,編集距離が最も高い相関を示すのに対し,BLEUやMETEORなどの類似度は低い相関を示すことがわかった。
論文 参考訳（メタデータ） (2024-10-15T20:32:07Z) - Codev-Bench: How Do LLMs Understand Developer-Centric Code Completion? [60.84912551069379]
Code-Development Benchmark (Codev-Bench)は、細粒度で現実世界、リポジトリレベル、開発者中心の評価フレームワークです。
Codev-Agentは、リポジトリのクローリングを自動化し、実行環境を構築し、既存のユニットテストから動的呼び出しチェーンを抽出し、データ漏洩を避けるために新しいテストサンプルを生成するエージェントベースのシステムである。
論文 参考訳（メタデータ） (2024-10-02T09:11:10Z) - On the Limitations of Embedding Based Methods for Measuring Functional Correctness for Code Generation [4.065344017083881]
CodeBERTScoreのような埋め込みベースのメトリクスを使って、機能的正確性や編集作業などの有用な構造を計測する能力を分析します。
その結果,機能的正当性(0.16)との相関は弱いものの,編集作業と強く相関している(0.72)ことがわかった。
論文 参考訳（メタデータ） (2024-04-26T15:54:39Z) - Evaluating Factual Consistency of Texts with Semantic Role Labeling [3.1776833268555134]
本稿では,テキスト要約を念頭に設計した参照不要評価指標SRLScoreを紹介する。
最終事実度スコアは、調整可能なスコアリング機構により算出される。
英語の要約データセットにおける人間の判断との相関は、SRLScoreが最先端の手法と競合していることを示している。
論文 参考訳（メタデータ） (2023-05-22T17:59:42Z) - ICE-Score: Instructing Large Language Models to Evaluate Code [7.556444391696562]
コードアセスメントのための大規模言語モデルに基づく新しい評価指標であるtextttICE-Score を提案する。
提案手法は,機能的正しさと人的嗜好との相関性に優れ,既存のアプローチの限界に対処する。
以上の結果から,コード生成の最先端の指標を超越した結果が得られた。
論文 参考訳（メタデータ） (2023-04-27T16:38:17Z) - CodeScore: Evaluating Code Generation by Learning Code Execution [34.08307174529496]
本稿では,3つの入力フォーマット上で生成されたコードの関数的正当性を推定する大規模言語モデル(LLM)ベースのCEMであるCodeScoreを提案する。
CodeScoreは、他のCEMと比較して58.87%の相関性を向上し、最先端のパフォーマンスを達成し、3つの入力フォーマットを効果的に扱う。
論文 参考訳（メタデータ） (2023-01-22T02:59:59Z) - T5Score: Discriminative Fine-tuning of Generative Evaluation Metrics [94.69907794006826]
我々は、現在利用可能なデータから、教師なし信号と教師なし信号の両方を用いて、両方の世界のベストを結合するフレームワークを提案する。
このアイデアを,mT5をバックボーンとするトレーニング信号を使用するメトリックであるT5Scoreをトレーニングすることで,運用する。
T5Scoreは、セグメントレベルの既存のトップスコアメトリクスに対して、すべてのデータセットで最高のパフォーマンスを達成する。
論文 参考訳（メタデータ） (2022-12-12T06:29:04Z) - ReACC: A Retrieval-Augmented Code Completion Framework [53.49707123661763]
本稿では,語彙のコピーと類似したセマンティクスを持つコード参照の両方を検索により活用する検索拡張コード補完フレームワークを提案する。
我々は,Python および Java プログラミング言語のコード補完タスクにおけるアプローチを評価し,CodeXGLUE ベンチマークで最先端のパフォーマンスを実現する。
論文 参考訳（メタデータ） (2022-03-15T08:25:08Z) - GO FIGURE: A Meta Evaluation of Factuality in Summarization [131.1087461486504]
本稿では,現実性評価指標を評価するメタ評価フレームワークGO FIGUREを紹介する。
10個の実測値のベンチマーク分析により、我々のフレームワークが堅牢で効率的な評価を提供することが明らかとなった。
また、QAメトリクスは、ドメイン間の事実性を測定する標準的なメトリクスよりも一般的に改善されているが、パフォーマンスは、質問を生成する方法に大きく依存していることも明らかにしている。
論文 参考訳（メタデータ） (2020-10-24T08:30:20Z) - CodeBLEU: a Method for Automatic Evaluation of Code Synthesis [57.87741831987889]
コード合成の分野では、一般的に使用される評価基準はBLEUまたは完全精度である。
我々はCodeBLEUと呼ばれる新しい自動評価指標を導入する。
n-gramマッチングにおけるBLEUの強度を吸収し、抽象構文木(AST)やデータフローによるコードセマンティクスを通じてコード構文を注入する。
論文 参考訳（メタデータ） (2020-09-22T03:10:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。