論文の概要: Can Large Language Models Serve as Evaluators for Code Summarization?

• arxiv url: http://arxiv.org/abs/2412.01333v1
• Date: Mon, 02 Dec 2024 09:56:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-04 15:48:37.327389
• Title: Can Large Language Models Serve as Evaluators for Code Summarization?
• Title（参考訳）: 大規模言語モデルはコードの要約のための評価器として機能するか?
• Authors: Yang Wu, Yao Wan, Zhaoyang Chu, Wenting Zhao, Ye Liu, Hongyu Zhang, Xuanhua Shi, Philip S. Yu,
• Abstract要約: LLM(Large Language Models)は、コード要約手法の効果的な評価手法である。 LLMはエージェントに、コードレビュアー、コード作者、コードエディタ、システムアナリストなどの様々な役割を演じるよう促す。 CoDERPEは、人間の評価と81.59%のスピアマン相関を達成し、既存のBERTScoreの基準を17.27%上回った。
• 参考スコア（独自算出の注目度）: 47.21347974031545
• License:
• Abstract: Code summarization facilitates program comprehension and software maintenance by converting code snippets into natural-language descriptions. Over the years, numerous methods have been developed for this task, but a key challenge remains: effectively evaluating the quality of generated summaries. While human evaluation is effective for assessing code summary quality, it is labor-intensive and difficult to scale. Commonly used automatic metrics, such as BLEU, ROUGE-L, METEOR, and BERTScore, often fail to align closely with human judgments. In this paper, we explore the potential of Large Language Models (LLMs) for evaluating code summarization. We propose CODERPE (Role-Player for Code Summarization Evaluation), a novel method that leverages role-player prompting to assess the quality of generated summaries. Specifically, we prompt an LLM agent to play diverse roles, such as code reviewer, code author, code editor, and system analyst. Each role evaluates the quality of code summaries across key dimensions, including coherence, consistency, fluency, and relevance. We further explore the robustness of LLMs as evaluators by employing various prompting strategies, including chain-of-thought reasoning, in-context learning, and tailored rating form designs. The results demonstrate that LLMs serve as effective evaluators for code summarization methods. Notably, our LLM-based evaluator, CODERPE , achieves an 81.59% Spearman correlation with human evaluations, outperforming the existing BERTScore metric by 17.27%.
• Abstract（参考訳）: コード要約は、コードスニペットを自然言語記述に変換することで、プログラムの理解とソフトウェアのメンテナンスを容易にする。 長年にわたり、このタスクのために多くの方法が開発されてきたが、重要な課題は、生成された要約の品質を効果的に評価することである。 人間の評価はコード要約の品質を評価するのに効果的だが、労働集約的でスケールが難しい。 BLEU、ROUGE-L、METEOR、BERTScoreといった一般的な自動メトリクスは、人間の判断と密接に一致しないことが多い。 本稿では,コード要約を評価するためのLarge Language Models(LLMs)の可能性について検討する。 本稿では,ロールプレーヤのプロンプトを利用して生成した要約の質を評価する手法であるCODERPE(Role-Player for Code Summarization Evaluation)を提案する。 具体的には,LLMエージェントに対して,コードレビュアー,コードライタ,コードエディタ,システムアナリストなど,さまざまな役割を演じるように促す。 各役割は、コヒーレンス、一貫性、流用性、関連性など、キーディメンションにわたるコード要約の品質を評価する。 さらに,LLMのロバスト性について,チェーン・オブ・コンテクスト推論,インコンテクスト学習,調整された格付け形式設計など,様々な促進戦略を用いて検討する。 以上の結果から,LLMはコード要約手法の効果的な評価手段として有効であることが示唆された。 特に, LLMに基づく評価器であるCODERPEは, 81.59%のスピアマン相関を人体評価と達成し, 既存のBERTScore値の17.27%を上回った。

関連論文リスト

• Optimizing the role of human evaluation in LLM-based spoken document summarization systems [0.0]
  生成AIコンテンツに適した音声文書要約のための評価パラダイムを提案する。 実験設計における堅牢性, 再現性, 信頼性を確保するために, 詳細な評価基準とベストプラクティスガイドラインを提供する。
  論文  参考訳（メタデータ） (2024-10-23T18:37:14Z)
• A Survey on Evaluating Large Language Models in Code Generation Tasks [30.256255254277914]
  本稿では,コード生成タスクにおけるLarge Language Models (LLMs) の性能評価に使用される現在の手法と指標について概説する。 自動ソフトウェア開発の需要が急速に増加し、LLMはコード生成の分野で大きな可能性を示してきた。
  論文  参考訳（メタデータ） (2024-08-29T12:56:06Z)
• Reference-Guided Verdict: LLMs-as-Judges in Automatic Evaluation of Free-Form Text [12.879551933541345]
  大きな言語モデル(LLM)は、人間のような会話を生成できる。 BLEUやROUGEのような従来のメトリクスは、このような生成出力の微妙な意味と文脈的な豊かさを捉えるには不十分である。 本稿では,複数のLSM-as-judgesを活用することで,評価プロセスを自動化する基準誘導型判定手法を提案する。
  論文  参考訳（メタデータ） (2024-08-17T16:01:45Z)
• Source Code Summarization in the Era of Large Language Models [23.715005053430957]
  大規模言語モデル(LLM)は、コード関連のタスクのパフォーマンスを大幅に向上させた。 本稿では,LLMにおけるコード要約の体系的および包括的研究を行う。
  論文  参考訳（メタデータ） (2024-07-09T05:48:42Z)
• Decompose and Aggregate: A Step-by-Step Interpretable Evaluation Framework [75.81096662788254]
  大規模言語モデル(LLM)はスケーラブルで経済的な評価指標である。 これらの評価者がどの程度信頼できるかという問題は、重要な研究課題として浮上している。 本稿では,デコンプリートとアグリゲートを提案し,その評価プロセスを教育実践に基づいて異なる段階に分解する。
  論文  参考訳（メタデータ） (2024-05-24T08:12:30Z)
• Can Large Language Models be Trusted for Evaluation? Scalable Meta-Evaluation of LLMs as Evaluators via Agent Debate [74.06294042304415]
  エージェント・ディベート支援型メタ評価フレームワークであるScaleEvalを提案する。 フレームワークのコードをGitHubで公開しています。
  論文  参考訳（メタデータ） (2024-01-30T07:03:32Z)
• Benchmarking Generation and Evaluation Capabilities of Large Language Models for Instruction Controllable Summarization [132.25202059478065]
  命令制御可能なテキスト要約の大規模言語モデル(LLM)をベンチマークする。 本研究は,LLMにおいて,命令制御可能なテキスト要約が依然として困難な課題であることを示す。
  論文  参考訳（メタデータ） (2023-11-15T18:25:26Z)
• Evaluating Large Language Models at Evaluating Instruction Following [54.49567482594617]
  我々は,命令追従出力の識別におけるLLM評価器の能力をテストするために,挑戦的なメタ評価ベンチマーク LLMBar を導入する。 異なる評価器がLLMBarに対して異なる性能を示し、最高の評価器でさえ改善の余地があることが判明した。
  論文  参考訳（メタデータ） (2023-10-11T16:38:11Z)
• Can Large Language Models Be an Alternative to Human Evaluations? [80.81532239566992]
  大規模言語モデル(LLM)は、タスク命令のみを提供する場合、目に見えないタスクに対して例外的な性能を示す。 LLM評価の結果は、専門家による評価の結果と一致していることを示す。
  論文  参考訳（メタデータ） (2023-05-03T07:28:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。