Fugu-MT 論文翻訳(概要): Using Large Language Models to Document Code: A First Quantitative and Qualitative Assessment

論文の概要: Using Large Language Models to Document Code: A First Quantitative and Qualitative Assessment

arxiv url: http://arxiv.org/abs/2408.14007v1
Date: Mon, 26 Aug 2024 04:27:25 GMT
ステータス: 処理完了
システム内更新日: 2024-08-27 15:02:44.435778
Title: Using Large Language Models to Document Code: A First Quantitative and Qualitative Assessment
Title（参考訳）: 大規模言語モデルによるコードの文書化:最初の定量的質的評価
Authors: Ian Guelman, Arthur Gregório Leal, Laerte Xavier, Marco Tulio Valente,
Abstract要約: OpenAI GPT-3.5を利用して23,850のコードスニペットのJavadocをメソッドとクラスで再生しました。我々は,人的評価とともにBLEUを用いた定量的・質的な評価を行い,得られたコメントの質を評価した。
参考スコア（独自算出の注目度）: 0.0
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Code documentation is vital for software development, improving readability and comprehension. However, it's often skipped due to its labor-intensive nature. AI Language Models present an opportunity to automate the generation of code documentation, easing the burden on developers. While recent studies have explored the use of such models for code documentation, most rely on quantitative metrics like BLEU to assess the quality of the generated comments. Yet, the applicability and accuracy of these metrics on this scenario remain uncertain. In this paper, we leveraged OpenAI GPT-3.5 to regenerate the Javadoc of 23,850 code snippets with methods and classes. We conducted both quantitative and qualitative assessments, employing BLEU alongside human evaluation, to assess the quality of the generated comments. Our key findings reveal that: (i) in our qualitative analyses, when the documents generated by GPT were compared with the original ones, 69.7% were considered equivalent (45.7%) or required minor changes to be equivalent (24.0%); (ii) indeed, 22.4% of the comments were rated as having superior quality than the original ones; (iii) the use of quantitative metrics is susceptible to inconsistencies, for example, comments perceived as having higher quality were unjustly penalized by the BLEU metric.
Abstract（参考訳）: コードドキュメンテーションは、ソフトウェア開発、可読性と理解性の改善に不可欠です。しかし、労働集約性のため、しばしば省略される。 AI言語モデルは、コードドキュメンテーションを自動生成する機会を提供し、開発者の負担を軽減する。最近の研究では、コードドキュメンテーションにそのようなモデルを使うことが検討されているが、ほとんどの場合、生成されたコメントの品質を評価するのにBLEUのようなメトリクスに依存している。しかし、このシナリオにおけるこれらのメトリクスの適用性や正確性は依然として不明である。本稿では,OpenAI GPT-3.5を利用して23,850個のコードスニペットをメソッドとクラスで再生する。我々は,人的評価とともにBLEUを用いた定量評価と質評価を併用して,生成したコメントの品質評価を行った。私たちの重要な発見は以下のとおりです。 (i) 質的分析では, GPTが生成した文書を原文書と比較した場合, 69.7%は同値 (45.7%) あるいは小変更が必要 (24.0%) であった。 (二)実際には22.4%が原文よりも良質であると評価されている。 (三)量的メトリクスの使用は、例えば、高い品質のコメントがBLEUメートル法によって不当に罰せられたと認識される不整合に影響を受けやすい。

関連論文リスト

On Iterative Evaluation and Enhancement of Code Quality Using GPT-4o [1.5960340244043023]
本稿では,Large Language Models (LLM) を利用したコード品質の反復評価と向上のための新しいフレームワークであるCodeQUESTを紹介する。フレームワークは2つの主要なコンポーネントに分割されている。10次元にわたるコード品質を評価し、定量スコアと定性的な要約の両方を提供する評価器。本研究は,CodeQUESTが既存のコード品質指標と整合して,コード品質を効果的かつ堅牢に評価できることを実証する。
論文参考訳（メタデータ） (2025-02-11T09:27:00Z)
Evaluating Source Code Quality with Large Languagem Models: a comparative study [2.3204178451683264]
本稿では,静的解析ツールとしてLarge Language Model (LLM) を用いて得られた結果について述べる。 GPT 3.5 TurboとGPT 4oの2種類のモデルを比較し,合計1,641クラスの分析を行った。 GPT 4o版では、低品質と評価されたコードに高い分類を割り当てることで、以前のモデルとSonarから切り離された結果が示されなかった。
論文参考訳（メタデータ） (2024-08-07T18:44:46Z)
Is Reference Necessary in the Evaluation of NLG Systems? When and Where? [58.52957222172377]
基準自由度は人間の判断と高い相関を示し,言語品質の低下に対する感度が高いことを示す。本研究は,自動測定の適切な適用方法と,測定値の選択が評価性能に与える影響について考察する。
論文参考訳（メタデータ） (2024-03-21T10:31:11Z)
Exploring Precision and Recall to assess the quality and diversity of LLMs [82.21278402856079]
我々はtextscLlama-2 や textscMistral のような大規模言語モデル (LLM) のための新しい評価フレームワークを提案する。このアプローチにより、コーパスの整合を必要とせず、生成したテキストの品質と多様性を微妙に評価できる。
論文参考訳（メタデータ） (2024-02-16T13:53:26Z)
CritiqueLLM: Towards an Informative Critique Generation Model for Evaluation of Large Language Model Generation [87.44350003888646]
Eval-Instructは、疑似参照でポイントワイズした批評を取得し、マルチパスプロンプトを通じてこれらの批評を修正できる。 CritiqueLLMは、ChatGPTとすべてのオープンソースベースラインを上回るように実証的に示されています。
論文参考訳（メタデータ） (2023-11-30T16:52:42Z)
LLMs as Narcissistic Evaluators: When Ego Inflates Evaluation Scores [23.568883428947494]
本研究は,LMに基づく評価指標が,要約タスクの文脈において,それぞれの基盤となるLMに対して有利なバイアスを示すかどうかを考察する。以上の結果から, 金のサマリーを活用せずに, 基準のない手法で評価指標を用いた場合, 特に有意なバイアスがみられた。これらの結果は、生成的評価モデルによって提供される評価は、本質的なテキスト品質を超える要因に影響される可能性があることを裏付けている。
論文参考訳（メタデータ） (2023-11-16T10:43:26Z)
Evaluation Metrics in the Era of GPT-4: Reliably Evaluating Large Language Models on Sequence to Sequence Tasks [9.801767683867125]
我々は,3つのNLPベンチマークの予備的およびハイブリッドな評価を,自動評価と人的評価の両方を用いて提供する。 ChatGPTは、ほとんどのメトリクスにおいて、人間のレビュアーによって、他の人気のあるモデルよりも一貫して優れています。また、人間のレビュアーは、最高のモデルの出力よりも金の基準を格段に悪く評価し、多くの人気のあるベンチマークの品質が劣っていることを示している。
論文参考訳（メタデータ） (2023-10-20T20:17:09Z)
Calibrating LLM-Based Evaluator [92.17397504834825]
マルチステージで勾配のないアプローチであるAutoCalibrateを提案し,LLMに基づく評価器を人間の好みに合わせて調整・調整する。人間の嗜好を明示的にモデル化する代わりに、まず暗黙的に人間のラベルに含めます。複数のテキスト品質評価データセットに関する実験は、校正による専門家評価との相関性を大幅に改善したことを示す。
論文参考訳（メタデータ） (2023-09-23T08:46:11Z)
INSTRUCTSCORE: Explainable Text Generation Evaluation with Finegrained Feedback [80.57617091714448]
テキスト生成のための説明可能な評価指標であるInstructScoreを提案する。 LLaMAに基づいてテキスト評価基準を微調整し、生成されたテキストのスコアと人間の可読性診断レポートを生成する。
論文参考訳（メタデータ） (2023-05-23T17:27:22Z)
GPTScore: Evaluate as You Desire [40.111346987131974]
本稿では,生成事前学習モデルから創発的能力(ゼロショット命令など)を利用して生成したテキストをスコアする新しい評価フレームワークGPTScoreを提案する。 4つのテキスト生成タスク、22の評価側面、およびそれに対応する37のデータセットに関する実験結果から、GPTScoreは、自然言語命令だけでテキストに対して評価したいことを効果的に実現できることを示した。
論文参考訳（メタデータ） (2023-02-08T16:17:29Z)
Towards a Unified Multi-Dimensional Evaluator for Text Generation [101.47008809623202]
自然言語生成のための統一多次元評価器UniEvalを提案する。我々はNLG評価をブール質問回答(QA)タスクとして再設定し、異なる質問でモデルを導くことで、複数の次元から評価するために1つの評価器を使うことができる。 3つの典型的なNLGタスクの実験では、UniEvalは既存のメトリクスよりも人間の判断と大きく相関している。
論文参考訳（メタデータ） (2022-10-13T17:17:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。