論文の概要: Identifying Inaccurate Descriptions in LLM-generated Code Comments via Test Execution

• arxiv url: http://arxiv.org/abs/2406.14836v1
• Date: Fri, 21 Jun 2024 02:40:34 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-24 14:52:36.200433
• Title: Identifying Inaccurate Descriptions in LLM-generated Code Comments via Test Execution
• Title（参考訳）: テスト実行によるLLM生成コードコメントの不正確な記述の同定
• Authors: Sungmin Kang, Louis Milliken, Shin Yoo,
• Abstract要約: 3つの大言語モデル(LLM)が生成するコメントを評価する。 文書をLCMを用いて検証し、文書に基づいてテストを生成し、それらのテストを実行し、通過するかどうかを観察する文書テストの概念を提案する。
• 参考スコア（独自算出の注目度）: 11.418182511485032
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Software comments are critical for human understanding of software, and as such many comment generation techniques have been proposed. However, we find that a systematic evaluation of the factual accuracy of generated comments is rare; only subjective accuracy labels have been given. Evaluating comments generated by three Large Language Models (LLMs), we find that even for the best-performing LLM, roughly a fifth of its comments contained demonstrably inaccurate statements. While it seems code-comment consistency detection techniques should be able to detect inaccurate comments, we perform experiments demonstrating they have no statistically significant relationship with comment accuracy, underscoring the substantial difficulty of this problem. To tackle this, we propose the concept of document testing, in which a document is verified by using an LLM to generate tests based on the document, running those tests, and observing whether they pass or fail. Furthermore, we implement our concept to verify Java comments. Experiments demonstrate that our approach has a robust statistical relationship with comment accuracy, making headway into a problem where prior techniques failed. Qualitative evaluation also reveals the promise of our approach in gaining developer trust, while highlighting the limitations of our current implementation.
• Abstract（参考訳）: ソフトウェアコメントは人間のソフトウェア理解にとって重要なものであり、多くのコメント生成技術が提案されている。 しかし、生成したコメントの事実的正確さを体系的に評価することは稀であり、主観的精度ラベルのみが与えられた。 3つの大言語モデル(LLM)が生成したコメントを評価すると、最も優れたLCMであっても、そのコメントの約5分の1は、明らかに不正確なステートメントを含んでいることがわかった。 コード構成整合性検出技術は不正確なコメントを検出できるはずだが、我々は、コメント精度と統計的に有意な関係がないことを示す実験を行い、この問題のかなりの難しさを浮き彫りにしている。 そこで本研究では,LCMを用いて文書に基づいてテストを生成し,それらのテストを実行し,通過するかどうかを確認することによって,文書の検証を行う文書テストの概念を提案する。 さらに、Javaコメントを検証するために、我々の概念を実装します。 実験により,提案手法はコメント精度と統計的に強い関係があることが示され,従来の手法が失敗した問題への道のりが示唆された。 質的な評価は、現在の実装の限界を強調しながら、開発者の信頼を得るためのアプローチの約束を明らかにします。

関連論文リスト

• Harnessing Large Language Models for Curated Code Reviews [2.5944208050492183]
  コードレビューでは、構造化され、関連するコメントを生成することは、コードの問題を識別し、正確なコード変更を容易にするために不可欠である。 既存のコードレビューデータセットは、しばしば騒々しく、未解決であり、AIモデルの学習可能性に制限を課している。 本稿では,最大規模の公開コードレビューデータセットの品質向上を目的としたキュレーションパイプラインを提案する。
  論文  参考訳（メタデータ） (2025-02-05T18:15:09Z)
• Deep Assessment of Code Review Generation Approaches: Beyond Lexical Similarity [27.92468098611616]
  コードレビューを評価するための2つの新しいセマンティックベースのアプローチを提案する。 最初のアプローチでは、生成されたレビューと参照の両方をディープラーニングモデルを使用してデジタルベクトルに変換する。 2つ目のアプローチは、生成されたレビューとその参照に基づいてプロンプトを生成し、このプロンプトをChatGPTに送信し、生成されたレビューを評価するためにChatGPTを要求する。
  論文  参考訳（メタデータ） (2025-01-09T11:52:32Z)
• DeepCRCEval: Revisiting the Evaluation of Code Review Comment Generation [11.010557279355885]
  本研究は,先行研究や開発者インタビューから得られた新しい基準を用いて,ベンチマークコメントを実証的に分析する。 評価フレームワークであるDeepCRCEvalは、人間の評価器とLarge Language Models(LLM)を統合し、現在の手法を総合的に再評価する。
  論文  参考訳（メタデータ） (2024-12-24T08:53:54Z)
• A Framework for Evaluating LLMs Under Task Indeterminacy [49.298107503257036]
  大規模言語モデル(LLM)の評価は、評価コーパスの各項目に対して単一の正しい応答(ゴールドラベル)があると仮定することが多い。 タスク不確定性の下でLLMを評価するためのフレームワークを開発する。
  論文  参考訳（メタデータ） (2024-11-21T00:15:44Z)
• Benchmarking Uncertainty Quantification Methods for Large Language Models with LM-Polygraph [83.90988015005934]
  不確実性定量化は機械学習アプリケーションにおいて重要な要素である。 最新のUQベースラインの集合を実装した新しいベンチマークを導入する。 我々は、11タスクにわたるUQと正規化技術に関する大規模な実証的研究を行い、最も効果的なアプローチを特定した。
  論文  参考訳（メタデータ） (2024-06-21T20:06:31Z)
• SORRY-Bench: Systematically Evaluating Large Language Model Safety Refusal Behaviors [64.9938658716425]
  安全でないユーザリクエストを認識して拒否する、大規模な言語モデル(LLM)の既存の評価は、3つの制限に直面している。 まず、既存の手法では、安全でないトピックの粗い粒度を使い、いくつかのきめ細かいトピックを過剰に表現している。 第二に、プロンプトの言語的特徴とフォーマッティングは、様々な言語、方言など、多くの評価において暗黙的にのみ考慮されているように、しばしば見過ごされる。 第3に、既存の評価は大きなLCMに頼っているため、コストがかかる可能性がある。
  論文  参考訳（メタデータ） (2024-06-20T17:56:07Z)
• Software Vulnerability and Functionality Assessment using LLMs [0.8057006406834466]
  我々は,Large Language Models (LLMs) がコードレビューに役立つかどうかを検討する。 我々の調査は、良質なレビューに欠かせない2つの課題に焦点を当てている。
  論文  参考訳（メタデータ） (2024-03-13T11:29:13Z)
• Factcheck-Bench: Fine-Grained Evaluation Benchmark for Automatic Fact-checkers [121.53749383203792]
  本稿では,大規模言語モデル (LLM) 生成応答の事実性に注釈を付けるための総合的なエンドツーエンドソリューションを提案する。 オープンドメインの文書レベルの事実性ベンチマークを,クレーム,文,文書の3段階の粒度で構築する。 予備実験によると、FacTool、FactScore、Perplexityは虚偽の主張を識別するのに苦労している。
  論文  参考訳（メタデータ） (2023-11-15T14:41:57Z)
• FELM: Benchmarking Factuality Evaluation of Large Language Models [40.78878196872095]
  本稿では,Felmと呼ばれる大規模言語モデルのファクチュアリティ評価のためのベンチマークを紹介する。 我々は,大規模言語モデルから生成された応答を収集し,微粒な方法で事実ラベルを注釈付けする。 その結果,検索は事実性評価に役立つが,現在のLCMは事実の誤りを忠実に検出するには不十分であることがわかった。
  論文  参考訳（メタデータ） (2023-10-01T17:37:31Z)
• On the Blind Spots of Model-Based Evaluation Metrics for Text Generation [79.01422521024834]
  テキスト生成評価指標のロバスト性分析に有用であるが,しばしば無視される手法を探索する。 我々は、幅広い潜在的な誤差を設計、合成し、それらが測定値の余計な低下をもたらすかどうかを確認する。 私たちの実験では、既存のメトリクスの興味深い不感、バイアス、あるいは抜け穴が明らかになりました。
  論文  参考訳（メタデータ） (2022-12-20T06:24:25Z)
• Deep Just-In-Time Inconsistency Detection Between Comments and Source Code [51.00904399653609]
  本稿では,コード本体の変更によりコメントが矛盾するかどうかを検出することを目的とする。 私たちは、コメントとコードの変更を関連付けるディープラーニングアプローチを開発しています。 より包括的な自動コメント更新システムを構築するために,コメント更新モデルと組み合わせて提案手法の有用性を示す。
  論文  参考訳（メタデータ） (2020-10-04T16:49:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。