論文の概要: Identifying Inaccurate Descriptions in LLM-generated Code Comments via Test Execution

• arxiv url: http://arxiv.org/abs/2406.14836v1
• Date: Fri, 21 Jun 2024 02:40:34 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-24 14:52:36.200433
• Title: Identifying Inaccurate Descriptions in LLM-generated Code Comments via Test Execution
• Title（参考訳）: テスト実行によるLLM生成コードコメントの不正確な記述の同定
• Authors: Sungmin Kang, Louis Milliken, Shin Yoo,
• Abstract要約: 3つの大言語モデル(LLM)が生成するコメントを評価する。 文書をLCMを用いて検証し、文書に基づいてテストを生成し、それらのテストを実行し、通過するかどうかを観察する文書テストの概念を提案する。
• 参考スコア（独自算出の注目度）: 11.418182511485032
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Software comments are critical for human understanding of software, and as such many comment generation techniques have been proposed. However, we find that a systematic evaluation of the factual accuracy of generated comments is rare; only subjective accuracy labels have been given. Evaluating comments generated by three Large Language Models (LLMs), we find that even for the best-performing LLM, roughly a fifth of its comments contained demonstrably inaccurate statements. While it seems code-comment consistency detection techniques should be able to detect inaccurate comments, we perform experiments demonstrating they have no statistically significant relationship with comment accuracy, underscoring the substantial difficulty of this problem. To tackle this, we propose the concept of document testing, in which a document is verified by using an LLM to generate tests based on the document, running those tests, and observing whether they pass or fail. Furthermore, we implement our concept to verify Java comments. Experiments demonstrate that our approach has a robust statistical relationship with comment accuracy, making headway into a problem where prior techniques failed. Qualitative evaluation also reveals the promise of our approach in gaining developer trust, while highlighting the limitations of our current implementation.
• Abstract（参考訳）: ソフトウェアコメントは人間のソフトウェア理解にとって重要なものであり、多くのコメント生成技術が提案されている。 しかし、生成したコメントの事実的正確さを体系的に評価することは稀であり、主観的精度ラベルのみが与えられた。 3つの大言語モデル(LLM)が生成したコメントを評価すると、最も優れたLCMであっても、そのコメントの約5分の1は、明らかに不正確なステートメントを含んでいることがわかった。 コード構成整合性検出技術は不正確なコメントを検出できるはずだが、我々は、コメント精度と統計的に有意な関係がないことを示す実験を行い、この問題のかなりの難しさを浮き彫りにしている。 そこで本研究では,LCMを用いて文書に基づいてテストを生成し,それらのテストを実行し,通過するかどうかを確認することによって,文書の検証を行う文書テストの概念を提案する。 さらに、Javaコメントを検証するために、我々の概念を実装します。 実験により,提案手法はコメント精度と統計的に強い関係があることが示され,従来の手法が失敗した問題への道のりが示唆された。 質的な評価は、現在の実装の限界を強調しながら、開発者の信頼を得るためのアプローチの約束を明らかにします。

関連論文リスト

• Check-Eval: A Checklist-based Approach for Evaluating Text Quality [3.4069627091757178]
  Check-Evalは、大規模言語モデル(LLM)の評価フレームワークである。 Check-Evalは、参照不要と参照依存の両方の評価方法として使用できる。 ポルトガルの法定意味テキスト類似度とSummEvalの2つのベンチマークデータセット上でCheck-Evalを検証する。
  論文  参考訳（メタデータ） (2024-07-19T17:14:16Z)
• Benchmarking Uncertainty Quantification Methods for Large Language Models with LM-Polygraph [85.51252685938564]
  不確実性定量化(UQ)は、機械学習(ML)に依存するアプリケーションの重要なコンポーネントとして、ますます認識されつつある。 他のMLモデルと同様に、大きな言語モデル(LLM)は、クレームを作成することによって誤った予測をする傾向があり、あるいは与えられた入力に対して単に低品質の出力を生成する。 本稿では,最先端のUQベースラインの集合を実装した新しいベンチマークを提案し,新しいテクニックを制御可能かつ一貫した評価を行う環境を提供する。
  論文  参考訳（メタデータ） (2024-06-21T20:06:31Z)
• SORRY-Bench: Systematically Evaluating Large Language Model Safety Refusal Behaviors [64.9938658716425]
  安全でないユーザリクエストを認識して拒否する、大規模な言語モデル(LLM)の既存の評価は、3つの制限に直面している。 まず、既存の手法では、安全でないトピックの粗い粒度を使い、いくつかのきめ細かいトピックを過剰に表現している。 第二に、プロンプトの言語的特徴とフォーマッティングは、様々な言語、方言など、多くの評価において暗黙的にのみ考慮されているように、しばしば見過ごされる。 第3に、既存の評価は大きなLCMに頼っているため、コストがかかる可能性がある。
  論文  参考訳（メタデータ） (2024-06-20T17:56:07Z)
• Software Vulnerability and Functionality Assessment using LLMs [0.8057006406834466]
  我々は,Large Language Models (LLMs) がコードレビューに役立つかどうかを検討する。 我々の調査は、良質なレビューに欠かせない2つの課題に焦点を当てている。
  論文  参考訳（メタデータ） (2024-03-13T11:29:13Z)
• Factcheck-Bench: Fine-Grained Evaluation Benchmark for Automatic Fact-checkers [121.53749383203792]
  本稿では,大規模言語モデル (LLM) 生成応答の事実性に注釈を付けるための総合的なエンドツーエンドソリューションを提案する。 オープンドメインの文書レベルの事実性ベンチマークを,クレーム,文,文書の3段階の粒度で構築する。 予備実験によると、FacTool、FactScore、Perplexityは虚偽の主張を識別するのに苦労している。
  論文  参考訳（メタデータ） (2023-11-15T14:41:57Z)
• FELM: Benchmarking Factuality Evaluation of Large Language Models [40.78878196872095]
  本稿では,Felmと呼ばれる大規模言語モデルのファクチュアリティ評価のためのベンチマークを紹介する。 我々は,大規模言語モデルから生成された応答を収集し,微粒な方法で事実ラベルを注釈付けする。 その結果,検索は事実性評価に役立つが,現在のLCMは事実の誤りを忠実に検出するには不十分であることがわかった。
  論文  参考訳（メタデータ） (2023-10-01T17:37:31Z)
• ChatGPT as a Factual Inconsistency Evaluator for Text Summarization [17.166794984161964]
  ゼロショット設定下において,ChatGPTは事実整合性を評価することができることを示す。 一般的に、二項関係推論、要約ランク付け、一貫性評価に関する以前の評価指標よりも優れています。 しかし、ChatGPTの出力を綿密に検査すると、より語彙的に類似した候補を好むこと、誤った推論、指示の不十分な理解など、一定の制限が示される。
  論文  参考訳（メタデータ） (2023-03-27T22:30:39Z)
• Context-faithful Prompting for Large Language Models [51.194410884263135]
  大言語モデル(LLM)は世界事実に関するパラメトリック知識を符号化する。 パラメトリック知識への依存は、文脈的手がかりを見落とし、文脈に敏感なNLPタスクにおいて誤った予測をもたらす可能性がある。 我々は, LLMの文脈的忠実度を, 知識の衝突と, 棄権による予測の2つの側面で評価し, 向上する。
  論文  参考訳（メタデータ） (2023-03-20T17:54:58Z)
• On the Blind Spots of Model-Based Evaluation Metrics for Text Generation [79.01422521024834]
  テキスト生成評価指標のロバスト性分析に有用であるが,しばしば無視される手法を探索する。 我々は、幅広い潜在的な誤差を設計、合成し、それらが測定値の余計な低下をもたらすかどうかを確認する。 私たちの実験では、既存のメトリクスの興味深い不感、バイアス、あるいは抜け穴が明らかになりました。
  論文  参考訳（メタデータ） (2022-12-20T06:24:25Z)
• Deep Just-In-Time Inconsistency Detection Between Comments and Source Code [51.00904399653609]
  本稿では,コード本体の変更によりコメントが矛盾するかどうかを検出することを目的とする。 私たちは、コメントとコードの変更を関連付けるディープラーニングアプローチを開発しています。 より包括的な自動コメント更新システムを構築するために,コメント更新モデルと組み合わせて提案手法の有用性を示す。
  論文  参考訳（メタデータ） (2020-10-04T16:49:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。