論文の概要: DeCon: Detecting Incorrect Assertions via Postconditions Generated by a Large Language Model

• arxiv url: http://arxiv.org/abs/2501.02901v1
• Date: Mon, 06 Jan 2025 10:25:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-07 17:07:49.678225
• Title: DeCon: Detecting Incorrect Assertions via Postconditions Generated by a Large Language Model
• Title（参考訳）: DeCon: 大規模言語モデルで生成された後条件による誤挿入の検出
• Authors: Hao Yu, Tianyu Chen, Jiaming Huang, Zongyang Li, Dezhi Ran, Xinyu Wang, Ying Li, Assaf Marron, David Harel, Yuan Xie, Tao Xie,
• Abstract要約: 対象問題に対するLLM生成後条件による誤認識を効果的に検出する,DeCon という新しい手法を提案する。 デコンは64%以上(それぞれGPT-3.5とGPT-4で検出された63%と65.5%)の誤ったアサーションを4つの最先端LCMで検出できる。
• 参考スコア（独自算出の注目度）: 22.38753408614465
• License:
• Abstract: Recently, given the docstring for the target problem and the target function signature, large language models (LLMs) have been used not only to generate source code, but also to generate test cases, consisting of test inputs and assertions (e.g., in the form of checking an actual output against the expected output). However, as shown by our empirical study on assertions generated by four LLMs for the HumanEval benchmark, over 62% of the generated assertions are incorrect (i.e., failed on the ground-truth problem solution). To detect incorrect assertions (given the docstring and the target function signature along with a sample of example inputs and outputs), in this paper, we propose a new approach named DeCon to effectively detect incorrect assertions via LLM-generated postconditions for the target problem (a postcondition is a predicate that must always be true just after the execution of the ground-truth problem solution). Our approach requires a small set of I/O examples (i.e., a sample of example inputs and outputs) for the target problem (e.g., the I/O examples included in the docstring for a target problem in HumanEval). We use the given I/O examples to filter out those LLM-generated postconditions that are violated by at least one given I/O example. We then use the remaining postconditions to detect incorrect assertions as those assertions that violate at least one remaining postcondition. Experimental results show that DeCon can detect averagely more than 64% (63% and 65.5% detected by GPT-3.5 and GPT-4, respectively) incorrect assertions generated by four state-of-the-art LLMs, and DeCon can also improve the effectiveness of these LLMs in code generation by 4% in terms of Pass@1. In addition, although DeCon might filter out correct assertions, the fault-finding ability of the remaining correct assertions decreases only slightly.
• Abstract（参考訳）: 近年,対象問題に対するドクストリングや対象関数シグネチャを考慮し,ソースコード生成だけでなく,テスト入力とアサーション(例えば,期待出力に対して実際の出力をチェックする形式)からなるテストケースを生成するために,大規模言語モデル (LLM) が用いられている。 しかし、HumanEvalベンチマークの4つのLCMが生成するアサーションに関する実証的研究で示されているように、生成されたアサーションの62%は誤りである(すなわち、根本的真理問題解では失敗する)。 本稿では,不正確なアサーション(サンプル入力と出力のサンプルとともにドクストリングとターゲット関数シグネチャを付加する)を検出するために,本論文では,目標問題に対するLLM生成後条件を通した誤りアサーションを効果的に検出するDeConという手法を提案する。 提案手法では,対象問題(例えば,HumanEvalのターゲット問題に対するドクストリングに含まれるI/O例)に対して,少数のI/O例(例入力と出力のサンプル)を必要とする。 我々は、与えられたI/O例を用いて、与えられたI/O例の少なくとも1つに違反するLSM生成後の条件をフィルタリングする。 次に、残りの条件を用いて、少なくとも1つの残りの条件に違反するアサーションとして、誤ったアサーションを検出する。 実験の結果、DeConは平均64%以上(GPT-3.5とGPT-4でそれぞれ63%と65.5%)の誤ったアサーションを4つの最先端LCMで検出でき、またコード生成におけるこれらのLCMの有効性をPass@1で4%向上できることがわかった。 さらに、DeConは正しいアサーションをフィルタリングするかもしれないが、残りの正しいアサーションのフォールトフィニング能力はわずかに低下する。

関連論文リスト

• Learning to Generate Unit Tests for Automated Debugging [52.63217175637201]
  ユニットテスト(UT)は、コードの正確性を評価するだけでなく、大きな言語モデル(LLM)へのフィードバックを提供する上でも重要な役割を果たします。 提案するUTGenは,LLMに対して,予測出力とともにエラーを示す単体テスト入力を生成することを教える。 UTGenがUT生成ベースラインを7.59%向上させることを示す。
  論文  参考訳（メタデータ） (2025-02-03T18:51:43Z)
• VALTEST: Automated Validation of Language Model Generated Test Cases [0.7059472280274008]
  大規模言語モデル(LLM)は、ソフトウェアテストの自動化、特に単体テストケースの生成において大きな可能性を証明している。 本稿では,トークンの確率を利用してLLMが生成したテストケースを自動的に検証する新しいフレームワークVALTESTを紹介する。
  論文  参考訳（メタデータ） (2024-11-13T00:07:32Z)
• Rethinking the Influence of Source Code on Test Case Generation [22.168699378889148]
  大規模言語モデル(LLM)は、コンテキストとして提供されるテスト対象のソースコードでテスト生成を支援するために広く応用されている。 テスト中のソースコードが間違っていれば、LLMはテストの生成時に誤用されるだろうか? 評価結果から, 誤りコードは, 正しい, 高いカバレッジ, バグ修正テストを生成する際に, LLMを著しく誤解させる可能性が示唆された。
  論文  参考訳（メタデータ） (2024-09-14T15:17:34Z)
• SORRY-Bench: Systematically Evaluating Large Language Model Safety Refusal Behaviors [64.9938658716425]
  安全でないユーザリクエストを認識して拒否する、大規模な言語モデル(LLM)の既存の評価は、3つの制限に直面している。 まず、既存の手法では、安全でないトピックの粗い粒度を使い、いくつかのきめ細かいトピックを過剰に表現している。 第二に、プロンプトの言語的特徴とフォーマッティングは、様々な言語、方言など、多くの評価において暗黙的にのみ考慮されているように、しばしば見過ごされる。 第3に、既存の評価は大きなLCMに頼っているため、コストがかかる可能性がある。
  論文  参考訳（メタデータ） (2024-06-20T17:56:07Z)
• Small Language Models Need Strong Verifiers to Self-Correct Reasoning [69.94251699982388]
  大規模言語モデル(LLM)の推論性能を高めるための有望なソリューションとして自己補正が登場した。 この研究は、小さい(=13B)言語モデル(LM)が、より強いLMから最小の入力で推論タスクを自己補正できるかどうかを考察する。
  論文  参考訳（メタデータ） (2024-04-26T03:41:28Z)
• GPT-HateCheck: Can LLMs Write Better Functional Tests for Hate Speech Detection? [50.53312866647302]
  HateCheckは、合成データに対してきめ細かいモデル機能をテストするスイートである。 GPT-HateCheckは,スクラッチからより多彩で現実的な機能テストを生成するフレームワークである。 クラウドソースのアノテーションは、生成されたテストケースが高品質であることを示しています。
  論文  参考訳（メタデータ） (2024-02-23T10:02:01Z)
• See, Say, and Segment: Teaching LMMs to Overcome False Premises [67.36381001664635]
  この課題を解決するために,LMMのカスケードと共同学習手法を提案する。 得られたモデルでは、画像中に物体が存在するかどうかを検知し、その物体が存在しないかをユーザに「例」し、最終的に、対象物のマスクを出力することで「分類」を行う。
  論文  参考訳（メタデータ） (2023-12-13T18:58:04Z)
• Effective Test Generation Using Pre-trained Large Language Models and Mutation Testing [13.743062498008555]
  大規模言語モデル(LLM)が生成するテストケースの有効性を,バグの発見の観点から改善するための MuTAP を導入する。 MuTAPは、プログラム・アンダー・テスト(PUT)の自然言語記述がない場合に有効なテストケースを生成することができる 提案手法は, 最大28%の人書きコードスニペットを検出できることを示す。
  論文  参考訳（メタデータ） (2023-08-31T08:48:31Z)
• LLMs as Factual Reasoners: Insights from Existing Benchmarks and Beyond [135.8013388183257]
  そこで我々は,SummEditsと呼ばれる10ドメインのベンチマークで不整合検出ベンチマークを作成し,実装する新しいプロトコルを提案する。 ほとんどのLLMはSummEditsで苦労しており、パフォーマンスはランダムに近い。 最も優れたモデルであるGPT-4は、推定された人間のパフォーマンスよりも8%低い。
  論文  参考訳（メタデータ） (2023-05-23T21:50:06Z)
• ReAssert: Deep Learning for Assert Generation [3.8174671362014956]
  本稿では、JUnitテストアサーションの自動生成のためのアプローチであるRE-ASSERTを提案する。 これは、学習に正確なコード・トゥ・テストのトレーサビリティを使用して、プロジェクトを個別にターゲットすることで達成される。 我々はまた、最先端のディープラーニングモデルであるReformerと、ReAssertと既存のアプローチであるATLASを評価するための以前の2つのモデルも利用しています。
  論文  参考訳（メタデータ） (2020-11-19T11:55:59Z)
• Model Assertions for Monitoring and Improving ML Models [26.90089824436192]
  本稿では,MLモデルの監視と改善を行う手段として,プログラムアサーションの古典的利用に適応した新しい抽象化,モデルアサーションを提案する。 モデルアサーションは、モデルがいつエラーが発生したかを示す入力と出力の任意の関数である。 本稿では,ランタイム監視,ラベルの検証,MLモデルの継続的な改善など,MLシステムデプロイメントのすべての段階におけるモデルアサーションの使用方法を提案する。
  論文  参考訳（メタデータ） (2020-03-03T17:49:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。