論文の概要: SAGA: Summarization-Guided Assert Statement Generation

• arxiv url: http://arxiv.org/abs/2305.14808v1
• Date: Wed, 24 May 2023 07:03:21 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-24 05:58:36.231959
• Title: SAGA: Summarization-Guided Assert Statement Generation
• Title（参考訳）: SAGA: 要約ガイド付アサートステートメント生成
• Authors: Yuwei Zhang and Zhi Jin and Zejun Wang and Ying Xing and Ge Li
• Abstract要約: 本稿では,アサート文の自動生成のための新しい要約誘導手法を提案する。 我々は、事前訓練された言語モデルを参照アーキテクチャとして利用し、アサート文生成のタスクでそれを微調整する。
• 参考スコア（独自算出の注目度）: 34.51502565985728
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Generating meaningful assert statements is one of the key challenges in automated test case generation, which requires understanding the intended functionality of the tested code. Recently, deep learning-based models have shown promise in improving the performance of assert statement generation. However, existing models only rely on the test prefixes along with their corresponding focal methods, yet ignore the developer-written summarization. Based on our observations, the summarization contents usually express the intended program behavior or contain parameters that will appear directly in the assert statement. Such information will help existing models address their current inability to accurately predict assert statements. This paper presents a novel summarization-guided approach for automatically generating assert statements. To derive generic representations for natural language (i.e., summarization) and programming language (i.e., test prefixes and focal methods), we leverage a pre-trained language model as the reference architecture and fine-tune it on the task of assert statement generation. To the best of our knowledge, the proposed approach makes the first attempt to leverage the summarization of focal methods as the guidance for making the generated assert statements more accurate. We demonstrate the effectiveness of our approach on two real-world datasets when compared with state-of-the-art models.
• Abstract（参考訳）: 有意義なアサートステートメントの生成は自動テストケース生成の重要な課題の1つであり、テストされたコードの意図した機能を理解する必要がある。 近年,ディープラーニングモデルによるアサート文生成の性能向上が期待されている。 しかし、既存のモデルはテストプレフィックスと対応する焦点メソッドにのみ依存するが、開発者による要約は無視する。 我々の観察に基づいて、要約内容は通常、意図したプログラムの振る舞いを表現するか、アサートステートメントに直接現れるパラメータを含む。 このような情報は、既存のモデルが現在のアサートステートメントを正確に予測できない場合に役立ちます。 本稿では,アサート文の自動生成のための新しい要約誘導手法を提案する。 自然言語(要約)とプログラミング言語(テストプレフィックスとフォーカスメソッド)の汎用表現を導出するために、トレーニング済みの言語モデルを参照アーキテクチャとして利用し、アサート文生成のタスクでそれを微調整する。 我々の知る限り、提案手法は、生成したアサーション文をより正確にするためのガイダンスとして焦点メソッドの要約を利用するための最初の試みである。 現状のモデルと比較した場合の2つの実世界のデータセットに対するアプローチの有効性を示す。

関連論文リスト

• ASSERTIFY: Utilizing Large Language Models to Generate Assertions for Production Code [0.7973214627863593]
  プロダクションアサーションは、開発者がコードに関する仮定を検証するのを助けるために、コードに埋め込まれたステートメントである。 静的解析やディープラーニングのような現在のアサーション生成技術は、プロダクションアサーションの生成に関して不足している。 このプレプリントは、LLM(Large Language Models)を活用した自動エンドツーエンドツールであるAssertifyを導入し、エンジニアリングにプロダクションアサーションを生成することで、ギャップに対処する。
  論文  参考訳（メタデータ） (2024-11-25T20:52:28Z)
• Localizing Factual Inconsistencies in Attributable Text Generation [91.981439746404]
  本稿では,帰属可能なテキスト生成における事実の不整合をローカライズするための新しい形式であるQASemConsistencyを紹介する。 まず,人間のアノテーションに対するQASemConsistency法の有効性を示す。 そこで我々は,局所的な事実の不整合を自動的に検出するいくつかの手法を実装した。
  論文  参考訳（メタデータ） (2024-10-09T22:53:48Z)
• Chat-like Asserts Prediction with the Support of Large Language Model [34.140962210930624]
  我々は,Pythonプロジェクトで有意義なアサート文を生成するために,Chatライクな実行ベースのアサート予測(tool)を導入する。 ツールはペルソナ、Chain-of-Thought、ワンショットの学習技術を利用して、迅速な設計を行い、LLMやPythonインタプリタと通信する。 評価の結果, 単一アサーション文生成では64.7%, 全体アサーション文生成では62%の精度が得られた。
  論文  参考訳（メタデータ） (2024-07-31T08:27:03Z)
• BenchCLAMP: A Benchmark for Evaluating Language Models on Syntactic and Semantic Parsing [55.058258437125524]
  本稿では,制約付きLanguage Model Parsingを評価するベンチマークであるBenchCLAMPを紹介する。 APIを通じてのみ利用可能な2つのGPT-3変種を含む8つの言語モデルをベンチマークする。 実験により,エンコーダ-デコーダ事前学習言語モデルでは,モデル出力が有効であると制約された場合に,構文解析や意味解析の最先端手法を超えることができることがわかった。
  論文  参考訳（メタデータ） (2022-06-21T18:34:11Z)
• Adversarial GLUE: A Multi-Task Benchmark for Robustness Evaluation of Language Models [86.02610674750345]
  AdvGLUE(Adversarial GLUE)は、様々な種類の敵攻撃の下で、現代の大規模言語モデルの脆弱性を調査し評価するための新しいマルチタスクベンチマークである。 GLUEタスクに14の逆攻撃手法を適用してAdvGLUEを構築する。 テストしたすべての言語モデルとロバストなトレーニングメソッドは、AdvGLUEではパフォーマンスが悪く、スコアは明確な精度よりもはるかに遅れています。
  論文  参考訳（メタデータ） (2021-11-04T12:59:55Z)
• ReAssert: Deep Learning for Assert Generation [3.8174671362014956]
  本稿では、JUnitテストアサーションの自動生成のためのアプローチであるRE-ASSERTを提案する。 これは、学習に正確なコード・トゥ・テストのトレーサビリティを使用して、プロジェクトを個別にターゲットすることで達成される。 我々はまた、最先端のディープラーニングモデルであるReformerと、ReAssertと既存のアプローチであるATLASを評価するための以前の2つのモデルも利用しています。
  論文  参考訳（メタデータ） (2020-11-19T11:55:59Z)
• Generating Accurate Assert Statements for Unit Test Cases using Pretrained Transformers [10.846226514357866]
  単体テストは、ソフトウェアテストピラミッドの基礎となる基礎である。 正確で有用なアサーション文を生成することによって、開発者が単体テストケースを書くのを支援するアプローチを提案する。
  論文  参考訳（メタデータ） (2020-09-11T19:35:09Z)
• Exploring Software Naturalness through Neural Language Models [56.1315223210742]
  ソフトウェア自然性仮説(Software Naturalness hypothesis)は、自然言語処理で使用されるのと同じ手法でプログラミング言語を理解することができると主張している。 この仮説は,事前学習されたトランスフォーマーベース言語モデルを用いて,コード解析タスクを実行することによって検討する。
  論文  参考訳（メタデータ） (2020-06-22T21:56:14Z)
• Generating Fact Checking Explanations [52.879658637466605]
  まだ欠けているパズルの重要なピースは、プロセスの最も精巧な部分を自動化する方法を理解することです。 本稿では、これらの説明を利用可能なクレームコンテキストに基づいて自動生成する方法について、最初の研究を行う。 この結果から,個別に学習するのではなく,両目標を同時に最適化することで,事実確認システムの性能が向上することが示唆された。
  論文  参考訳（メタデータ） (2020-04-13T05:23:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。