論文の概要: AsserT5: Test Assertion Generation Using a Fine-Tuned Code Language Model

• arxiv url: http://arxiv.org/abs/2502.02708v1
• Date: Tue, 04 Feb 2025 20:42:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-06 14:28:27.285069
• Title: AsserT5: Test Assertion Generation Using a Fine-Tuned Code Language Model
• Title（参考訳）: AsserT5: 微調整コード言語モデルを用いたテストアサーション生成
• Authors: Severin Primbs, Benedikt Fein, Gordon Fraser,
• Abstract要約: トレーニング済みのCodeT5モデルに基づく新しいモデルであるAsserT5を提案する。 焦点推定手法の抽象化と包含は、微調整された事前学習モデルにも有用であることがわかった。
• 参考スコア（独自算出の注目度）: 8.995812770349602
• License:
• Abstract: Writing good software tests can be challenging, therefore approaches that support developers are desirable. While generating complete tests automatically is such an approach commonly proposed in research, developers may already have specific test scenarios in mind and thus just require help in selecting the most suitable test assertions for these scenarios. This can be done using deep learning models to predict assertions for given test code. Prior research on assertion generation trained these models specifically for the task, raising the question how much the use of larger models pre-trained on code that have emerged since then can improve their performance. In particular, while abstracting identifiers has been shown to improve specifically trained models, it remains unclear whether this also generalises to models pre-trained on non-abstracted code. Finally, even though prior work demonstrated high accuracy it remains unclear how this translates into the effectiveness of the assertions at their intended application -- finding faults. To shed light on these open questions, in this paper we propose AsserT5, a new model based on the pre-trained CodeT5 model, and use this to empirically study assertion generation. We find that the abstraction and the inclusion of the focal method are useful also for a fine-tuned pre-trained model, resulting in test assertions that match the ground truth assertions precisely in up to 59.5\% of cases, more than twice as precise as prior models. However, evaluation on real bugs from the Defects4J dataset shows that out of 138 bugs detectable with assertions in real-world projects, AsserT5 was only able to suggest fault-finding assertions for 33, indicating the need for further improvements.
• Abstract（参考訳）: 優れたソフトウェアテストを書くことは難しいため、開発者をサポートするアプローチが望ましい。 完全なテストを自動的に生成することは、研究で一般的に提案されているアプローチだが、開発者は特定のテストシナリオを念頭に置いているため、これらのシナリオに最も適したテストアサーションを選択する助けが必要である。 これは、ディープラーニングモデルを使用して、所定のテストコードに対するアサーションを予測することができる。 アサーション生成に関する以前の研究は、タスクのためにこれらのモデルをトレーニングし、それ以来コードで事前トレーニングされたより大きなモデルの使用がパフォーマンスを改善することができるかという疑問を提起した。 特に、特定訓練されたモデルを改善するために識別子を抽象化することが示されているが、それが非抽象的なコードで事前訓練されたモデルにも当てはまるかどうかは不明だ。 最後に、以前の研究が高い精度を示したとしても、それが意図したアプリケーションにおけるアサーションの有効性(障害を見つけること)にどのように変換されるのかは、まだ不明である。 本稿では、これらのオープンな質問に光を当てるために、事前学習されたCodeT5モデルに基づく新しいモデルであるAsserT5を提案し、これをアサーション生成を実証的に研究する。 焦点法の抽象化と包含は、微調整された事前学習モデルにも有用であることが判明し、その結果、基礎的真理の主張と正確に一致したテストアサーションが59.5\%のケースで、以前のモデルより2倍以上正確であることが判明した。 しかし、Defects4Jデータセットから実際のバグを評価すると、実際のプロジェクトのアサーションで検出可能な138のバグのうち、AsserT5は33のフォールトフィニングアサーションしか提案できず、さらなる改善の必要性を示している。

関連論文リスト

• The Surprising Effectiveness of Test-Time Training for Abstract Reasoning [64.36534512742736]
  モデル推論能力向上のためのメカニズムとして,テストタイムトレーニング(TTT)の有効性を検討する。 TTTはARCタスクのパフォーマンスを大幅に改善し、ベースとなる微調整モデルと比較して最大6倍の精度向上を実現した。 本研究は,ニューラルネットワークモデルにおける抽象的推論改善の道筋として,明示的な記号探索が唯一の道ではないことを示唆している。
  論文  参考訳（メタデータ） (2024-11-11T18:59:45Z)
• SAGA: Summarization-Guided Assert Statement Generation [34.51502565985728]
  本稿では,アサート文の自動生成のための新しい要約誘導手法を提案する。 我々は、事前訓練された言語モデルを参照アーキテクチャとして利用し、アサート文生成のタスクでそれを微調整する。
  論文  参考訳（メタデータ） (2023-05-24T07:03:21Z)
• Conformal prediction for the design problem [72.14982816083297]
  機械学習の現実的な展開では、次にテストすべきデータを選択するために予測アルゴリズムを使用します。 このような設定では、トレーニングデータとテストデータの間には、異なるタイプの分散シフトがある。 このような環境で予測の不確実性を定量化する手法を提案する。
  論文  参考訳（メタデータ） (2022-02-08T02:59:12Z)
• Parameter-free Online Test-time Adaptation [19.279048049267388]
  実世界の様々なシナリオにおいて,テスト時間適応手法が事前学習されたモデルにどのような効果をもたらすかを示す。 我々は特に「保守的」なアプローチを提案し、ラプラシアン適応最大推定(LAME)を用いてこの問題に対処する。 提案手法では,既存の手法よりもシナリオの平均精度がはるかに高く,メモリフットプリントもはるかに高速である。
  論文  参考訳（メタデータ） (2022-01-15T00:29:16Z)
• MEMO: Test Time Robustness via Adaptation and Augmentation [131.28104376280197]
  テスト時間ロバスト化の問題、すなわちモデルロバスト性を改善するためにテストインプットを用いて検討する。 最近の先行研究ではテスト時間適応法が提案されているが、それぞれ追加の仮定を導入している。 モデルが確率的で適応可能な任意のテスト環境で使用できるシンプルなアプローチを提案する。
  論文  参考訳（メタデータ） (2021-10-18T17:55:11Z)
• The MultiBERTs: BERT Reproductions for Robustness Analysis [86.29162676103385]
  事前トレーニングの再実行は、パフォーマンスに関して、かなり異なる結論をもたらす可能性がある。 我々は25個のBERTベースのチェックポイントの集合であるMultiBERTを紹介する。 目標は、研究者が事前訓練の手順について、堅牢で統計的に正当化された結論を描けるようにすることである。
  論文  参考訳（メタデータ） (2021-06-30T15:56:44Z)
• How Can We Know When Language Models Know? On the Calibration of Language Models for Question Answering [80.82194311274694]
  言語モデルがいつ、自信を持って、特定のクエリに対する答えを知っているか、どのように知ることができるか? 我々は,T5,BART,GPT-2の3つの強力な生成モデルを検討した。 次に、そのようなモデルの校正方法を検討し、その信頼性スコアを正しさの確率と相関させる。
  論文  参考訳（メタデータ） (2020-12-02T03:53:13Z)
• ReAssert: Deep Learning for Assert Generation [3.8174671362014956]
  本稿では、JUnitテストアサーションの自動生成のためのアプローチであるRE-ASSERTを提案する。 これは、学習に正確なコード・トゥ・テストのトレーサビリティを使用して、プロジェクトを個別にターゲットすることで達成される。 我々はまた、最先端のディープラーニングモデルであるReformerと、ReAssertと既存のアプローチであるATLASを評価するための以前の2つのモデルも利用しています。
  論文  参考訳（メタデータ） (2020-11-19T11:55:59Z)
• Understanding Classifier Mistakes with Generative Models [88.20470690631372]
  ディープニューラルネットワークは教師付き学習タスクに有効であるが、脆弱であることが示されている。 本稿では、生成モデルを利用して、分類器が一般化に失敗するインスタンスを特定し、特徴付ける。 我々のアプローチは、トレーニングセットのクラスラベルに依存しないため、半教師付きでトレーニングされたモデルに適用できる。
  論文  参考訳（メタデータ） (2020-10-05T22:13:21Z)
• Generating Accurate Assert Statements for Unit Test Cases using Pretrained Transformers [10.846226514357866]
  単体テストは、ソフトウェアテストピラミッドの基礎となる基礎である。 正確で有用なアサーション文を生成することによって、開発者が単体テストケースを書くのを支援するアプローチを提案する。
  論文  参考訳（メタデータ） (2020-09-11T19:35:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。