論文の概要: Round-Trip Mutation Testing: Translating Code to Natural Language Intent and back
- arxiv url: http://arxiv.org/abs/2607.03223v1
- Date: Fri, 03 Jul 2026 11:35:58 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-09 12:52:58.017629
- Title: Round-Trip Mutation Testing: Translating Code to Natural Language Intent and back
- Title(参考訳): ラウンドトリップ変異テスト: コードを自然言語インテントとバックに変換する
- Abstract要約: 本稿では,ラウンド・トリップ・ミューテーション・テスト(RTM)について述べる。
RTMは、プログラムコードとその意図の間のLLMの誤訳から突然変異を生成する。
本研究は, より多種多様な変異体を生産するラウンドトリップ変異試験の可能性を示すものである。
- 参考スコア(独自算出の注目度): 5.4804081616439975
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This paper presents Round-Trip Mutation Testing (RTM), a novel approach that generates mutants from LLM mistranslations between a program code and its intent. Leveraging the generative capability of LLMs from and to programming and natural language, and given an input program, our approach predicts its intent, that is used to generate programs, which when different from the original one, constitute the output mutants. The approach produces additionally mutants, stemming from artificially provoked mistranslations, by mutating the intent prior to the final programs (mutants) generation. Originating from the propagation of small changes in the intent to the code, our intuition is that these programs would present subtle semantic differences from the original one, simulating likely-to-occur faults that could result from specification misunderstandings, and enabling mutation testing. To evaluate RTM, we run it on 40 real buggy methods and evaluate its effectiveness and cost-efficiency in guiding testing towards detecting the bugs. Our results demonstrate the potential of round-trip mutation testing to produce syntactically more diverse mutants, potentially exposing faults that traditional mutation operators fail to reveal. More interestingly, RTM outperforms traditional pattern-based mutation in producing smaller and stronger test-suites, detecting on average over 4 and 1.7 times more faults when selecting only 4 and 30 tests respectively.
- Abstract(参考訳): 本稿では,プログラムコードと意図の誤訳から突然変異を生成する新しい手法であるラウンド・トリップ・ミューテーション・テスト(RTM)を提案する。
LLMの生成能力をプログラミングや自然言語に活用し、入力プログラムが与えられた場合、その意図を予測し、元のプログラムと異なるプログラムを生成し、出力ミュータントを構成する。
このアプローチは、最終プログラム(ミュータント)生成前の意図を変異させることによって、人工的に誘発された誤訳から派生した、追加の突然変異を生成する。
コードに対する意図の小さな変化の伝播から生まれた私たちの直感では、これらのプログラムはオリジナルのプログラムと微妙な意味的な違いを示し、仕様の誤解から生じる可能性のある欠陥をシミュレートし、突然変異検査を可能にする。
RTMを評価するために,40個の実際のバグジィな手法で実行し,その有効性とコスト効率を評価した。
本研究は, 従来の変異オペレーターが明らかにしなかった欠陥を暴露する可能性のある, 構文上より多様な変異体を産生するラウンドトリップ変異試験の可能性を示すものである。
さらに興味深いことに、RTMは従来のパターンベースの突然変異よりも、より小型で強力なテストスーツを生産し、それぞれ4つと30つのテストだけを選択すると、平均4倍と1.7倍の障害を検出する。
関連論文リスト
- Intent-Based Mutation Testing: From Naturally Written Programming Intents to Mutants [5.317864735982288]
インテントベースの突然変異テストは、テスト中のプログラムで実装されるプログラミングインテントを変更することで突然変異を生成する。
本研究では,Large Language Models (LLMs) を用いたインテントベースの突然変異テストを実施し,プログラムの意図を変異させて変異体に変換する。
我々は29のプログラムにおいて意図に基づく突然変異を評価し、構文的に複雑で、意味的に多様で、従来の突然変異とはかなり異なる突然変異を生成することを示した。
論文 参考訳(メタデータ) (2026-07-06T14:30:02Z) - Hybrid Fault-Driven Mutation Testing for Python [0.0]
我々は,Pythonプログラムのアンチパターンにインスパイアされた7つの突然変異演算子を新たに導入する。
本研究では,静的解析と動的解析を併用した突然変異試験手法を提案する。
このアプローチをPyTationというツールで実装し,13のオープンソースPythonアプリケーション上で評価する。
論文 参考訳(メタデータ) (2026-01-27T01:49:38Z) - PRIMG : Efficient LLM-driven Test Generation Using Mutant Prioritization [0.0]
PRIMG(Prioritization and Refinement Integrated Mutation-driven Generation)は、Solidityスマートコントラクトのためのインクリメンタルで適応的なテストケース生成のための新しいフレームワークである。
PRIMGは突然変異優先順位付けモジュールを統合し、ミュータント置換グラフに基づいてトレーニングされた機械学習モデルを用いて、生き残ったミュータントの有用性を予測する。
優先順位付けモジュールはランダムなミュータント選択を一貫して上回り、計算労力を削減したハイインパクトテストの生成を可能にした。
論文 参考訳(メタデータ) (2025-05-08T18:30:22Z) - Automated Refactoring of Non-Idiomatic Python Code: A Differentiated Replication with LLMs [54.309127753635366]
本研究は, GPT-4の有効性について検討し, 慣用行動の推奨と示唆について検討した。
この結果から,従来は複雑なコード解析に基づくレコメンデータの実装が求められていた,LCMの課題達成の可能性が浮き彫りになった。
論文 参考訳(メタデータ) (2025-01-28T15:41:54Z) - Detecting Machine-Generated Long-Form Content with Latent-Space Variables [54.07946647012579]
既存のゼロショット検出器は主に、現実世界のドメインシフトに弱いトークンレベルの分布に焦点を当てている。
本稿では,イベント遷移などの抽象的要素を機械対人文検出の鍵となる要因として組み込んだ,より堅牢な手法を提案する。
論文 参考訳(メタデータ) (2024-10-04T18:42:09Z) - A Comprehensive Study on Large Language Models for Mutation Testing [36.00296047226433]
大規模言語モデル(LLM)は、最近、研究作業と産業実践の両方においてミュータントを生成するために使用されている。
BugFarm と LLMorpheus (最先端の2つの LLM ベースのアプローチ) を,Java の実世界の2つのバグベンチマークから,851 の実際のバグに対して評価した。
以上の結果から, LLMは既存のルールベースアプローチと比較して, 実際のバグに近づき, 111.29%の障害検出率を持つ, より多様な変異体を生成することが明らかとなった。
論文 参考訳(メタデータ) (2024-06-14T08:49:41Z) - LLMorpheus: Mutation Testing using Large Language Models [5.448283690603358]
本稿では,プログラムのソースコード内の指定された場所でプレースホルダーを導入する変異検査手法を提案する。
我々はLLMorpheusがStrykerJSでは生成できない既存のバグに似た変異体を生産できると考えている。
論文 参考訳(メタデータ) (2024-04-15T17:25:14Z) - An Empirical Evaluation of Manually Created Equivalent Mutants [54.02049952279685]
手動で作成した突然変異体の10%未満は等価である。
驚くべきことに、我々の発見は、開発者の大部分が同等のミュータントを正確に識別するのに苦労していることを示している。
論文 参考訳(メタデータ) (2024-04-14T13:04:10Z) - Contextual Predictive Mutation Testing [17.832774161583036]
MutationBERTは、ソースメソッドの突然変異とテストメソッドを同時にエンコードする予測突然変異テストのアプローチである。
精度が高いため、MutationBERTは、ライブミュータントをチェック・検証する以前のアプローチで費やされた時間の33%を節約する。
我々は、入力表現と、テストマトリックスレベルからテストスイートレベルまで予測を引き上げるためのアグリゲーションアプローチを検証し、同様の性能改善を見出した。
論文 参考訳(メタデータ) (2023-09-05T17:00:15Z) - DNA-GPT: Divergent N-Gram Analysis for Training-Free Detection of
GPT-Generated Text [82.5469544192645]
ダイバージェントN-Gram解析(DNA-GPT)と呼ばれる新しいトレーニング不要検出手法を提案する。
元の部分と新しい部分の違いをN-gram解析により解析することにより,機械生成テキストと人文テキストの分布に顕著な相違が明らかになった。
その結果, ゼロショットアプローチは, 人文とGPT生成テキストの区別において, 最先端の性能を示すことがわかった。
論文 参考訳(メタデータ) (2023-05-27T03:58:29Z) - Confident Adaptive Language Modeling [95.45272377648773]
CALMは、入力と生成時間ごとに異なる量の計算を動的に割り当てるフレームワークである。
ハイパフォーマンスを確実に維持しつつ、計算能力、潜在的スピードアップを最大3ドルまで削減する上で、我々のフレームワークの有効性を実証する。
論文 参考訳(メタデータ) (2022-07-14T17:00:19Z) - Tail-to-Tail Non-Autoregressive Sequence Prediction for Chinese
Grammatical Error Correction [49.25830718574892]
本稿では,Tail-to-Tail (textbfTtT) という新しいフレームワークを提案する。
ほとんどのトークンが正しいので、ソースからターゲットに直接転送でき、エラー位置を推定して修正することができる。
標準データセット、特に可変長データセットに関する実験結果は、文レベルの精度、精度、リコール、F1-Measureの観点からTtTの有効性を示す。
論文 参考訳(メタデータ) (2021-06-03T05:56:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。