論文の概要: Semantic-Preserving Transformations as Mutation Operators: A Study on Their Effectiveness in Defect Detection

• arxiv url: http://arxiv.org/abs/2503.23448v1
• Date: Sun, 30 Mar 2025 14:00:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-01 19:35:57.125987
• Title: Semantic-Preserving Transformations as Mutation Operators: A Study on Their Effectiveness in Defect Detection
• Title（参考訳）: 突然変異演算子としての意味保存変換 : 欠陥検出における有効性の検討
• Authors: Max Hort, Linas Vidziunas, Leon Moonen,
• Abstract要約: 意味保存変換を実装した既存の出版物を収集し,その実装を共有する。 欠陥検出ツールの強化のための3つの異なるアンサンブル戦略の有効性を実証的に検討した。 この結果から,共有セマンティック保存変換の再利用は困難であり,時には意味論に悪影響を及ぼすことさえあることがわかった。
• 参考スコア（独自算出の注目度）: 3.3590922002216197
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent advances in defect detection use language models. Existing works enhanced the training data to improve the models' robustness when applied to semantically identical code (i.e., predictions should be the same). However, the use of semantically identical code has not been considered for improving the tools during their application - a concept closely related to metamorphic testing. The goal of our study is to determine whether we can use semantic-preserving transformations, analogue to mutation operators, to improve the performance of defect detection tools in the testing stage. We first collect existing publications which implemented semantic-preserving transformations and share their implementation, such that we can reuse them. We empirically study the effectiveness of three different ensemble strategies for enhancing defect detection tools. We apply the collected transformations on the Devign dataset, considering vulnerabilities as a type of defect, and two fine-tuned large language models for defect detection (VulBERTa, PLBART). We found 28 publications with 94 different transformations. We choose to implement 39 transformations from four of the publications, but a manual check revealed that 23 out 39 transformations change code semantics. Using the 16 remaining, correct transformations and three ensemble strategies, we were not able to increase the accuracy of the defect detection models. Our results show that reusing shared semantic-preserving transformation is difficult, sometimes even causing wrongful changes to the semantics. Keywords: defect detection, language model, semantic-preserving transformation, ensemble
• Abstract（参考訳）: 言語モデルを用いた欠陥検出の最近の進歩 既存の作業は、セマンティックに同一のコードに適用する際のモデルの堅牢性を改善するためにトレーニングデータを強化した(つまり、予測は同じであるべきである)。 しかしながら、セマンティックに同一のコードを使用することは、アプリケーション中のツールの改善には考慮されていない。 本研究の目的は, 突然変異演算子に類似した意味保存変換を用いて, テスト段階における欠陥検出ツールの性能向上を図ることである。 まず、意味保存変換を実装した既存の出版物を収集し、それらの実装を再利用できるように共有する。 欠陥検出ツールの強化のための3つの異なるアンサンブル戦略の有効性を実証的に検討した。 本稿では,脆弱性のタイプとして脆弱性を考慮したDevignデータセットと,欠陥検出のための2つの微調整された大規模言語モデル(VulBERTa,PLBART)に適用する。 94の異なる変換を持つ28の出版物を見つけました。 4つの出版物から39の変換を実装することにしましたが、手作業で23の変換でコードの意味が変わりました。 残っていた16の正確な変換と3つのアンサンブル戦略を用いて,欠陥検出モデルの精度を向上できなかった。 この結果から,共有セマンティック保存変換の再利用は困難であり,時には意味論に悪影響を及ぼすことさえあることがわかった。 キーワード:欠陥検出、言語モデル、意味保存変換、アンサンブル

関連論文リスト

• Evaluating the Effectiveness of Small Language Models in Detecting Refactoring Bugs [0.6133301815445301]
  本研究では,Java と Python の2種類のバグ検出における小言語モデル (SLM) の有効性を評価する。 この研究は16種類のタイプをカバーし、コンシューマグレードのハードウェアにゼロショットプロンプトを用いて、事前トレーニングを明示することなくモデルの正確性を推論する能力を評価する。 プロプライエタリなo3-mini-highモデルは、タイプIの84.3%のバグを識別し、最も高い検出率を達成した。
  論文  参考訳（メタデータ） (2025-02-25T18:52:28Z)
• Improving Zero-Shot Object-Level Change Detection by Incorporating Visual Correspondence [13.479857959236345]
  既存の変更検出アプローチには3つの大きな制限がある。 本稿では,変化検出精度を向上させるために,学習中の変化対応を利用した新しい手法を提案する。 また、推定ホモグラフィーとハンガリーのアルゴリズムを用いて検出された変化のペア間の対応を予測した最初の人物である。
  論文  参考訳（メタデータ） (2025-01-09T20:02:10Z)
• Evaluating Semantic Variation in Text-to-Image Synthesis: A Causal Perspective [50.261681681643076]
  本稿では,SemVarEffectとSemVarBenchというベンチマークを用いて,テキスト・画像合成における入力のセマンティックな変化と出力の因果性を評価する。 本研究は,T2I合成コミュニティによるヒューマンインストラクション理解の探索を促進する効果的な評価枠組みを確立する。
  論文  参考訳（メタデータ） (2024-10-14T08:45:35Z)
• Learning on Transformers is Provable Low-Rank and Sparse: A One-layer Analysis [63.66763657191476]
  低ランク計算としての効率的な数値学習と推論アルゴリズムはトランスフォーマーに基づく適応学習に優れた性能を持つことを示す。 我々は、等級モデルが適応性を改善しながら一般化にどのように影響するかを分析する。 適切なマグニチュードベースのテストは,テストパフォーマンスに多少依存している,と結論付けています。
  論文  参考訳（メタデータ） (2024-06-24T23:00:58Z)
• Benchmarking Robustness of Adaptation Methods on Pre-trained Vision-Language Models [49.595973365500775]
  マルチモーダルな汚職下では、4つの視覚言語データセットにまたがる11種類の広く使われている適応手法のロバスト性を評価する。 1)適応法は視覚的汚職よりもテキストの汚損に敏感である。 予測とは対照的に,適応データやパラメータの増大は強靭性を保証するものではないことが示唆された。
  論文  参考訳（メタデータ） (2023-06-03T11:05:04Z)
• Transformer-based approaches to Sentiment Detection [55.41644538483948]
  テキスト分類のための4種類の最先端変圧器モデルの性能について検討した。 RoBERTa変換モデルは82.6%のスコアでテストデータセット上で最高のパフォーマンスを示し、品質予測に非常に推奨されている。
  論文  参考訳（メタデータ） (2023-03-13T17:12:03Z)
• Self-Supervised Learning for Group Equivariant Neural Networks [75.62232699377877]
  群同変ニューラルネットワーク(英: Group equivariant Neural Network)は、入力の変換で通勤する構造に制限されたモデルである。 自己教師型タスクには、同変プリテキストラベルと異変コントラスト損失という2つの概念を提案する。 標準画像認識ベンチマークの実験では、同変ニューラルネットワークが提案された自己教師型タスクを利用することを示した。
  論文  参考訳（メタデータ） (2023-03-08T08:11:26Z)
• Invalidator: Automated Patch Correctness Assessment via Semantic and Syntactic Reasoning [6.269370220586248]
  本稿では,意味論的および統語論的推論により,APR生成パッチの正当性を自動的に評価する手法を提案する。 我々は、Defects4Jの現実世界のプログラムで生成された885パッチのデータセットについて実験を行った。 実験の結果,INVALIDATORは79%のオーバーフィッティングパッチを正しく分類し,最高のベースラインで検出されたパッチを23%上回った。
  論文  参考訳（メタデータ） (2023-01-03T14:16:32Z)
• Generating Bug-Fixes Using Pretrained Transformers [11.012132897417592]
  実世界のgithubからマイニングしたjavaメソッドのバグの検出と修正を学ぶ,データ駆動型プログラム修復手法を導入する。 ソースコードプログラムの事前トレーニングは,スクラッチからの教師ありトレーニングに比べて,33%のパッチ数を改善することを示す。 我々は,標準精度評価基準を非削除および削除のみの修正に洗練し,我々の最良モデルが従来よりも75%多くの非削除修正を生成することを示す。
  論文  参考訳（メタデータ） (2021-04-16T05:27:04Z)
• Fake it Till You Make it: Self-Supervised Semantic Shifts for Monolingual Word Embedding Tasks [58.87961226278285]
  語彙意味変化をモデル化するための自己教師付きアプローチを提案する。 本手法は,任意のアライメント法を用いて意味変化の検出に利用できることを示す。 3つの異なるデータセットに対する実験結果を用いて,本手法の有用性について述べる。
  論文  参考訳（メタデータ） (2021-01-30T18:59:43Z)
• Learning the Relation between Code Features and Code Transforms with Structured Prediction [13.62633524166298]
  条件付きランダムフィールド(CRF)を用いたASTノードのレベルでのコード変換を構造的に予測する最初の手法を提案する。 このアプローチはまず、特定のASTノードに特定のコード変換がどのように適用されるかをキャプチャする確率モデルをオフラインで学習し、次に学習したモデルを使用して、任意の新しい、目に見えないコードスニペットの変換を予測する。
  論文  参考訳（メタデータ） (2019-07-22T12:42:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。