論文の概要: Evaluating Program Repair with Semantic-Preserving Transformations: A
Naturalness Assessment
- arxiv url: http://arxiv.org/abs/2402.11892v1
- Date: Mon, 19 Feb 2024 07:07:44 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-20 17:50:24.870984
- Title: Evaluating Program Repair with Semantic-Preserving Transformations: A
Naturalness Assessment
- Title(参考訳): 意味保存変換を用いたプログラム修復の評価 : 自然性評価
- Authors: Thanh Le-Cong, Dat Nguyen, Bach Le, Toby Murray
- Abstract要約: 意味保存変換の自然性とそのNPR評価への影響について検討する。
以上の結果から,これらのトランスフォーメーションの約60%と20%が自然であり,非自然であると考えられた。
不自然なコード変換は、5つのよく知られたNPRシステムの堅牢性に対する25.2%の誤警報率をもたらす。
- 参考スコア(独自算出の注目度): 3.0191840609134792
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In this paper, we investigate the naturalness of semantic-preserving
transformations and their impacts on the evaluation of NPR. To achieve this, we
conduct a two-stage human study, including (1) interviews with senior software
developers to establish the first concrete criteria for assessing the
naturalness of code transformations and (2) a survey involving 10 developers to
assess the naturalness of 1178 transformations, i.e., pairs of original and
transformed programs, applied to 225 real-world bugs. Our findings reveal that
nearly 60% and 20% of these transformations are considered natural and
unnatural with substantially high agreement among human annotators.
Furthermore, the unnatural code transformations introduce a 25.2% false alarm
rate on robustness of five well-known NPR systems. Additionally, the
performance of the NPR systems drops notably when evaluated using natural
transformations, i.e., a drop of up to 22.9% and 23.6% in terms of the numbers
of correct and plausible patches generated by these systems. These results
highlight the importance of robustness testing by considering naturalness of
code transformations, which unveils true effectiveness of NPR systems. Finally,
we conduct an exploration study on automating the assessment of naturalness of
code transformations by deriving a new naturalness metric based on
Cross-Entropy. Based on our naturalness metric, we can effectively assess
naturalness for code transformations automatically with an AUC of 0.7.
- Abstract(参考訳): 本稿では,意味保存変換の自然性とそのNPR評価への影響について検討する。
これを達成するために,(1)上級ソフトウェア開発者へのインタビューを行い,コード変換の自然性を評価するための最初の具体的な基準を確立すること,(2)10人の開発者が1178の変換の自然性を評価すること,すなわち225の現実世界のバグに適用するオリジナルプログラムと変換プログラムのペアについて調査する。
以上の結果から,これらの変換の60%と20%は自然かつ不自然なものであり,ヒトのアノテータ間ではかなりの一致が認められた。
さらに、不自然なコード変換は5つのよく知られたNPRシステムの堅牢性に対して25.2%の誤警報率をもたらす。
さらに、NPRシステムの性能は自然変換を用いて評価すると顕著に低下し、これらのシステムによって生成された正しいパッチの数では22.9%と23.6%まで低下する。
これらの結果は,NPRシステムの真の有効性を明らかにするコード変換の自然性を考えることによって,ロバストネステストの重要性を強調した。
最後に,クロスエントロピーに基づく新たな自然度指標を導出することにより,コード変換の自然性評価の自動化に関する調査研究を行う。
自然度測定値に基づいて、AUC 0.7 でコード変換の自然度を自動的に評価できる。
関連論文リスト
- Diagnosing and Rectifying Fake OOD Invariance: A Restructured Causal
Approach [51.012396632595554]
不変表現学習(IRL)は、不変因果的特徴から環境から切り離されたラベルへの予測を促進する。
最近の理論的結果は、IRLによって回復されたいくつかの因果的特徴は、訓練環境ではドメイン不変のふりをするが、目に見えない領域では失敗する。
本研究では,RS-SCMに関する条件付き相互情報に基づく手法を開発し,その効果を巧みに補正する。
論文 参考訳(メタデータ) (2023-12-15T12:58:05Z) - Topology-Preserving Adversarial Training [28.129537658382848]
逆行訓練は、自然な精度劣化問題に悩まされている。
本稿では,この問題を緩和するためのトポロジ-pserving Adversarial training (TRAIN)を提案する。
提案手法は, 自然精度が最大8.78%向上し, 頑健さが4.50%向上した。
論文 参考訳(メタデータ) (2023-11-29T13:05:06Z) - Effective Restoration of Source Knowledge in Continual Test Time
Adaptation [44.17577480511772]
本稿では、動的環境におけるドメインシフトを識別できる教師なし領域変更検出手法を提案する。
情報源から知識を復元することにより、モデルパラメータの段階的劣化に起因する負の結果を効果的に補正する。
我々は,最先端の適応手法と比較して,提案手法の優れた性能を示すために,ベンチマークデータセットの広範な実験を行った。
論文 参考訳(メタデータ) (2023-11-08T19:21:48Z) - Exact and Cost-Effective Automated Transformation of Neural Network
Controllers to Decision Tree Controllers [7.5324684039928975]
NNベースのコントローラを等価なソフト決定木(SDT)に変換することとその妥当性への影響について検討する。
我々は、冗長な分岐を自動的に実行できるように、正確だが費用効率のよい変換アルゴリズムを考案する。
以上の結果から,SDT変換は,MountainCar-v0とCartPole-v0のランタイムを最大21倍,2倍改善したことを示す。
論文 参考訳(メタデータ) (2023-04-11T19:52:30Z) - Transformer-based approaches to Sentiment Detection [55.41644538483948]
テキスト分類のための4種類の最先端変圧器モデルの性能について検討した。
RoBERTa変換モデルは82.6%のスコアでテストデータセット上で最高のパフォーマンスを示し、品質予測に非常に推奨されている。
論文 参考訳(メタデータ) (2023-03-13T17:12:03Z) - ERNIE-SPARSE: Learning Hierarchical Efficient Transformer Through
Regularized Self-Attention [48.697458429460184]
情報ボトルネック感度と異なる注目トポロジ間の不整合の2つの要因がスパース変換器の性能に影響を及ぼす可能性がある。
本稿では,ERNIE-Sparseというモデルを提案する。
i) 局所情報とグローバル情報を逐次統一する階層スパース変換器(HST) と、(ii) 注意トポロジの異なる変換器の距離を最小化する自己注意正規化(SAR) の2つの特徴がある。
論文 参考訳(メタデータ) (2022-03-23T08:47:01Z) - NL-Augmenter: A Framework for Task-Sensitive Natural Language
Augmentation [91.97706178867439]
提案するNL-Augmenterは,Pythonベースの自然言語拡張フレームワークである。
このフレームワークと117の変換と23のフィルタを、さまざまな自然言語タスクに対して記述する。
我々は,NL-Augmenterの有効性を,NL-Augmenterの変換を用いて検証し,自然言語モデルのロバスト性を解析した。
論文 参考訳(メタデータ) (2021-12-06T00:37:59Z) - Naturalness Evaluation of Natural Language Generation in Task-oriented
Dialogues using BERT [6.1478669848771546]
本稿では,対話システムにおける自然言語生成の自然性を評価する手法を提案する。
BERTモデルの微調整により,提案した自然度評価法は,ロバストな結果を示し,ベースラインよりも優れた性能を示す。
論文 参考訳(メタデータ) (2021-09-07T08:40:14Z) - TextFlint: Unified Multilingual Robustness Evaluation Toolkit for
Natural Language Processing [73.16475763422446]
NLPタスク(TextFlint)のための多言語ロバスト性評価プラットフォームを提案する。
普遍的なテキスト変換、タスク固有の変換、敵攻撃、サブポピュレーション、およびそれらの組み合わせを取り入れ、包括的な堅牢性分析を提供する。
TextFlintは、モデルの堅牢性の欠点に対処するために、完全な分析レポートとターゲットとした拡張データを生成します。
論文 参考訳(メタデータ) (2021-03-21T17:20:38Z) - Bayesian Transformer Language Models for Speech Recognition [59.235405107295655]
トランスフォーマーで表現される最先端のニューラルネットワークモデル(LM)は非常に複雑である。
本稿では,トランスフォーマーLM推定のためのベイズ学習フレームワークを提案する。
論文 参考訳(メタデータ) (2021-02-09T10:55:27Z) - Learning the Relation between Code Features and Code Transforms with
Structured Prediction [13.62633524166298]
条件付きランダムフィールド(CRF)を用いたASTノードのレベルでのコード変換を構造的に予測する最初の手法を提案する。
このアプローチはまず、特定のASTノードに特定のコード変換がどのように適用されるかをキャプチャする確率モデルをオフラインで学習し、次に学習したモデルを使用して、任意の新しい、目に見えないコードスニペットの変換を予測する。
論文 参考訳(メタデータ) (2019-07-22T12:42:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。