論文の概要: Probing Pre-trained Language Models on Code Changes: Insights from ReDef, a High-Confidence Just-in-Time Defect Prediction Dataset

• arxiv url: http://arxiv.org/abs/2509.09192v1
• Date: Thu, 11 Sep 2025 07:07:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-12 16:52:24.255278
• Title: Probing Pre-trained Language Models on Code Changes: Insights from ReDef, a High-Confidence Just-in-Time Defect Prediction Dataset
• Title（参考訳）: コード変更に関する事前学習言語モデルの提案:信頼性の高いJust-in-Time欠陥予測データセットReDefからの洞察
• Authors: Doha Nam, Taehyoun Kim, Duksan Ryu, Jongmoon Baik,
• Abstract要約: 本稿では,22の大規模C/C++プロジェクトから得られた関数レベル修正の信頼性の高いベンチマークであるReDefを紹介する。 欠陥ケースはコミットの反転によって固定され、クリーンケースはポストホック履歴チェックによって検証される。 このパイプラインは3,164の欠陥と10,268のクリーンな修正をもたらし、既存のリソースよりも信頼性の高いラベルを提供する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Just-in-Time software defect prediction (JIT-SDP) plays a critical role in prioritizing risky code changes during code review and continuous integration. However, existing datasets often suffer from noisy labels and low precision in identifying bug-inducing commits. To address this, we present ReDef (Revert-based Defect dataset), a high-confidence benchmark of function-level modifications curated from 22 large-scale C/C++ projects. Defective cases are anchored by revert commits, while clean cases are validated through post-hoc history checks. Ambiguous instances are conservatively filtered out via a GPT-assisted triage process involving multiple votes and audits. This pipeline yields 3,164 defective and 10,268 clean modifications, offering substantially more reliable labels than prior existing resources. Beyond dataset construction, we provide the first systematic evaluation of how pre-trained language models (PLMs) reason about code modifications -- specifically, which input encodings most effectively expose change information, and whether models genuinely capture edit semantics. We fine-tune CodeBERT, CodeT5+, and UniXcoder under five encoding strategies, and further probe their sensitivity through counterfactual perturbations that swap added/deleted blocks, invert diff polarity, or inject spurious markers. Our results show that compact diff-style encodings consistently outperform whole-function formats across all PLMs, with statistical tests confirming large, model-independent effects. However, under counterfactual tests, performance degrades little or not at all -- revealing that what appears to be robustness in fact reflects reliance on superficial cues rather than true semantic understanding. These findings indicate that, unlike in snapshot-based tasks, current PLMs remain limited in their ability to genuinely comprehend code modifications.
• Abstract（参考訳）: ジャスト・イン・タイムのソフトウェア欠陥予測(JIT-SDP)は、コードレビューと継続的インテグレーションの間のリスクの高いコード変更の優先順位付けにおいて重要な役割を果たす。 しかし、既存のデータセットは、しばしばノイズの多いラベルと、バグを引き起こすコミットを特定するための低い精度に悩まされる。 これを解決するために、22の大規模C/C++プロジェクトから算出された関数レベルの高信頼度ベンチマークであるReDef(Revert-based Defect dataset)を提案する。 欠陥ケースはコミットの反転によって固定され、クリーンケースはポストホック履歴チェックによって検証される。 曖昧なインスタンスは、複数の投票と監査を含むGPT支援のトリアージプロセスを通じて保守的にフィルタリングされる。 このパイプラインは3,164の欠陥と10,268のクリーンな修正をもたらし、既存のリソースよりも信頼性の高いラベルを提供する。 データセットの構築以外にも、コード修正に関する事前訓練された言語モデル(PLM)の理由、特に入力エンコーディングが変更情報を最も効果的に公開する機能、モデルが編集セマンティクスを真にキャプチャするかどうかについて、最初の体系的な評価を提供しています。 CodeBERT、CodeT5+、UniXcoderを5つのエンコーディング戦略の下で微調整し、追加/削除ブロックを置き換えたり、差分極性を反転させたり、刺激マーカーを注入したりすることで、その感度を調査する。 以上の結果から,コンパクトなdiff型符号化はPLM全体の機能フォーマットを一貫して上回り,統計的に大きなモデルに依存しない効果が確認された。 しかしながら、反ファクトテストでは、パフォーマンスはほとんど低下しないか、まったく低下しない -- 結果として、堅牢であるように見えるものは、真の意味的理解ではなく、表面的なキューに依存することを反映していることが明らかになった。 これらの結果は、スナップショットベースのタスクとは異なり、現在のPLMはコード修正を真に理解する能力に限られていることを示している。

関連論文リスト

• RePaCA: Leveraging Reasoning Large Language Models for Static Automated Patch Correctness Assessment [0.0]
  本稿では,Large Language Models (LLM) を利用した新しい静的APCA手法であるRePaCAを紹介する。 提案手法は,83.1%の精度と84.8%のF1スコアで最先端の性能を実現する。
  論文  参考訳（メタデータ） (2025-07-30T11:21:09Z)
• Give Me FP32 or Give Me Death? Challenges and Solutions for Reproducible Reasoning [54.970571745690634]
  本研究は,数値精度が大規模言語モデルの推論に与える影響について,最初の系統的研究を行った。 我々は16ビットの精度で重みを格納するが、FP32では全ての計算を実行する軽量な推論パイプラインであるLayerCastを開発した。 そこで我々は16ビットの精度で重みを格納するが、FP32では全ての計算を実行する軽量な推論パイプラインLayerCastを開発した。
  論文  参考訳（メタデータ） (2025-06-11T08:23:53Z)
• Hey, That's My Data! Label-Only Dataset Inference in Large Language Models [63.35066172530291]
  CatShiftはラベルのみのデータセット推論フレームワークである。 LLMは、新しいデータに晒されたとき、学習した知識を上書きする傾向にある。
  論文  参考訳（メタデータ） (2025-06-06T13:02:59Z)
• LLM-Based Detection of Tangled Code Changes for Higher-Quality Method-Level Bug Datasets [5.191767648600372]
  本稿では,コミットメッセージとメソッドレベルのコード差分の両方を活用することで,絡み合ったコード変化を検出するための大規模言語モデルの有用性について検討する。 その結果,コミットメッセージとコード差分を組み合わせることで,モデルの性能が著しく向上することがわかった。 49のオープンソースプロジェクトにアプローチを適用することで、バグギーと非バグギーメソッド間のコードのメトリクスの分散分離性が向上します。
  論文  参考訳（メタデータ） (2025-05-13T06:26:13Z)
• Are You Getting What You Pay For? Auditing Model Substitution in LLM APIs [60.881609323604685]
  ブラックボックスAPIを通じてアクセスされるLarge Language Models (LLM)は、信頼の課題をもたらす。 ユーザーは、宣伝されたモデル機能に基づいたサービスの料金を支払う。 プロバイダは、運用コストを削減するために、特定のモデルを安価で低品質の代替品に隠蔽的に置き換えることができる。 この透明性の欠如は、公正性を損なうとともに、信頼を損なうとともに、信頼性の高いベンチマークを複雑にする。
  論文  参考訳（メタデータ） (2025-04-07T03:57:41Z)
• Beyond Natural Language Perplexity: Detecting Dead Code Poisoning in Code Generation Datasets [8.977790462534152]
  本稿では,コードの構造に合わせた新しいラインレベルの検出とクリーン化手法であるDePAを提案する。 DePAは既存の方法よりも優れており、検出F1スコアが0.14-0.19向上し、有毒セグメントの局在精度が44-65%向上した。
  論文  参考訳（メタデータ） (2025-02-27T16:30:00Z)
• VFDelta: A Framework for Detecting Silent Vulnerability Fixes by Enhancing Code Change Learning [13.035171280235831]
  オープンソースソフトウェア(OSS)の脆弱性修正は通常、調整された脆弱性開示モデルに従い、静かに修正される。 この遅延は、修正が公表される前に悪意のある関係者がソフトウェアを悪用する可能性があるため、OSSユーザを危険に晒す可能性がある。 既存のメソッドは、コード変更表現をコミットから学習することで脆弱性修正を分類する。 VFDeltaは、コードを取り囲む独立したモデルを用いて、変更前後にコードを埋め込む軽量で効果的なフレームワークである。
  論文  参考訳（メタデータ） (2024-09-25T04:13:08Z)
• Confident Adaptive Language Modeling [95.45272377648773]
  CALMは、入力と生成時間ごとに異なる量の計算を動的に割り当てるフレームワークである。 ハイパフォーマンスを確実に維持しつつ、計算能力、潜在的スピードアップを最大3ドルまで削減する上で、我々のフレームワークの有効性を実証する。
  論文  参考訳（メタデータ） (2022-07-14T17:00:19Z)
• Tail-to-Tail Non-Autoregressive Sequence Prediction for Chinese Grammatical Error Correction [49.25830718574892]
  本稿では,Tail-to-Tail (textbfTtT) という新しいフレームワークを提案する。 ほとんどのトークンが正しいので、ソースからターゲットに直接転送でき、エラー位置を推定して修正することができる。 標準データセット、特に可変長データセットに関する実験結果は、文レベルの精度、精度、リコール、F1-Measureの観点からTtTの有効性を示す。
  論文  参考訳（メタデータ） (2021-06-03T05:56:57Z)
• Evaluating Prediction-Time Batch Normalization for Robustness under Covariate Shift [81.74795324629712]
  我々は予測時間バッチ正規化と呼び、共変量シフト時のモデル精度とキャリブレーションを大幅に改善する。 予測時間バッチ正規化は、既存の最先端アプローチに相補的な利点をもたらし、ロバスト性を向上させることを示します。 この手法は、事前トレーニングと併用して使用すると、さまざまな結果が得られるが、より自然なタイプのデータセットシフトでは、パフォーマンスが良くないようだ。
  論文  参考訳（メタデータ） (2020-06-19T05:08:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。