論文の概要: Consistent or Sensitive? Automated Code Revision Tools Against Semantics-Preserving Perturbations

• arxiv url: http://arxiv.org/abs/2602.14595v1
• Date: Mon, 16 Feb 2026 09:58:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-17 16:22:50.357087
• Title: Consistent or Sensitive? Automated Code Revision Tools Against Semantics-Preserving Perturbations
• Title（参考訳）: 一貫性か敏感か? セマンティックス保存摂動に対するコード修正自動化ツール
• Authors: Shirin Pirouzkhah, Souhaila Serbout, Alberto Bacchelli,
• Abstract要約: ACRツールが意味論的に等価なコード変種を提示した場合の一貫性の程度について検討する。 ACRツールが正しいリビジョンを生成する能力は、意味論的に等価なコードを示すと、最大45.3%低下する可能性がある。
• 参考スコア（独自算出の注目度）: 4.626261940793026
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Automated Code Revision (ACR) tools aim to reduce manual effort by automatically generating code revisions based on reviewer feedback. While ACR tools have shown promising performance on historical data, their real-world utility depends on their ability to handle similar code variants expressing the same issue - a property we define as consistency. However, the probabilistic nature of ACR tools often compromises consistency, which may lead to divergent revisions even for semantically equivalent code variants. In this paper, we investigate the extent to which ACR tools maintain consistency when presented with semantically equivalent code variants. To do so, we first designed nine types of semantics-preserving perturbations (SPP) and applied them to 2032 Java methods from real-world GitHub projects, generating over 10K perturbed variants for evaluation. Then we used these perturbations to evaluate the consistency of five state-of-the-art transformer-based ACR tools. We found that the ACR tools' ability to generate correct revisions can drop by up to 45.3%, when presented with semantically equivalent code. The closer the perturbation is to this targeted region, the more likely an ACR tool is to fail to generate the correct revision. We explored potential mitigation strategies that modify the input representation, but found that these attention-guiding heuristics yielded only marginal improvements, thus leaving the solution to this problem as an open research question.
• Abstract（参考訳）: 自動コードリビジョン(ACR)ツールは、レビュアーのフィードバックに基づいてコードリビジョンを自動的に生成することで、手作業の削減を目的としている。 ACRツールは、過去のデータに対して有望なパフォーマンスを示しているが、実世界のユーティリティは、同じ問題を表す類似のコード変種を扱う能力に依存している。 しかし、ACRツールの確率的性質は一貫性を損なうことが多く、意味論的に等価なコード変種であっても異なる修正をもたらす可能性がある。 本稿では,ACRツールが意味論的に等価なコード変種を提示した場合の一貫性について検討する。 そのため、まず9種類のセマンティックス保存摂動(SPP)を設計し、実世界のGitHubプロジェクトから2032のJavaメソッドに適用し、評価のために10万以上の摂動変数を生成しました。 次に、これらの摂動を用いて、5つの最先端変換器ベースのACRツールの整合性を評価する。 ACRツールが正しいリビジョンを生成する能力は、意味論的に等価なコードを示すと、最大45.3%低下する可能性がある。 摂動がこの対象領域に近づくほど、ACRツールが正しいリビジョンを生成するのに失敗する可能性が高くなる。 我々は、入力表現を変更する潜在的な緩和戦略を検討したが、これらの注意誘導ヒューリスティックは限界的な改善しか得られず、この問題に対する解決策はオープンな研究課題として残されている。

関連論文リスト

• CORE: Context-Robust Remasking for Diffusion Language Models [51.59514489363897]
  我々は、推論時リビジョンのためのトレーニング不要フレームワークであるContext-Robust Remasking (CORE)を提案する。 静的トークンの確率を信頼するのではなく、COREは、ターゲットとなるマスク付きコンテキストの摂動に対する感受性を示すことによって、コンテキスト不安定なトークンを識別する。 LLaDA-8B-Baseでは、COREは推論とコードベンチマークの間で一貫した改善を行い、計算に適合したベースラインを上回り、MBPPを最大9.2%改善した。
  論文  参考訳（メタデータ） (2026-02-04T00:12:30Z)
• Probing Pre-trained Language Models on Code Changes: Insights from ReDef, a High-Confidence Just-in-Time Defect Prediction Dataset [0.0]
  本稿では,22の大規模C/C++プロジェクトから得られた関数レベル修正の信頼性の高いベンチマークであるReDefを紹介する。 欠陥ケースはコミットの反転によって固定され、クリーンケースはポストホック履歴チェックによって検証される。 このパイプラインは3,164の欠陥と10,268のクリーンな修正をもたらし、既存のリソースよりも信頼性の高いラベルを提供する。
  論文  参考訳（メタデータ） (2025-09-11T07:07:11Z)
• Benchmarking and Studying the LLM-based Code Review [34.93646390349726]
  現在のベンチマークでは、きめ細かいコード単位、完全なプロジェクトコンテキストの欠如、不適切な評価指標の使用に重点を置いています。 SWRBenchはPR中心のレビューと完全なプロジェクトコンテキストを提供する新しいベンチマークです。 我々の貢献には、SWRBenchベンチマーク、その客観的評価方法、現在のACR機能に関する包括的な研究、効果的な拡張アプローチが含まれる。
  論文  参考訳（メタデータ） (2025-09-01T14:13:34Z)
• How Can Input Reformulation Improve Tool Usage Accuracy in a Complex Dynamic Environment? A Study on $τ$-bench [58.114899897566964]
  マルチターンの会話環境では、大きな言語モデル(LLM)は、一貫性のある推論とドメイン固有のポリシーへの固執にしばしば苦労する。 本稿では,関連するドメインルールを付加したユーザクエリを自動的に再構成するIRMA(Input-Reformulation Multi-Agent)フレームワークを提案する。 IRMAはReAct、Function Calling、Self-Reflectionをそれぞれ16.1%、12.7%、19.1%で大きく上回っている。
  論文  参考訳（メタデータ） (2025-08-28T15:57:33Z)
• Towards Practical Defect-Focused Automated Code Review [8.370750734081088]
  オンラインレコメンデーションサービスの中で、業界レベルのC++を分析しながら、完全な自動化パイプラインを調査します。 1)関連コンテキストの取得,2)キーインクルージョンの改善,3)偽アラーム率(FAR)の低減,4)人間のバグスライシングの統合。 提案手法は, 既往の断層記録からの実世界のマージ要求に基づいて検証され, 従来のLLMよりも2倍, 以前のベースラインより10倍向上した。
  論文  参考訳（メタデータ） (2025-05-23T14:06:26Z)
• BitsAI-CR: Automated Code Review via LLM in Practice [16.569842114384233]
  BitsAI-CRは、2段階のアプローチを通じてコードレビューを強化する革新的なフレームワークである。 システムはレビュールールの包括的な分類に基づいて構築され、データフライホイール機構を実装している。 実証評価はBitsAI-CRの有効性を示し、レビューコメント生成において75.0%の精度を達成した。
  論文  参考訳（メタデータ） (2025-01-25T08:39:50Z)
• Towards Realistic Evaluation of Commit Message Generation by Matching Online and Offline Settings [77.20838441870151]
  オンラインメトリック - VCSに生成されたメッセージをコミットする前にユーザが導入する編集回数 - を使用して、オフライン実験用のメトリクスを選択します。 我々は,GPT-4が生成したコミットメッセージと,人間の専門家が編集したコミットメッセージからなる57対のデータセットを収集した。 以上の結果から,編集距離が最も高い相関性を示すのに対し,BLEUやMETEORなどの類似度は低い相関性を示すことがわかった。
  論文  参考訳（メタデータ） (2024-10-15T20:32:07Z)
• Fix the Tests: Augmenting LLMs to Repair Test Cases with Static Collector and Neural Reranker [9.428021853841296]
  本稿では, TROCtxsの精密かつ高精度な構築により, 旧来の検査ケースを自動的に修復する新しい手法であるSynTERを提案する。 構築されたTROCtxの増強により、幻覚は57.1%減少する。
  論文  参考訳（メタデータ） (2024-07-04T04:24:43Z)
• Autoencoding Variational Autoencoder [56.05008520271406]
  我々は,この行動が学習表現に与える影響と,自己整合性の概念を導入することでそれを修正する結果について検討する。 自己整合性アプローチで訓練されたエンコーダは、敵攻撃による入力の摂動に対して頑健な(無神経な)表現につながることを示す。
  論文  参考訳（メタデータ） (2020-12-07T14:16:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。