論文の概要: SCRBench: Beyond Equivalence Checking for Semantic Change Reasoning in Code

• arxiv url: http://arxiv.org/abs/2610.41562v1
• Date: Fri, 30 Oct 2026 10:56:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-02 22:05:31.686696
• Title: SCRBench: Beyond Equivalence Checking for Semantic Change Reasoning in Code
• Title（参考訳）: SCRBench: コードのセマンティックな変更推論のための等価チェックを超えて
• Abstract要約: 意味の変化を診断すると、同値の精度が隠す弱点が明らかになる。 最良のモデルでは、ペアの39.27%で正確なシーケンスを再構築し、5つの変更が適用されると1.11%を超えるモデルはない。
• 参考スコア（独自算出の注目度）: 0.7629717457706323
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Understanding how code changes affect program semantics is a core aspect of code reasoning in language models. It is commonly evaluated by asking whether two programs are semantically equivalent, but a yes/no answer does not reveal whether a model knows which code change caused a semantic difference, or which sequence of code changes produced the modified program. We study two tasks that ask these questions directly, diagnosing semantic change and reconstructing sequences of code changes, alongside detecting semantic equivalence. We build SCRBench, 67,658 Python program pairs generated by applying sequences of code changes that preserve or alter program semantics, and evaluate five language models on a stratified subset of 4,500 pairs. Detecting semantic equivalence exposes weaker models, whose accuracy declines as changes accumulate, but the strongest models remain near the ceiling. Diagnosing semantic change reveals weaknesses that equivalence accuracy hides: a model with 94.71% equivalence accuracy diagnoses only 54.44% of semantic changes. Reconstructing sequences of code changes is much harder: the best model reconstructs the exact sequence for only 39.27% of pairs, and no model exceeds 1.11% when five changes are applied. High equivalence accuracy therefore overestimates how well models reason about the semantic effects of code changes.
• Abstract（参考訳）: コード変更がプログラムセマンティクスにどのように影響するかを理解することは、言語モデルにおけるコード推論の中核的な側面である。 2つのプログラムが意味論的に等価かどうかを問うことで、一般的に評価されるが、イエス/ノーの答えは、どのコード変更が意味的な違いを引き起こしたのか、どのコード変更が修正されたプログラムを生成したのかをモデルが知っているかどうかを明らかにしない。 本研究では,これらの疑問を直接問う2つのタスクについて検討し,意味的変化を診断し,コード変更のシーケンスを再構築し,意味的等価性を検出する。 SCRBench, 67,658Pythonプログラムペアを構築し, プログラムセマンティクスを保存または変更するコード変更のシーケンスを適用し, 4500ペアの階層化されたサブセット上で5つの言語モデルを評価する。 意味的等価性の検出は、変化が蓄積するにつれて精度が低下する弱いモデルを公開するが、最強のモデルは天井付近に留まる。 94.71%の同値精度を持つモデルは、意味の変化の54.44%しか診断しない。 最高のモデルは、ペアの39.27%で正確なシーケンスを再構築し、5つの変更が適用されると1.11%を超えない。 したがって、高い等価性精度は、コードのセマンティックエフェクトがいかにうまく機能するかを過大評価する。

関連論文リスト

• Better Specifications, Better Code: Fine-Tuning LLMs for Behavioral Contract Generation [5.932505132502132]
  大規模言語モデル(LLM)は強力なコード生成能力を示すが、暗黙的あるいは曖昧な振る舞い要求のために機能的正確性に苦慮することが多い。 本稿では、自然言語タスクを構造化された振る舞いコントラクトに変換する、契約誘導型コード生成フレームワークであるCG2を紹介する。
  論文  参考訳（メタデータ） (2026-10-19T00:44:11Z)
• Invariant Pretraining for Robust Code Representations [8.667720376952728]
  不変プログラムの下では、意味論的に等価なコードは異なる構文形式で書かれ、学習された表現は著しく劣化する。 本研究では,4つのエンコーダベースライン,2つの下流タスク,4つのデータセットにまたがるロバスト性ギャップについて実験的検討を行った。 Invariant pretraining (InvPT) はコーパスに意味保存変換を適用する。
  論文  参考訳（メタデータ） (2026-08-15T21:01:43Z)
• Semantic-Preserving Transformations as Mutation Operators: A Study on Their Effectiveness in Defect Detection [3.3590922002216197]
  意味保存変換を実装した既存の出版物を収集し,その実装を共有する。 欠陥検出ツールの強化のための3つの異なるアンサンブル戦略の有効性を実証的に検討した。 この結果から,共有セマンティック保存変換の再利用は困難であり,時には意味論に悪影響を及ぼすことさえあることがわかった。
  論文  参考訳（メタデータ） (2025-03-30T14:00:22Z)
• EquiBench: Benchmarking Large Language Models' Reasoning about Program Semantics via Equivalence Checking [58.15568681219339]
  大規模言語モデル(LLM)を評価するための新しいベンチマークであるEquiBenchを紹介する。 このタスクは、プログラムのセマンティクスについて推論するモデルの能力を直接テストする。 19の最先端LCMを評価し、最も難しいカテゴリでは、最高の精度は63.8%と76.2%であり、50%のランダムベースラインよりわずかに高い。
  論文  参考訳（メタデータ） (2025-02-18T02:54:25Z)
• Detect Changes like Humans: Incorporating Semantic Priors for Improved Change Detection [52.62459671461816]
  本稿では,視覚基盤モデルからのセマンティックな先入観を取り入れ,変化を検出する能力の向上について検討する。 人間の視覚パラダイムにインスパイアされた新しいデュアルストリーム特徴デコーダは、意味認識特徴と差認識特徴を組み合わせることで変化を区別するために導出される。
  論文  参考訳（メタデータ） (2024-12-22T08:27:15Z)
• Evaluating Semantic Variation in Text-to-Image Synthesis: A Causal Perspective [50.261681681643076]
  本稿では,SemVarEffectとSemVarBenchというベンチマークを用いて,テキスト・画像合成における入力のセマンティックな変化と出力の因果性を評価する。 本研究は,T2I合成コミュニティによるヒューマンインストラクション理解の探索を促進する効果的な評価枠組みを確立する。
  論文  参考訳（メタデータ） (2024-10-14T08:45:35Z)
• Unsupervised Learning of General-Purpose Embeddings for Code Changes [6.652641137999891]
  事前学習中にコード変更の埋め込みを得る手法を提案する。 コードの変更とコミットメッセージ生成という、2つの異なる下流タスクでそれらを評価します。 本モデルでは,完全編集シーケンスを用いたモデルの精度を5.9ポイント向上させる。
  論文  参考訳（メタデータ） (2021-06-03T19:08:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。