論文の概要: Behavioral Regression Detection for Pull Requests via Structured Oracles
- arxiv url: http://arxiv.org/abs/2610.35223v1
- Date: Mon, 26 Oct 2026 11:13:45 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-27 22:27:13.83901
- Title: Behavioral Regression Detection for Pull Requests via Structured Oracles
- Title（参考訳）: 構造化オラクルによるプル要求に対する行動回帰検出
- Abstract要約: ソフトウェアレグレッションはプルリクエスト(PR)レベルでは検出が難しい。
本稿では,PRレベルの回帰検出のためのフレームワークORIONを提案する。
RegBench-Pyは,154の検証済み実世界のPRを備えた,最初のPython PRレグレッションベンチマークです。
- 参考スコア（独自算出の注目度）: 12.512400037171213
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Software regressions are unintended behavioral changes introduced by code modifications and are hard to detect at pull-request (PR) level. Existing methods rely on incomplete tests or directly analyze PRs via LLMs, lacking structured behavioral reasoning and explicit oracles. We present ORION, a staged framework for PR-level regression detection. ORION extracts PR intent and identifies impacted functions via AST-based impact analysis, then synthesizes function-level structured behavioral oracles encoding preserved/changed behaviors, setup constraints and control-flow hints from PR intent, static risk signals and code changes. Guided by these oracles, ORION generates executable tests, conducts oracle-coverage-guided augmentation and static repair, and differentially runs tests on pre- and post-change code. It classifies PRs with deterministic rules and constrained LLM reasoning. We build RegBench-Py, the first Python PR regression benchmark with 154 verified real-world PRs. ORION achieves F1-scores of 0.6125 (DeepSeek-Chat-V3.2) and 0.5578 (Claude-4.5-haiku), outperforming baselines including Testora, Codex and Claude Code. Compared with PatchGuru, ORION supports broader multi-function PRs while remaining competitive on single-function cases. On 1,459 merged PRs, ORION finds 9 reproducible regression candidates, 8 confirmed by maintainers. It takes ~15 minutes per PR, showing practicality for CI/CD screening.
- Abstract（参考訳）: ソフトウェアレグレッションは、コード修正によって導入された意図しない振る舞いの変更であり、プルリクエスト(PR)レベルでは検出できない。
既存の手法は不完全なテストやLLMによるPRを直接分析することに依存しており、構造化された行動推論と明示的なオラクルが欠如している。
本稿では,PRレベルの回帰検出のためのフレームワークORIONを提案する。
ORIONはPRインテントを抽出し、ASTベースのインパクト分析を通じて影響のある機能を特定し、その後、保存/変更された振る舞いをエンコードする関数レベルの構造化された行動オラクルを合成し、PRインテント、静的リスク信号、コード変更から制御フローヒントをセットアップする。
これらのオーラクルによってガイドされたORIONは、実行可能なテストを生成し、オーラクルをカバーした拡張と静的な修復を実行し、事前および変更後のコードでテストを実行する。
PRを決定論的規則と制約付きLLM推論で分類する。
RegBench-Pyは,154の検証済み実世界のPRを備えた,最初のPython PRレグレッションベンチマークです。
ORIONは0.6125(DeepSeek-Chat-V3.2)と0.5578(Claude-4.5-haiku)のF1スコアを獲得し、Testora、Codex、Claude Codeなどのベースラインを上回っている。
PatchGuruと比較すると、ORIONはより広範なマルチファンクションPRをサポートし、シングルファンクションケースでは競争力を維持している。
1,459の合併PRでは、ORIONは再現可能な回帰候補を9つ見つけ、メンテナーは8つ確認した。
PRあたり15分ほどかかり、CI/CDスクリーニングの実用性を示している。
関連論文リスト
- TraceDance: An Automated System for Building Agent Behavior Benchmarks from Real-World Agent Deployment Traces [49.561879967469714]
TraceDanceは、ユーザが指定した望ましくない振る舞いのデプロイメントトレースからターゲットベンチマークを構築するエージェントシステムである。
効率的な構築のために、Anchor-and-Confirmはプログラム可能な検索と、Flash大言語モデルによる候補レベルの確認を組み合わせる。
コーディングと一般的なツールの実験では、252,557のセッションで描画され、ビルドターゲット要求の95.3%を満たす4,125のインスタンスで107のベンチマークを生成する。
論文 参考訳（メタデータ） (2026-09-27T06:58:39Z) - A-SR: Self-Evolving Agentic LLMs for Symbolic Regression via Hierarchical Coordination [51.06539604709775]
本稿では、制御ユニットを表現編集からロール条件のエビデンスビューへシフトさせる自己進化型エージェントフレームワークであるA-SRを提案する。
A-SRは、コーディネートプロトコル、オンライン評価器・リワードロールポリシー、および状態制御プロセスメモリ間のルーティングによる公式発見をコーディネートする。
論文 参考訳（メタデータ） (2026-08-05T14:01:10Z) - Semantic Drift in Bug Resolution: How Behavioral Signals Propagate from Reports to Tests and Patches [18.727291516223115]
Desc2Fixは、バグレポートのセマンティックアライメント、テストのトリガー、開発者による修正を測定するフレームワークである。
GPT-4o と DeepSeek-Chat を用いて,Defects4J と SWT-Bench の2,857 個のレポート・パッチを解析した。
論文 参考訳（メタデータ） (2026-07-20T22:32:23Z) - All Smoke, No Alarm: Oracle Signals in Agent-Authored Test Code [1.0832844764942349]
ソフトウェア実践者は、オープンソースプルリクエスト(PR)でプロダクションコードと並行してテストコードを生成するAIコーディングエージェントをますます使用しています。
最近の研究では、116,000以上のリポジトリで932,000以上のエージェントによるPRが報告されている。
明示的なアサーションを欠いたテストファイルは、振る舞いを検証せずにコードを実行する。
論文 参考訳（メタデータ） (2026-06-16T17:06:51Z) - Dynamic analysis enhances issue resolution [53.50448142467294]
DAIRA(Dynamic Analysis-enhanced Issue Resolution Agent)は、エージェントの推論サイクルに動的解析を組み込む自動修復フレームワークである。
テストトレース駆動の方法論によって駆動されるDAIRAは、軽量モニタを使用して重要なランタイムデータを抽出する。
Gemini 3 Flash Previewを使用すると、DAIRAは新たな最先端(SOTA)パフォーマンスを確立し、SWE-bench Verifiedデータセットで79.4%の解像度を達成する。
論文 参考訳（メタデータ） (2026-03-23T14:48:54Z) - REAL: Regression-Aware Reinforcement Learning for LLM-as-a-Judge [83.2858110368572]
回帰報酬を最適化するための原則的RLフレームワークである textbfREAL (underlineREgression-underlineAware Reinforcement underlineLThought) を提案する。
我々は,REALがレグレッション対応SFTベースラインと標準RL法の両方を一貫して上回ることを示す。
論文 参考訳（メタデータ） (2026-03-17T21:19:08Z) - Testora: Using Natural Language Intent to Detect Behavioral Regressions [16.852583199679117]
本稿では,コード変更の意図とコード変更による振る舞いの違いを比較することで,回帰を検出する最初の自動手法であるTestoraを提案する。
19のレグレッションバグと11のPRがあり、別の意図があるにも関わらず、同時にバグを修正します。
私たちは、コード変更がコードベースにマージされた後、あるいはすぐに使用されるアプローチを想像し、従来のアプローチに縛られていない回帰を早期に検出する方法を提供しています。
論文 参考訳（メタデータ） (2025-03-24T11:55:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。