論文の概要: VeeReview: Measuring Build-Verify Pairs in Agent-Authored Pull Requests from a V-Model Perspective
- arxiv url: http://arxiv.org/abs/2610.29143v1
- Date: Wed, 21 Oct 2026 03:25:44 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-23 00:40:06.190832
- Title: VeeReview: Measuring Build-Verify Pairs in Agent-Authored Pull Requests from a V-Model Perspective
- Title（参考訳）: VeeReview: Vモデルから見たエージェント認証プルリクエストにおけるビルド検証ペアの測定
- Abstract要約: VeeReviewは、リポジトリ信号と言語モデル判断を使って、ビルドと検証のペアを分類する。
2つのラベル付けされた25プルのレファレンスセットに対してVeeReviewを評価し,771リポジトリから1,454個のマッチしたエージェントと人間のプルリクエストに適用した。
- 参考スコア（独自算出の注目度）: 0.45835414225547183
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Context: Reviewing a pull request requires verification evidence that addresses the proposed change. Coding agent benchmarks and studies of pull request outcomes do not directly assess this relationship. Objective: We test whether the V-Model's build and verify pairs can measure verification evidence in pull requests and support comparisons between agent-authored and human-authored changes. Method: VeeReview classifies four build and verify pairs using repository signals and a language-model judge. Three pairs use model judgements constrained by deterministic signals, and a rule over the diff and repository tree decides Module Design-Unit Test. We evaluated VeeReview against a 25-pull request reference set labelled by two raters and applied it to 1,454 matched pairs of agent and human pull requests from 741 repositories. Results: VeeReview assigned lower build-only rates to agent-authored pull requests on all four pairs, contrary to the preregistered hypothesis (mixed-effects odds ratios 0.52 to 0.86). Architecture-Integration was not significant. Standardization for linked issues, shipped tests and size reduced matched-rate differences by 34% to 60%, and the rule-decided pair's standardized interval included zero. The instrument did not meet its preregistered calibration criterion: agreement with adjudicated labels was 4% to 60% against a required 80%, and inter-rater agreement was weak (kappa = 0.154). Conclusions: The rule-decided pair shows that a process measure judged by a language model partly reflects how a pull request is presented rather than the verification work behind it. We report the cohort differences as observations made with this instrument, and we argue that such measures need a mechanically decided component and a validated human reference before they can support comparisons of verification practice.
- Abstract（参考訳）: コンテキスト: プルリクエストをレビューするには、提案された変更に対処する検証証拠が必要である。
コーディングエージェントのベンチマークとプルリクエストの結果の研究は、この関係を直接評価しません。
目的: V-Modelのビルドと検証ペアがプルリクエストの検証エビデンスを測定し、エージェントが承認した変更と人間が承認した変更の比較をサポートするかどうかをテストする。
メソッド: VeeReviewは4つのビルドと検証ペアをリポジトリ信号と言語モデル判定を使って分類する。
3つのペアは決定論的信号によって制約されたモデル判断を使用し、diffとリポジトリツリーのルールはモジュール設計-Unitテストを決定する。
2つのラベル付けされた25プルのレファレンスセットに対してVeeReviewを評価し,771リポジトリから1,454個のマッチしたエージェントと人間のプルリクエストに適用した。
結果: VeeReviewは、事前登録された仮説とは対照的に、エージェント権限のプルリクエストに対して、ビルドのみのレートを低く割り当てた(ミックスエフェクトはオッズ比0.52から0.86)。
アーキテクチャ・インテグレーションは重要ではなかった。
関連問題の標準化, 出荷試験, サイズが一致率差を34%から60%削減し, ルール決定ペアの標準間隔は0。
この楽器は事前登録されたキャリブレーション基準を満たしておらず、認定されたレーベルとの契約は、必要な80%に対して4%から60%であり、ラッパ間の合意は弱かった(カッパ=0.154)。
結論: ルール決定されたペアは、言語モデルによって判断されたプロセス測度が、その背後にある検証作業ではなく、プルリクエストがどのように提示されるかを部分的に反映していることを示している。
本報告では,コホートの違いを観察として報告し,検証実践の比較を支援するためには,機械的に決定された構成要素と検証された人間の参照が必要であると論じる。
関連論文リスト
- Bayesian Test-Time Inference of Task-Aligned Similarity from Weak Interactive Feedback [50.42640957891911]
言語モデルシステムは、類似性を比較することで、繰り返しテスト時の決定を行う。
しかし、類似性はユニークではない:語彙、意味、構造、類似性はNの選択点を取得することができる。
本稿では,現在の意思決定を統括するトレーニングフリーベイズ手法であるAxis Interactive Signalsを紹介する。
論文 参考訳（メタデータ） (2026-10-13T16:19:49Z) - Witeness Overlap: Directional Provenance Inside Open-Weight Model Families [56.26426392293672]
指向性証明のためのテストであるWitness Overlapを提案する。
16家族176件のチェックポイントでは、親子判定の95.3%がFrobenius cosineを用いている。
信号は重量雑音とスパースプルーニングに対して頑丈であり、提案されたSVD減量変種はフロベニウスコサインよりも頑丈である。
論文 参考訳（メタデータ） (2026-09-24T21:41:02Z) - Truth for Believable AI: Expressed Doubt, Provenance, and Belief Revision as an Engineerable Stance [0.0]
定型言語モデル上での動作層として,不確実性,先入観を意識したアサーション,明示的信念のリビジョンを実装できるかどうかを検証した。
合成モデルとQwen2.5-0.5B-インストラクタを用いて,機械的に評価したマルチセッションベンチマークを用いて評価を行った。
論文 参考訳（メタデータ） (2026-09-22T11:34:53Z) - The Model Proposes, the Code Disposes: A Pre-Registered Ablation of a Verifier-and-Acceptance Stage in an LLM-Orchestrated Offensive-Security Agent [0.0]
決定的コードによって検証が強制されるモデル検証装置である検証受理段階が、LCMが主導する攻撃セキュリティエージェントが報告するものを変更するかどうかを評価する。
本報告では,15回の探索パイロット,20回の予備登録検定アブレーション,および2回の故意に脆弱な検査対象を40回実施した2×2因子分析を行った。
検証者はシステムが提供するものを変更し、決定論的コードは強制と監査性を提供します。
論文 参考訳（メタデータ） (2026-09-14T17:13:05Z) - Are Verifier Errors Independent Within a GRPO Group? Evidence from Qwen2.5 Rollouts [0.0]
検証可能な報酬(RLVR)を用いたグループベース強化学習は、自動検証器を用いて、プロンプト毎に複数の完了点をスコアする。
本研究では,Qwen2.5-1.5B onMATH,GSM8K,DeepMath-103Kにより生成された8つの完了の24,998基の依存性について検討した。
論文 参考訳（メタデータ） (2026-09-06T04:56:55Z) - Certifying Compressed Language Models: An Audit and a Statistical Toolkit [0.0]
正解率は, 正解率の約5倍であり, 正解率と正解率は同一であり, 個々の項目では相変わらず一致しない。
誰も有望な数値等価マージンを示しておらず、タスクマッチングされた各イテム出力はリリースしない。
欠落した機器: 宣言されたマージンでペア同値テストを行い、認定表に評価要求を与えます。
論文 参考訳（メタデータ） (2026-08-15T05:15:35Z) - SEER: A Self-Grounded Evidence Interface for Controlled Spatial Relation Classification [71.9783246097687]
SEERは、ペアローカライゼーション中の候補関係を隠蔽し、明示的な主観的/対象的役割を持つクエリ固有ビューを構築し、補完的な証拠として完全なイメージとスパースボックス幾何学を保持する。
正確な逆サポートを持つ関係選択プロトコルでは、オプションリファインメントがエンティティロールを交換し、正確に1つの視覚状態が対応する逆関係に従う場合にのみ前方決定を変更する。
変更されていないプロトコルは、3つのモデルにまたがる2,434個のフィルター付きEmbSpatialペア関係質問に対して +4.35 から +11.79 を得る。
論文 参考訳（メタデータ） (2026-08-04T13:16:15Z) - Toward Auditable Fraud Detection: Combining Graph Features, Model Explanations, and Agentic Case Investigation [0.0]
不正検出システムは、説明可能でレビュー可能なまま、トランザクションボリュームの上昇とともにスケールする必要がある。
本研究では,勾配ブースト型分類器,グラフに基づく構造特徴,オートエンコーダに基づく異常信号,および調査エージェントを組み合わせた層状パイプラインについて検討する。
我々は,各コンポーネントは特定の条件下でのみ寄与し,調査エージェントからのもっともらしい根拠は,よりよい判断の証拠ではないと結論づける。
論文 参考訳（メタデータ） (2026-07-21T16:37:41Z) - Learning More from Less: Unlocking Internal Representations for Benchmark Compression [37.69575776639016]
異種隠蔽状態を統一潜在空間に整列させて代表コアセットを構成するREPCOREを導入する。
5つのベンチマークと200以上のモデルの実験は、ランキングの相関と推定精度において、出力ベースラインよりも一貫した利得を示している。
論文 参考訳（メタデータ） (2026-01-31T13:11:39Z) - Preventing the Collapse of Peer Review Requires Verification-First AI [49.995126139461085]
我々は、真理結合、すなわち、過度に科学的真理をトラックする場所のスコアの厳密さを提案する。
プロキシ・ソブリン評価に向けた相転移を駆動する2つの力の形式化を行う。
論文 参考訳（メタデータ） (2026-01-23T17:17:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。