論文の概要: Plausible Is Not Enough: Trust and Evidence in AI-Authored Pull Request Review
- arxiv url: http://arxiv.org/abs/2610.21144v1
- Date: Thu, 15 Oct 2026 03:00:27 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-16 19:13:16.144613
- Title: Plausible Is Not Enough: Trust and Evidence in AI-Authored Pull Request Review
- Title（参考訳）: 信頼できるプルリクエストの信頼とエビデンス
- Abstract要約: 一致したHPRとAIPRを用いて31カ国の実践者239人を調査した。
ほとんどの回答者は、AIPRに対する初期信頼が低いと報告している。
61.1%はAIPRのより高い証拠要件を報告している。
- 参考スコア（独自算出の注目度）: 6.429261912755283
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Code review is where AI-authored pull requests (AIPRs) must earn reviewer trust before integration, yet it is unclear whether reviewers apply the same criteria used for human-authored pull requests (HPRs). We surveyed 239 practitioners from 31 countries using matched HPR and AIPR questions to compare trust, evidence requirements, and verification practices within respondents. Most respondents (64.9%) reported lower initial trust in AIPRs. They relied less on author track record and subsystem familiarity, emphasizing instead human prompter expertise and bounded change size. For approval, respondents more often considered their own reasoning through critical cases sufficient for AIPRs than HPRs (55.2% versus 28.5%), while relying less on test coverage. Overall, 61.1% reported higher evidence requirements for AIPRs, and the share who would block approval under residual uncertainty increased from 19.4% for HPRs to 43.9% for AIPRs. Respondents prioritized test inspection, project context, and local execution, and more often selected partial reimplementation to verify non-trivial logic. Unclear ownership was also more likely to pause AIPR review (29.3% versus 14.6%). Open-ended responses pointed to the difficulty of validating plausible code without reliable context and human accountability. These findings frame AIPR review as an evidence-ownership problem, not merely a correctness check. Reviewers need to connect generated changes to validated behavior and responsible maintainers. Review tools and agentic workflows should expose provenance, distinguish generated claims from human-validated evidence, and make uncertainty visible before approval.
- Abstract（参考訳）: コードレビューは、AIPR(AI-authored pull request)が統合前にレビュアの信頼を得なければならない場所であるが、レビュアがHPR(Human-authored pull request)と同じ基準を適用しているかどうかは不明である。
我々は31カ国の実践者239人を、一致したHPRとAIPRの質問を用いて調査し、信頼、エビデンス要件、検証プラクティスを比較した。
ほとんどの回答者(64.9%)はAIPRに対する初期信頼が低いと報告している。
彼らは著者の記録やサブシステムの親しみに頼らず、代わりに人間のプロンプトの専門知識と限界のある変更サイズを強調した。
承認を得るためには、回答者は、テストカバレッジに頼らずに、HPR(55.2%対28.5%)よりもAIPRに十分な批判的なケースを通じて、自身の推論を考慮しがちである。
全体では、61.1%がAIPRのエビデンス要件が高く、不確実性の下で承認を阻止する割合は、HPRの19.4%からAIPRの43.9%に増加した。
レスポンデントはテストインスペクション、プロジェクトコンテキスト、ローカル実行を優先し、さらに多くの場合、非自明なロジックを検証するために部分的な再実装を選択した。
明確な所有権はAIPRレビュー(29.3%対14.6%)を中止する傾向にあった。
オープンエンドの回答は、信頼性のあるコンテキストと人間の説明責任のない、もっともらしいコードを検証することの難しさを指摘した。
これらの発見は、AIPRレビューを単なる正当性チェックではなく、エビデンス・オーナーシップの問題として捉えている。
レビュアーは生成された変更を検証された振る舞いと責任あるメンテナに結びつける必要がある。
レビューツールとエージェントワークフローは、証明を公開し、生成されたクレームと人間の検証済みの証拠を区別し、承認前に不確実性を明らかにするべきである。
関連論文リスト
- One-Sided Verification Under Limited Expert Review [81.81806589083486]
我々は、稀な有効な解決策を優先する必要がある、限定された人間の努力の下で検証を研究する。
我々は、エラー提案とエラー検証を分離するアルゴリズムフレームワークであるOSVerifyを紹介した。
実験によると、OSVerifyは、無効なソリューションの人間レビューの数を平均46%削減している。
論文 参考訳（メタデータ） (2026-10-13T10:10:11Z) - Who Pays the Review Cost? Triage, Fairness, and Accountability in AI-authored Pull Requests [6.429261912755283]
我々は、コードレビューの経験とAIPRへの様々な露出を有する31カ国の実践者239人を対象に調査を行った。
私たちは、欠落した理論的根拠、検証、オーナシップをレビュー可能性の負債として概念化し、生成されたコードに十分な人的根拠がない場合には、ワークレビュアーが吸収しなければなりません。
論文 参考訳（メタデータ） (2026-10-08T03:38:29Z) - From Passive Generation to Investigation: A Proactive Scientific Peer Review Agent [52.42081442204093]
我々は、紙の不審な部分を積極的に調査する柔軟性の欠如が、重要な制限であると主張している。
本稿では,保守的かつ構造化されたレビューログによってガイドされた論文を積極的にレビューする,科学的ピアレビューエージェントであるProReviewerを提案する。
実験の結果,8Bバックボーンを持つProReviewerは教師付き微調整によって訓練され,強化学習によって最適化され,5つの品質次元で最高の平均スコアが得られることがわかった。
論文 参考訳（メタデータ） (2026-06-11T13:38:23Z) - Why Are Agentic Pull Requests Merged or Rejected? An Empirical Study [1.817190500510871]
AIコーディングエージェントは、プルリクエスト(Agentic-PR)をオープンソースリポジトリに送信するが、そのパフォーマンスはマージと拒否結果だけで評価されることが多い。
我々は,11,048件のクローズドエージェントプルリクエストの意思決定指向分析を行い,9,799件の人間レビューPRに精査し,手動で717件の代表事例を検査し,意思決定の合理性を回復した。
一方31.2%はワークフローの制約によって駆動され、33.1%は観測可能な決定の根拠に欠けていた。
論文 参考訳（メタデータ） (2026-05-21T14:24:20Z) - To Trust or Not to Trust: Authors' Response to AI-based Reviews [1.0435741631709405]
本稿では,AIによる補助的レビューにおける著者の使用と認識に関する2つの独立したパイロット研究の成果を報告する。
AIが教師あるいは著者が管理するツールとしてフレーム化されたとき、将来の使用に対する作者のサポートが最も強かった。
論文 参考訳（メタデータ） (2026-05-15T20:43:55Z) - Beyond Rating: A Comprehensive Evaluation and Benchmark for AI Reviews [69.66583722746904]
私たちは、AIレビュアーを5次元にわたって評価する総合的な評価フレームワークであるBeyond Ratingを紹介します。
本稿では,専門家の不一致に対応するためのMax-Recall戦略を提案する。
提案したテキスト中心の指標は、特に弱みの議論のリコールであり、評価精度と強く相関している。
論文 参考訳（メタデータ） (2026-04-21T14:21:15Z) - DeepFact: Co-Evolving Benchmarks and Agents for Deep Research Factuality [49.62610727661819]
既存のファクトチェッカーは主に汎用ドメイン、ファクトイドスタイルの原子クレーム用に設計されている。
本稿では,ベンチマークラベルと有理値が明示的に変更可能なAudit-then-Score (AtS)を提案する。
我々は、AtSを、監査可能な有理量を持つDRR事実性ベンチマークであるDeepFact-Benchとしてインスタンス化する。
論文 参考訳（メタデータ） (2026-03-06T05:05:57Z) - SPECA: Specification-to-Checklist Agentic Auditing for Multi-Implementation Systems -- A Case Study on Ethereum Clients [1.711666249985278]
SPECAは、標準要件をチェックリストに変換する仕様からChecklistフレームワークである。
SPECAは,11社を対象とし,フサカアップグレードのセキュリティ監査コンテストの会場内でインスタンス化を行う。
我々の改善されたエージェントは、競争監査の基礎的真実に対して評価され、高影響の脆弱性について27.3%の厳格なリコールを達成した。
論文 参考訳（メタデータ） (2026-02-07T12:19:00Z) - Preventing the Collapse of Peer Review Requires Verification-First AI [49.995126139461085]
我々は、真理結合、すなわち、過度に科学的真理をトラックする場所のスコアの厳密さを提案する。
プロキシ・ソブリン評価に向けた相転移を駆動する2つの力の形式化を行う。
論文 参考訳（メタデータ） (2026-01-23T17:17:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。