論文の概要: Predicting Acceptance and Review Effort in Human and Agent Pull Requests
- arxiv url: http://arxiv.org/abs/2607.12057v1
- Date: Mon, 13 Jul 2026 18:18:27 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-15 17:08:29.931976
- Title: Predicting Acceptance and Review Effort in Human and Agent Pull Requests
- Title（参考訳）: 人間とエージェントのプルリクエストにおける受容とレビューの予測
- Abstract要約: プルリクエスト(PR)は、現代のソフトウェアリポジトリにおけるコード変更のレビューと統合のための中心的なメカニズムである。
本稿では、レビューアディスカッションやCIフィードバック、マージ決定が利用可能になる前に、PRの開始時に成果を見積もることができるかどうかを検討する。
我々は,人間とエージェントによるPRのための漏洩認識予測パイプラインを構築した。
- 参考スコア（独自算出の注目度）: 6.709069732781736
- License: http://creativecommons.org/publicdomain/zero/1.0/
- Abstract: Pull requests (PRs) are a central mechanism for reviewing and integrating code changes in modern software repositories. As AI coding agents begin to submit more code changes alongside human developers, maintainers face a new challenge: deciding which PRs are likely to be accepted and which ones may require substantial review effort. This paper studies whether such outcomes can be estimated at the time a PR is opened, before reviewer discussion, CI feedback, or merge decisions are available. Using the AIDev dataset, we construct a leakage-aware prediction pipeline for human- and agent-authored PRs. The feature set is limited to submission-time information, including PR text characteristics, metadata, repository context, temporal signals, and lightweight diff statistics. We evaluate classical machine-learning models, including Logistic Regression, Random Forests, Gradient Boosting, Extra Trees, and MLPs, across pooled, human-only, agent-only, and balanced contributor views. Our results show that acceptance prediction is feasible from early signals: tree-based models achieve F1 scores above 0.95, with textual clarity and metadata among the most influential predictors. Review-effort prediction is more difficult. Comment counts and time-to-merge are only modestly explained by submission-time features, suggesting that reviewer availability, project workflow, and team-specific review practices play a major role. These findings indicate that early PR models can support triage and reviewer prioritization, but should be used as advisory tools rather than automated decision-makers.
- Abstract（参考訳）: プルリクエスト(PR)は、現代のソフトウェアリポジトリにおけるコード変更のレビューと統合のための中心的なメカニズムである。
AIコーディングエージェントが人間の開発者と一緒にコード変更を提出し始めると、メンテナは新しい課題に直面します。
本稿では,レビュアーディスカッションやCIフィードバック,あるいはマージ決定が利用可能になる前に,PRの開始時にそのような結果を推定できるかどうかを検討する。
AIDevデータセットを用いて,人間とエージェントによるPRのための漏洩認識予測パイプラインを構築した。
機能セットは、PRテキストの特徴、メタデータ、リポジトリコンテキスト、時間信号、軽量な差分統計など、提出時の情報に限られる。
従来の機械学習モデル(ロジスティック回帰、ランダムフォレスト、グラディエントブースティング、エクストラツリー、MDPなど)を、プール、人間専用、エージェント専用、バランスの取れたコントリビューで評価する。
木質モデルでは0.95点以上のF1スコアを達成でき、テキストの明瞭さとメタデータは最も影響力のある予測者のうちの1つである。
レビュー・エフォートの予測はもっと難しい。
コメントのカウントとマージは、提出時の機能によってわずかに説明されるだけであり、レビュアの可用性、プロジェクトワークフロー、チーム固有のレビュープラクティスが大きな役割を果たすことを示唆している。
これらの結果は、初期のPRモデルはトリアージとレビュアーの優先順位付けをサポートするが、自動意思決定者ではなく助言ツールとして使うべきであることを示唆している。
関連論文リスト
- These Aren't the Reviews You're Looking For How Humans Review AI-Generated Pull Requests [0.0]
AIDevデータセットを使用して、GitHub上のAI生成プルリクエスト(PR)のコードレビューインタラクションを分析する。
ほとんどのAI生成PRはレビューを受けておらず、レビューされると、主に人間ではなくAIエージェントが支配していることがわかった。
論文 参考訳（メタデータ） (2026-05-04T06:32:50Z) - Humans Integrate, Agents Fix: How Agent-Authored Pull Requests Are Referenced in Practice [4.359007050137919]
エージェント-エージェント間およびエージェント-エージェント間相互作用におけるエージェント-認可されたPR参照の意図を特徴付けるための分類法を導入する。
我々の分析によると、人間はエージェントによるPRへの参照をほとんど開始するが、これらの相互作用の大部分はAIによる支援である。
参照/参照型PRは, 孤立型PRと比較して, 寿命とレビュー時間が著しく長いことが判明した。
論文 参考訳（メタデータ） (2026-04-05T11:04:46Z) - A Rubric-Supervised Critic from Sparse Real-World Outcomes [87.11204512676193]
現実のコーディングエージェントは、成功信号がノイズが多く、遅延し、スパースであるループで人間と動作します。
本稿では,RLに基づくトレーニングや推論時間スケーリングの報奨モデルとして,スパースとノイズの相互作用データから"批判的"モデルを学習するプロセスを提案する。
論文 参考訳（メタデータ） (2026-03-04T07:23:54Z) - The Value of Effective Pull Request Description [5.518378568494161]
プルベースの開発では、コードコントリビューションはプルリクエスト(PR)として送信され、他の開発者のレビューや承認を受ける。
筆者らは,PR記述書作成ガイドラインの灰色文献レビューを行い,推奨8項目の分類を導出した。
我々は156のプロジェクトと5つのプログラミング言語にまたがる80万のGitHub PRを分析し、これらの要素とコードレビューの結果の関連性を評価した。
論文 参考訳（メタデータ） (2026-02-16T10:15:21Z) - Can We Predict Before Executing Machine Learning Agents? [74.39460101251792]
データ中心のソリューション優先のタスクを形式化し、18,438対比較の包括的コーパスを構築する。
検証データ解析レポートを作成した場合, LLM は重要な予測能力を示すことを示す。
このフレームワークをForEAGENT(Predict-then-Verifyループを利用するエージェント)でインスタンス化し、実行ベースラインを+6%超えながらコンバージェンスを6倍高速化する。
論文 参考訳（メタデータ） (2026-01-09T16:44:17Z) - Early-Stage Prediction of Review Effort in AI-Generated Pull Requests [0.0]
我々は,2,807リポジトリにわたるAIDevデータセットから,エージェントによるPR33,707件を分析した。
本稿では,高解像度PRを生成時に予測するサーキットブレーカートリアージモデルを提案する。
論文 参考訳（メタデータ） (2026-01-02T17:18:01Z) - Query Performance Prediction using Relevance Judgments Generated by Large Language Models [53.97064615557883]
自動生成関連判定(QPP-GenRE)を用いた新しいクエリ性能予測(QPP)フレームワークを提案する。
QPP-GenREは、QPPを独立したサブタスクに分解し、ランクリスト内の各項目の関連性を所定のクエリに予測する。
我々は,オープンソースの大規模言語モデル (LLM) を用いて,科学的妥当性を確保することにより,項目の関連性を予測する。
論文 参考訳（メタデータ） (2024-04-01T09:33:05Z) - Team-related Features in Code Review Prediction Models [10.576931077314887]
コードオーナシップ、ワークロード、チーム関係に関連する機能の予測能力を評価します。
結果から,コードオーナシップに関連する機能が最も優れた予測能力を持つことが示唆された。
提案されたすべての機能とコード行を合わせることで、レビュアーの参加とフィードバックの量の両方に最適な予測ができると結論付けます。
論文 参考訳（メタデータ） (2023-12-11T09:30:09Z) - What Should I Know? Using Meta-gradient Descent for Predictive Feature
Discovery in a Single Stream of Experience [63.75363908696257]
計算強化学習は、未来の感覚の予測を通じて、エージェントの世界の知覚を構築しようとする。
この一連の作業において、オープンな課題は、エージェントがどの予測が意思決定を最も支援できるかを、無限に多くの予測から決定することである。
本稿では,エージェントが何を予測するかを学習するメタ段階的な降下過程,(2)選択した予測の見積もり,3)将来の報酬を最大化するポリシーを生成する方法を紹介する。
論文 参考訳（メタデータ） (2022-06-13T21:31:06Z) - Test-time Collective Prediction [73.74982509510961]
マシンラーニングの複数のパーティは、将来のテストポイントを共同で予測したいと考えています。
エージェントは、すべてのエージェントの集合の集合的な専門知識の恩恵を受けることを望んでいるが、データやモデルパラメータを解放する意思はないかもしれない。
我々は、各エージェントの事前学習モデルを利用して、テスト時に集合的な予測を行う分散型メカニズムを探索する。
論文 参考訳（メタデータ） (2021-06-22T18:29:58Z) - Value-driven Hindsight Modelling [68.658900923595]
値推定は強化学習(RL)パラダイムの重要な構成要素である。
モデル学習は、観測系列に存在する豊富な遷移構造を利用することができるが、このアプローチは通常、報酬関数に敏感ではない。
この2つの極点の間に位置するRLにおける表現学習のアプローチを開発する。
これにより、タスクに直接関連し、値関数の学習を加速できる、抽出可能な予測ターゲットが提供される。
論文 参考訳（メタデータ） (2020-02-19T18:10:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。