論文の概要: These Aren't the Reviews You're Looking For How Humans Review AI-Generated Pull Requests
- arxiv url: http://arxiv.org/abs/2605.02273v1
- Date: Mon, 04 May 2026 06:32:50 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-05 20:33:50.164136
- Title: These Aren't the Reviews You're Looking For How Humans Review AI-Generated Pull Requests
- Title（参考訳）: 人間がAIで生成したプルリクエストをレビューする「レビュー」とは?(動画あり)
- Authors: Kacper Duma, Patryk Wróblewski, Jagoda Bobińska, Julia Winiarska, Piotr Przymus,
- Abstract要約: AIDevデータセットを使用して、GitHub上のAI生成プルリクエスト(PR)のコードレビューインタラクションを分析する。
ほとんどのAI生成PRはレビューを受けておらず、レビューされると、主に人間ではなくAIエージェントが支配していることがわかった。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We analyze code review interactions for AI-generated pull requests (PRs) on GitHub using the AIDev dataset and compare them to human-authored PRs within the same repositories. We find that most AI-generated PRs receive no review and, when reviewed, are largely dominated by AI agents rather than humans. Human-authored PRs are more likely to receive human-only review and to attract direct human feedback. In contrast, reviews of AI-generated PRs more often take the form of automation-mediated interaction, with human involvement frequently expressed through agent steering rather than standalone evaluation. These results indicate systematic differences in how review activity is structured in agentic workflows and raise challenges for interpreting review metrics as indicators of human oversight in large-scale mining studies.
- Abstract（参考訳）: AIDevデータセットを使用して、GitHub上のAI生成プルリクエスト(PR)のコードレビューインタラクションを分析し、それらを、同じリポジトリ内の人間によるPRと比較する。
ほとんどのAI生成PRはレビューを受けておらず、レビューされると、主に人間ではなくAIエージェントが支配していることがわかった。
人間が書いたPRは、人間のみのレビューを受け、直接のフィードバックを惹きつける傾向にある。
対照的に、AI生成されたPRのレビューは、自動化によるインタラクションの形式をとることが多く、人間による関与は、スタンドアローンの評価よりもエージェントステアリングを通じて頻繁に表現される。
これらの結果は,大規模な鉱業研究において,レビュー活動がエージェントワークフローでどのように構成されているかという体系的な違いを示し,レビュー指標を人間の監視の指標として解釈する上での課題を提起する。
関連論文リスト
- On the Footprints of Reviewer Bots Feedback on Agentic Pull Requests in OSS GitHub Repositories [2.155083987188202]
本研究では,レビュアーボットのフィードバックとPR結果の関係について検討する。
AI_Devデータセットから,4,532のPRに対する7,416のレビュアボットコメントを分析した。
以上の結果から,レビュアボットのコメントは主にバグ修正,テスト,ドキュメンテーションに焦点が当てられている。
論文 参考訳（メタデータ） (2026-04-27T13:17:13Z) - AI-Assisted Peer Review at Scale: The AAAI-26 AI Review Pilot [45.90272517740283]
本稿では,AI支援ピアレビューの大規模展開について報告する。
AAAI-26のすべてのメイントラックは、最先端のシステムから明確に特定されたAIレビューを受け取りました。
論文 参考訳（メタデータ） (2026-04-15T14:51:07Z) - Humans Integrate, Agents Fix: How Agent-Authored Pull Requests Are Referenced in Practice [4.359007050137919]
エージェント-エージェント間およびエージェント-エージェント間相互作用におけるエージェント-認可されたPR参照の意図を特徴付けるための分類法を導入する。
我々の分析によると、人間はエージェントによるPRへの参照をほとんど開始するが、これらの相互作用の大部分はAIによる支援である。
参照/参照型PRは, 孤立型PRと比較して, 寿命とレビュー時間が著しく長いことが判明した。
論文 参考訳（メタデータ） (2026-04-05T11:04:46Z) - How AI Coding Agents Communicate: A Study of Pull Request Description Characteristics and Human Review Responses [6.061536429904841]
AIDevデータセットを用いて、5つのAI符号化エージェントが生成したプルリクエストを実証分析する。
AIコーディングエージェントは、レビュアーのエンゲージメント、応答時間、マージ結果の違いに関連する、異なるPR記述スタイルを示す。
論文 参考訳（メタデータ） (2026-02-19T05:06:31Z) - On Autopilot? An Empirical Study of Human-AI Teaming and Review Practices in Open Source [11.412808537439973]
プロジェクトレベルのガイドラインとAI支援プルリクエスト(PR)との開発者のインタラクションについて検討した。
AIが共著するPRの67.5%以上が、コードオーナシップのないコントリビュータから生まれています。
非オーナーの開発者が最もフィードバックを受けられるような、人間が作ったPRとは対照的に、非オーナーのAI共著のPRは最小限のフィードバックを受け取っている。
論文 参考訳（メタデータ） (2026-01-20T09:09:53Z) - Early-Stage Prediction of Review Effort in AI-Generated Pull Requests [0.0]
我々は,2,807リポジトリにわたるAIDevデータセットから,エージェントによるPR33,707件を分析した。
本稿では,高解像度PRを生成時に予測するサーキットブレーカートリアージモデルを提案する。
論文 参考訳（メタデータ） (2026-01-02T17:18:01Z) - CoCoNUTS: Concentrating on Content while Neglecting Uninformative Textual Styles for AI-Generated Peer Review Detection [60.52240468810558]
我々は、AI生成ピアレビューの詳細なデータセットの上に構築されたコンテンツ指向ベンチマークであるCoCoNUTSを紹介する。
また、マルチタスク学習フレームワークを介してAIレビュー検出を行うCoCoDetを開発し、レビューコンテンツにおけるAIのより正確で堅牢な検出を実現する。
論文 参考訳（メタデータ） (2025-08-28T06:03:11Z) - Beyond Static Evaluation: A Dynamic Approach to Assessing AI Assistants' API Invocation Capabilities [48.922660354417204]
人間の関与なしにアシスタントのAPIコール能力を評価するために,自動動的評価(Automated Dynamic Evaluation, AutoDE)を提案する。
この枠組みでは,人間と機械の相互作用において,真の人間の会話パターンを忠実に反映するように努力する。
論文 参考訳（メタデータ） (2024-03-17T07:34:12Z) - Exploration with Principles for Diverse AI Supervision [88.61687950039662]
次世代の予測を用いた大規模トランスフォーマーのトレーニングは、AIの画期的な進歩を生み出した。
この生成AIアプローチは印象的な結果をもたらしたが、人間の監督に大きく依存している。
この人間の監視への強い依存は、AIイノベーションの進歩に重大なハードルをもたらす。
本稿では,高品質なトレーニングデータを自律的に生成することを目的とした,探索型AI(EAI)という新しいパラダイムを提案する。
論文 参考訳（メタデータ） (2023-10-13T07:03:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。