論文の概要: These Aren't the Reviews You're Looking For How Humans Review AI-Generated Pull Requests
- arxiv url: http://arxiv.org/abs/2605.02273v1
- Date: Mon, 04 May 2026 06:32:50 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-05 20:33:50.164136
- Title: These Aren't the Reviews You're Looking For How Humans Review AI-Generated Pull Requests
- Title（参考訳）: 人間がAIで生成したプルリクエストをレビューする「レビュー」とは?(動画あり)
- Abstract要約: AIDevデータセットを使用して、GitHub上のAI生成プルリクエスト(PR)のコードレビューインタラクションを分析する。
ほとんどのAI生成PRはレビューを受けておらず、レビューされると、主に人間ではなくAIエージェントが支配していることがわかった。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We analyze code review interactions for AI-generated pull requests (PRs) on GitHub using the AIDev dataset and compare them to human-authored PRs within the same repositories. We find that most AI-generated PRs receive no review and, when reviewed, are largely dominated by AI agents rather than humans. Human-authored PRs are more likely to receive human-only review and to attract direct human feedback. In contrast, reviews of AI-generated PRs more often take the form of automation-mediated interaction, with human involvement frequently expressed through agent steering rather than standalone evaluation. These results indicate systematic differences in how review activity is structured in agentic workflows and raise challenges for interpreting review metrics as indicators of human oversight in large-scale mining studies.
- Abstract（参考訳）: AIDevデータセットを使用して、GitHub上のAI生成プルリクエスト(PR)のコードレビューインタラクションを分析し、それらを、同じリポジトリ内の人間によるPRと比較する。
ほとんどのAI生成PRはレビューを受けておらず、レビューされると、主に人間ではなくAIエージェントが支配していることがわかった。
人間が書いたPRは、人間のみのレビューを受け、直接のフィードバックを惹きつける傾向にある。
対照的に、AI生成されたPRのレビューは、自動化によるインタラクションの形式をとることが多く、人間による関与は、スタンドアローンの評価よりもエージェントステアリングを通じて頻繁に表現される。
これらの結果は,大規模な鉱業研究において,レビュー活動がエージェントワークフローでどのように構成されているかという体系的な違いを示し,レビュー指標を人間の監視の指標として解釈する上での課題を提起する。
関連論文リスト
- From Human-Centric to Agentic Code Review: The Impact of Different Generations of Generative AI Technology on Review Quality [3.7086626614863984]
私たちは、3つのコードレビュー期間に移行した207のGitHubプロジェクトからの1億200万のレビューされたプルリクエストを調査します。
エージェント関連のコラボレーションパターンは、Gradual AI AdoptionとRapid AI Agent Adoptionの下でのレビュー決定の迅速化に関連している。
これらの知見は、レビュー品質を弱めることなく効率を向上するAI支援のコードレビュープロセスを設計するための実証的なガイダンスを提供する。
論文 参考訳（メタデータ） (2026-07-14T18:48:20Z) - Rethinking Code Review in the Age of AI: A Vision for Agentic Code Review [2.2807488730605296]
本稿では,AIを利用したコードレビューワークフローの構想について述べる。
信頼性、バイアス、プライバシー、自動化バイアス、透明性、評価など、責任ある採用に対する大きなオープンな課題を特定します。
論文 参考訳（メタデータ） (2026-05-17T17:04:21Z) - Stop Automating Peer Review Without Rigorous Evaluation [51.53099943385505]
このポジションペーパーは、今日のAIシステムは、論文レビューの作成に使用すべきではない、と論じている。
1)AIレビュアーは、視点の多様性を低下させる論文内および新聞内における過剰な合意の隠れた効果を示す。
ピアレビューの危機に対処するには、ピアレビューの自動化の科学が必要です。
論文 参考訳（メタデータ） (2026-05-04T22:41:04Z) - On the Footprints of Reviewer Bots Feedback on Agentic Pull Requests in OSS GitHub Repositories [2.155083987188202]
本研究では,レビュアーボットのフィードバックとPR結果の関係について検討する。
AI_Devデータセットから,4,532のPRに対する7,416のレビュアボットコメントを分析した。
以上の結果から,レビュアボットのコメントは主にバグ修正,テスト,ドキュメンテーションに焦点が当てられている。
論文 参考訳（メタデータ） (2026-04-27T13:17:13Z) - AI-Assisted Peer Review at Scale: The AAAI-26 AI Review Pilot [45.90272517740283]
本稿では,AI支援ピアレビューの大規模展開について報告する。
AAAI-26のすべてのメイントラックは、最先端のシステムから明確に特定されたAIレビューを受け取りました。
論文 参考訳（メタデータ） (2026-04-15T14:51:07Z) - Humans Integrate, Agents Fix: How Agent-Authored Pull Requests Are Referenced in Practice [4.359007050137919]
エージェント-エージェント間およびエージェント-エージェント間相互作用におけるエージェント-認可されたPR参照の意図を特徴付けるための分類法を導入する。
我々の分析によると、人間はエージェントによるPRへの参照をほとんど開始するが、これらの相互作用の大部分はAIによる支援である。
参照/参照型PRは, 孤立型PRと比較して, 寿命とレビュー時間が著しく長いことが判明した。
論文 参考訳（メタデータ） (2026-04-05T11:04:46Z) - How AI Coding Agents Communicate: A Study of Pull Request Description Characteristics and Human Review Responses [6.061536429904841]
AIDevデータセットを用いて、5つのAI符号化エージェントが生成したプルリクエストを実証分析する。
AIコーディングエージェントは、レビュアーのエンゲージメント、応答時間、マージ結果の違いに関連する、異なるPR記述スタイルを示す。
論文 参考訳（メタデータ） (2026-02-19T05:06:31Z) - On Autopilot? An Empirical Study of Human-AI Teaming and Review Practices in Open Source [11.412808537439973]
プロジェクトレベルのガイドラインとAI支援プルリクエスト(PR)との開発者のインタラクションについて検討した。
AIが共著するPRの67.5%以上が、コードオーナシップのないコントリビュータから生まれています。
非オーナーの開発者が最もフィードバックを受けられるような、人間が作ったPRとは対照的に、非オーナーのAI共著のPRは最小限のフィードバックを受け取っている。
論文 参考訳（メタデータ） (2026-01-20T09:09:53Z) - Early-Stage Prediction of Review Effort in AI-Generated Pull Requests [0.0]
我々は,2,807リポジトリにわたるAIDevデータセットから,エージェントによるPR33,707件を分析した。
本稿では,高解像度PRを生成時に予測するサーキットブレーカートリアージモデルを提案する。
論文 参考訳（メタデータ） (2026-01-02T17:18:01Z) - CoCoNUTS: Concentrating on Content while Neglecting Uninformative Textual Styles for AI-Generated Peer Review Detection [60.52240468810558]
我々は、AI生成ピアレビューの詳細なデータセットの上に構築されたコンテンツ指向ベンチマークであるCoCoNUTSを紹介する。
また、マルチタスク学習フレームワークを介してAIレビュー検出を行うCoCoDetを開発し、レビューコンテンツにおけるAIのより正確で堅牢な検出を実現する。
論文 参考訳（メタデータ） (2025-08-28T06:03:11Z) - Aligning Large Language Models from Self-Reference AI Feedback with one General Principle [61.105703857868775]
13B Llama2-Chatで高品質なフィードバックを提供できる自己参照型AIフィードバックフレームワークを提案する。
具体的には、まずAIがユーザーの指示に反応し、それに基づいて他の回答に対する批判を参照として生成する。
最後に、批判に応じて、どの回答が人間の好みに合うかを判断する。
論文 参考訳（メタデータ） (2024-06-17T03:51:46Z) - Beyond Static Evaluation: A Dynamic Approach to Assessing AI Assistants' API Invocation Capabilities [48.922660354417204]
人間の関与なしにアシスタントのAPIコール能力を評価するために,自動動的評価(Automated Dynamic Evaluation, AutoDE)を提案する。
この枠組みでは,人間と機械の相互作用において,真の人間の会話パターンを忠実に反映するように努力する。
論文 参考訳（メタデータ） (2024-03-17T07:34:12Z) - Exploration with Principles for Diverse AI Supervision [88.61687950039662]
次世代の予測を用いた大規模トランスフォーマーのトレーニングは、AIの画期的な進歩を生み出した。
この生成AIアプローチは印象的な結果をもたらしたが、人間の監督に大きく依存している。
この人間の監視への強い依存は、AIイノベーションの進歩に重大なハードルをもたらす。
本稿では,高品質なトレーニングデータを自律的に生成することを目的とした,探索型AI(EAI)という新しいパラダイムを提案する。
論文 参考訳（メタデータ） (2023-10-13T07:03:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。