論文の概要: On the Footprints of Reviewer Bots Feedback on Agentic Pull Requests in OSS GitHub Repositories
- arxiv url: http://arxiv.org/abs/2604.24450v1
- Date: Mon, 27 Apr 2026 13:17:13 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-04-28 17:12:08.017442
- Title: On the Footprints of Reviewer Bots Feedback on Agentic Pull Requests in OSS GitHub Repositories
- Title（参考訳）: OSS GitHubリポジトリにおけるエージェントプル要求に対するレビューボットのフィードバックのフットプリントについて
- Authors: Syeda Kaneez Fatima, Yousuf Abrar, Abdul Rehman Tahir, Amelia Nawaz, Shamsa Abid, Abdul Ali Bangash,
- Abstract要約: 本研究では,レビュアーボットのフィードバックとPR結果の関係について検討する。
AI_Devデータセットから,4,532のPRに対する7,416のレビュアボットコメントを分析した。
以上の結果から,レビュアボットのコメントは主にバグ修正,テスト,ドキュメンテーションに焦点が当てられている。
- 参考スコア（独自算出の注目度）: 2.155083987188202
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Autonomous coding agents are reshaping software development by creating pull requests (PRs) on GitHub, referred to as agentic PRs. In parallel, the review process is also becoming autonomous, thereby making reviewer bots key actors in the assessment of these agentic PRs. However, their influence on PR acceptance and resolution remains unclear. This study empirically investigates the relationship between reviewer-bot feedback and PR outcomes by analyzing how Reviewer Bot Feedback Quality (relevance, clarity, conciseness) and Reviewer Bot Activity Volume (comment count) are associated with PR acceptance and resolution time. We analyze 7,416 reviewer-bot comments on 4,532 PRs from the AI_Dev dataset (a dataset that captured AI agents' PRs in GitHub projects). Our results show that reviewer-bot comments mainly focus on bug fixes, testing, and documentation, are civil in tone, and are prescriptive in nature. Reviewer bots generally produce clear and concise feedback, though the semantic relevance of comments to underlying code changes is moderate. We find that higher Reviewer Bot Activity volume is associated with longer PR resolution times and lower average feedback quality, showing that as bots generate more comments on a PR, the average pertinence of that feedback appears to degrade. At the same time, Reviewer Bot Feedback Quality shows no meaningful association with workflow outcomes. Our findings suggest that, in agentic PR workflows, reviewer bots should prioritize targeted high-relevance feedback over generating large numbers of comments.
- Abstract（参考訳）: 自動コーディングエージェントは、エージェントPRと呼ばれるプルリクエスト(PR)をGitHub上に生成することで、ソフトウェア開発を再構築している。
並行して、レビュープロセスも自律化され、これらのエージェントPRの評価においてレビュアボットが重要な役割を担っている。
しかし、PRの受容と解決に対する影響はいまだ不明である。
本研究は,レビュアボットのフィードバック品質(関連性,明確性,簡潔性)とレビュアボット活動量(記事数)がPRの受け入れと解決時間とどのように関連しているかを解析することにより,レビュアボットのフィードバックとPR結果の関係を実証的に検討する。
AI_Devデータセット(GitHubプロジェクトでAIエージェントのPRをキャプチャしたデータセット)から,4,532のPRに関する7,416のレビュアボットコメントを分析した。
以上の結果から,レビュアボットのコメントは主にバグ修正,テスト,ドキュメンテーションに焦点が当てられている。
レビューボットは概して明確で簡潔なフィードバックを生成するが、下層のコード変更に対するコメントの意味的関連性は適度である。
高いレビューアボットアクティビティのボリュームは、PRの解像度が長く、平均的なフィードバック品質が低いことに関連付けられており、ボットがPRに対してより多くのコメントを生成すると、そのフィードバックの関連性が低下することを示している。
同時に、Reviewer Bot Feedback Qualityはワークフローの結果と意味のある関連性を示していない。
この結果から,エージェント型PRワークフローでは,大量のコメントを生成するよりも,対象とする高関連フィードバックを優先すべきであることが示唆された。
関連論文リスト
- ReviewGrounder: Improving Review Substantiveness with Rubric-Guided, Tool-Integrated Agents [50.27474750319121]
公式ガイドライン、論文の内容、人間によるレビューから派生した、紙固有のルーリックに従ってテキストをレビューする。
本稿では、公式ガイドライン、論文の内容、人手によるレビューに基づいて、レビューテキストを評価するベンチマークであるREVIEWBENCHを紹介する。
本稿では,レビューを起草段階と接地段階に分解するルーリック誘導ツール統合マルチエージェントフレームワークであるREVIEWGROUNDERを提案する。
論文 参考訳（メタデータ） (2026-04-15T16:33:04Z) - Understanding Dominant Themes in Reviewing Agentic AI-authored Code [6.183483850365225]
実世界のGitHubリポジトリから,3,177件のエージェントによるPRにまたがる19,450件のインラインレビューコメントを分析した。
AIエージェントはコード生成を加速できるが、対象とする人間レビューの監視を必要とするギャップは依然として残っている。
論文 参考訳（メタデータ） (2026-01-27T07:21:09Z) - On Autopilot? An Empirical Study of Human-AI Teaming and Review Practices in Open Source [11.412808537439973]
プロジェクトレベルのガイドラインとAI支援プルリクエスト(PR)との開発者のインタラクションについて検討した。
AIが共著するPRの67.5%以上が、コードオーナシップのないコントリビュータから生まれています。
非オーナーの開発者が最もフィードバックを受けられるような、人間が作ったPRとは対照的に、非オーナーのAI共著のPRは最小限のフィードバックを受け取っている。
論文 参考訳（メタデータ） (2026-01-20T09:09:53Z) - LazyReview A Dataset for Uncovering Lazy Thinking in NLP Peer Reviews [74.87393214734114]
この研究は、微粒な遅延思考カテゴリで注釈付けされたピアレビュー文のデータセットであるLazyReviewを紹介している。
大規模言語モデル(LLM)は、ゼロショット設定でこれらのインスタンスを検出するのに苦労する。
命令ベースのデータセットの微調整により、パフォーマンスが10～20ポイント向上する。
論文 参考訳（メタデータ） (2025-04-15T10:07:33Z) - Understanding the Helpfulness of Stale Bot for Pull-based Development:
An Empirical Study of 20 Large Open-Source Projects [5.0760915931572]
StalebotはGitHubによって導入され、このようなアクティブでないPRを自動的に追跡、追跡、クローズする。
20の大規模で人気のあるオープンソースプロジェクトについて、実証的研究を行いました。
Staleボットは、未解決のPRのバックログを扱うのに役立ちます。
しかし、Staleボットは、プロジェクトが採用後にアクティブなコントリビュータの数が大幅に減少しているため、コントリビュータに悪影響を及ぼす可能性がある。
論文 参考訳（メタデータ） (2023-05-29T15:25:06Z) - Suggestion Bot: Analyzing the Impact of Automated Suggested Changes on
Code Reviews [2.773900417167691]
私たちはSUGGESTION BOTというボットを作成し、GitHubの推奨変更機能を使ってコードベースを自動的にレビューしました。
我々は、レビュー時間への影響についてSUGGESTION BOTを評価し、ボットが提供するコメントがユーザにとって明確で有用かどうかを分析する。
論文 参考訳（メタデータ） (2023-05-10T17:33:43Z) - A ground-truth dataset and classification model for detecting bots in
GitHub issue and PR comments [70.1864008701113]
ボットはGithubリポジトリで、分散ソフトウェア開発プロセスの一部である反復的なアクティビティを自動化するために使用されている。
本稿では,5000のGithubアカウントのプルリクエストとコメント発行に関する,高い相互契約を伴う手動分析に基づいて,基幹トラスデータセットを提案する。
ボットを検出する自動分類モデルを提案し,各アカウントの空のコメント数と空でないコメント数,コメントパターンの数,コメントパターン内のコメント間の不平等を主特徴とする。
論文 参考訳（メタデータ） (2020-10-07T09:30:52Z) - Automating App Review Response Generation [67.58267006314415]
本稿では,レビューと回答の知識関係を学習することで,レビュー応答を自動的に生成する新しいアプローチRRGenを提案する。
58のアプリと309,246のレビュー-レスポンスペアの実験では、RRGenはBLEU-4の点で少なくとも67.4%のベースラインを上回っている。
論文 参考訳（メタデータ） (2020-02-10T05:23:38Z) - Perception and Acceptance of an Autonomous Refactoring Bot [11.908989544044998]
学生ソフトウェア開発プロジェクトで41日間、自律的なボットをデプロイしました。
半構造化されたインタビューを行い、開発者がボットをどのように感じているか、そして、ボットの貢献を人間の貢献と比べてレビューする場合、それらが多かれ少なかれ批判的であるかどうかを調べた。
私たちの研究によると、ボットは有用で邪魔にならない貢献者として認識され、開発者は人間の同僚よりも批判的ではなかったが、ボットに責任を感じたのはチームメンバーのほんの数人だけだった。
論文 参考訳（メタデータ） (2020-01-08T14:47:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。