論文の概要: What happens when reviewers receive AI feedback in their reviews?
- arxiv url: http://arxiv.org/abs/2602.13817v1
- Date: Sat, 14 Feb 2026 15:22:33 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-02-17 14:17:28.441897
- Title: What happens when reviewers receive AI feedback in their reviews?
- Title（参考訳）: レビュアーがレビューでAIフィードバックを受けたらどうなるのか?
- Authors: Shiping Chen, Shu Zhong, Duncan P. Brumby, Anna L. Cox,
- Abstract要約: 支持者はAIがレビュー担当者の負担を減らし、品質を改善する可能性があると考えているが、批判者は公正さ、説明責任、信頼へのリスクを警告している。
ICLR 2025では、レビュアーにレビュー後提案を提供するために、公式のAIフィードバックツールがデプロイされた。
この研究は、ライブレビュープロセスにおいて、このようなAIツールの実証的な証拠として初めて貢献する。
- 参考スコア（独自算出の注目度）: 9.57486570505445
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: AI is reshaping academic research, yet its role in peer review remains polarising and contentious. Advocates see its potential to reduce reviewer burden and improve quality, while critics warn of risks to fairness, accountability, and trust. At ICLR 2025, an official AI feedback tool was deployed to provide reviewers with post-review suggestions. We studied this deployment through surveys and interviews, investigating how reviewers engaged with the tool and perceived its usability and impact. Our findings surface both opportunities and tensions when AI augments in peer review. This work contributes the first empirical evidence of such an AI tool in a live review process, documenting how reviewers respond to AI-generated feedback in a high-stakes review context. We further offer design implications for AI-assisted reviewing that aim to enhance quality while safeguarding human expertise, agency, and responsibility.
- Abstract（参考訳）: AIは学術研究を変えつつあるが、ピアレビューにおけるその役割は分極的で論争的だ。
支持者はレビュアーの負担を減らし、品質を改善する可能性があり、批判者は公正さ、説明責任、信頼に対するリスクを警告する。
ICLR 2025では、レビュアーにレビュー後提案を提供するために、公式のAIフィードバックツールがデプロイされた。
調査やインタビューを通じて,このデプロイメントを調査し,レビュアーがツールとどのように関わり,そのユーザビリティと影響を認識したのかを調査した。
我々の発見は、ピアレビューでAIが強化されたときの機会と緊張の両方を浮き彫りにした。
この研究は、AIツールのライブレビュープロセスにおける最初の実証的な証拠として、レビュアーがAI生成のフィードバックにどのように反応するかを、ハイテイクなレビューコンテキストで記録している。
我々は、人間の専門知識、機関、責任を守りながら品質を高めることを目的としたAI支援レビューの設計上の意味をさらに示します。
関連論文リスト
- Calibrated Generative AI as Meta-Reviewer: A Systemic Functional Linguistics Discourse Analysis of Reviews of Peer Reviews [0.07999703756441755]
生成AIは、効果的な人間のフィードバックの重要な修辞的および関係的な特徴を近似することができる。
生成型AIメタフィードバックは、フィードバックリテラシーを足場として、ピアレビューによるリーンエンゲージメントを高める可能性がある。
論文 参考訳（メタデータ） (2025-09-18T15:00:44Z) - Automatic Reviewers Fail to Detect Faulty Reasoning in Research Papers: A New Counterfactual Evaluation Framework [55.078301794183496]
我々は、高品質なピアレビューを支えるコアレビュースキル、すなわち欠陥のある研究ロジックの検出に注力する。
これは、論文の結果、解釈、クレームの間の内部の一貫性を評価することを含む。
本稿では,このスキルを制御条件下で分離し,テストする,完全自動対物評価フレームワークを提案する。
論文 参考訳（メタデータ） (2025-08-29T08:48:00Z) - CoCoNUTS: Concentrating on Content while Neglecting Uninformative Textual Styles for AI-Generated Peer Review Detection [60.52240468810558]
我々は、AI生成ピアレビューの詳細なデータセットの上に構築されたコンテンツ指向ベンチマークであるCoCoNUTSを紹介する。
また、マルチタスク学習フレームワークを介してAIレビュー検出を行うCoCoDetを開発し、レビューコンテンツにおけるAIのより正確で堅牢な検出を実現する。
論文 参考訳（メタデータ） (2025-08-28T06:03:11Z) - The AI Imperative: Scaling High-Quality Peer Review in Machine Learning [49.87236114682497]
AIによるピアレビューは、緊急の研究とインフラの優先事項になるべきだ、と私たちは主張する。
我々は、事実検証の強化、レビュアーのパフォーマンスの指導、品質改善における著者の支援、意思決定におけるAC支援におけるAIの具体的な役割を提案する。
論文 参考訳（メタデータ） (2025-06-09T18:37:14Z) - Can LLM feedback enhance review quality? A randomized study of 20K reviews at ICLR 2025 [115.86204862475864]
Review Feedback Agentは、あいまいなコメント、コンテンツの誤解、レビュアーへの専門的でない発言に対する自動的なフィードバックを提供する。
ICLR 2025で大規模なランダム化制御研究として実装された。
フィードバックを受けたレビュアーの27%がレビューを更新し、エージェントからの12,000以上のフィードバック提案がレビュアーによって取り入れられた。
論文 参考訳（メタデータ） (2025-04-13T22:01:25Z) - Understanding and Supporting Peer Review Using AI-reframed Positive Summary [18.686807993563168]
本研究は,筆記作業のピアレビューに自動生成された肯定的な要約を付加することの影響について検討した。
さもなくば過酷なフィードバックにAIを再構成した肯定的な要約を加えると、著者の批判的受け入れが増大することがわかった。
我々は、ピアフィードバックにおけるAIの利用の意味について論じ、それが批判的受容にどのように影響するかに注目し、研究コミュニティを支援する。
論文 参考訳（メタデータ） (2025-03-13T11:22:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。