論文の概要: Can We Believe AI Peer Review?
- arxiv url: http://arxiv.org/abs/2610.19339v1
- Date: Wed, 14 Oct 2026 00:27:05 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-15 21:06:15.861549
- Title: Can We Believe AI Peer Review?
- Title（参考訳）: AIピアレビューは可能か?
- Abstract要約: ICLR 2025と2026の200論文と約14,000のAIレビューを用いて、スコア信頼性、スコア分布推定、リビジョンゲインに関するクロスモデル合意について検討した。
有限粒度スコアリングプロトコルはスコアのばらつきを低減させるが、平均スコアを体系的にシフトさせる一方、原稿リビジョンに割り当てられた利得はレビュアーに強く依存する。
- 参考スコア（独自算出の注目度）: 20.813226720722003
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: As large language models become widely used in scientific review and manuscript revision, AI scores are increasingly serving as feedback for assessing paper quality and guiding edits. Yet whether a single AI score reliably reflects the reviewer's judgment, and whether revision gains based on that score are endorsed by other reviewers, remain understudied. Using 200 papers from ICLR 2025 and 2026 and approximately 14,000 AI reviews, we study score reliability, score-distribution estimation, and cross-model agreement on revision gains. Repeated reviews fluctuate even under identical conditions. Finer-grained scoring protocols reduce score variance but also systematically shift mean scores, while the gains assigned to manuscript revisions depend strongly on the reviewer.
- Abstract（参考訳）: 科学的なレビューや原稿の改訂で大きな言語モデルが広く使われるようになるにつれ、AIスコアは紙の品質を評価し、編集を導くためのフィードバックとしてますます役立っている。
しかし、単一のAIスコアがレビュアーの判断を確実に反映しているか、そのスコアに基づくリビジョンゲインが他のレビュアーによって支持されているかは、まだ検討されていない。
ICLR 2025と2026の200論文と約14,000のAIレビューを用いて、スコア信頼性、スコア分布推定、リビジョンゲインに関するクロスモデル合意について検討した。
繰り返しレビューは、同じ条件の下でも変動する。
有限粒度スコアリングプロトコルはスコアのばらつきを低減させるが、平均スコアを体系的にシフトさせる一方、原稿リビジョンに割り当てられた利得はレビュアーに強く依存する。
関連論文リスト
- AppliedScientist: Automated Scientific Revision Through Iterative AI Reviewing [10.712519962597604]
我々は、自律的なAI科学者とAIレビュアーを結合するクローズドループシステムであるAppliedScientistを紹介する。
我々は、さまざまな研究分野から削除された論文を反復的に改訂して評価する。
論文 参考訳（メタデータ） (2026-09-13T18:59:10Z) - ActReview: Rebuttal-Guided Training Data and Rubric Rewards for Actionable Peer Review Generation [54.82704239643649]
本稿では, 紙固有の診断と具体的, 基礎的なリビジョン計画とを結びつける, 反感に満ちたポストトレーニングフレームワークである ActReview を紹介する。
我々の中心的な洞察は、著者の反論は、レビュアーの懸念に対処するための妥当な行動を明らかにし、それゆえ、リビジョン指向のフィードバックに対する潜在的な監督を提供することができるということである。
またActReview-Benchは、診断品質とリビジョンの有用性を評価するために、1,000インスタンスの人為的なベンチマークである。
論文 参考訳（メタデータ） (2026-09-08T17:30:16Z) - How Can Rhetoric Reward-Hack AI Reviewers? Dissecting Rhetorical Sensitivity in AI-Based Peer Review [34.868311584135775]
報告された科学的内容が保存されている場合、修辞的選択がAIレビューの判断をどのように形成するかを検討する。
我々は120の匿名ICLR 2026からの4,200のフルペーパー原稿の制御コーパスを構築した。
論文 参考訳（メタデータ） (2026-08-10T00:42:51Z) - Stop Automating Peer Review Without Rigorous Evaluation [51.53099943385505]
このポジションペーパーは、今日のAIシステムは、論文レビューの作成に使用すべきではない、と論じている。
1)AIレビュアーは、視点の多様性を低下させる論文内および新聞内における過剰な合意の隠れた効果を示す。
ピアレビューの危機に対処するには、ピアレビューの自動化の科学が必要です。
論文 参考訳（メタデータ） (2026-05-04T22:41:04Z) - When AI reviews science: Can we trust the referee? [73.47745294608072]
私たちは、トレーニングとデータ検索、デスクレビュー、深いレビュー、反論、システムレベルといった、レビューライフサイクル全体のアタックをマップします。
評価スコアに高名度フレーミング, 断定力, 反抗薬効, 文脈中毒の因果効果を分離するために, 2つの高度なLCMベースの審判を用いた。
論文 参考訳（メタデータ） (2026-04-26T08:03:32Z) - Beyond Rating: A Comprehensive Evaluation and Benchmark for AI Reviews [69.66583722746904]
私たちは、AIレビュアーを5次元にわたって評価する総合的な評価フレームワークであるBeyond Ratingを紹介します。
本稿では,専門家の不一致に対応するためのMax-Recall戦略を提案する。
提案したテキスト中心の指標は、特に弱みの議論のリコールであり、評価精度と強く相関している。
論文 参考訳（メタデータ） (2026-04-21T14:21:15Z) - Paper Quality Assessment based on Individual Wisdom Metrics from Open Peer Review [4.35783648216893]
従来のクローズドピアレビューシステムは遅く、コストがかかり、透明ではない。
我々は、オープンなボトムアッププロセスを通じて、科学的ピアレビューの代替形態の有効性と正確性を提案し、検証する。
論文 参考訳（メタデータ） (2025-01-22T17:00:27Z) - The ICML 2023 Ranking Experiment: Examining Author Self-Assessment in ML/AI Peer Review [49.43514488610211]
著者が提供するランキングは、機械学習カンファレンスでのピアレビュープロセスを改善するために利用することができる。
著者が提示したランキングを用いて生のレビュースコアを校正するイソトニックメカニズムに注目した。
本稿では,アイソトニック機構の慎重かつリスクの低いいくつかの応用と著者が提案する格付けをピアレビューで提案する。
論文 参考訳（メタデータ） (2024-08-24T01:51:23Z) - When Reviewers Lock Horn: Finding Disagreement in Scientific Peer
Reviews [24.875901048855077]
本稿では,ある記事のレビュアー間での矛盾を自動的に識別する新しいタスクを紹介する。
我々の知識を最大限に活用するために、ピアレビュアー間での意見の不一致を自動的に識別する最初の試みを行う。
論文 参考訳（メタデータ） (2023-10-28T11:57:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。