論文の概要: PaperCritic: Training AI Reviewers to Assess the Soundness of Papers
- arxiv url: http://arxiv.org/abs/2611.17834v1
- Date: Fri, 13 Nov 2026 07:14:57 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-16 18:43:16.324002
- Title: PaperCritic: Training AI Reviewers to Assess the Soundness of Papers
- Title(参考訳): PaperCritic: 論文の健全性を評価するためにAIレビュアーを訓練する
- Abstract要約: 本研究は,音質評価にのみ焦点をあて,学習目標を学習精度の最大化として定義する。
我々は、AIレビュアーモデルPaperCriticを、F1の精度スコアによる強化学習を通じて訓練し、報酬としてリコールする。
実験の結果,PaperCriticはドメイン内テストセット上で,他のAIレビュアートレーニング手法でトレーニングしたフロンティアモデルやモデルよりも優れていることがわかった。
- 参考スコア(独自算出の注目度): 67.39625882642859
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: As AI conference submissions grow rapidly, AI reviewers are being considered as an alternative. However, simply imitating human reviewing is problematic because reviewing serves multiple purposes, including evaluating papers' soundness, interestingness, and clarity, the last two of which are subjective. In this work, we focus solely on evaluating soundness, the most important and objective criterion, and define the learning objective as jointly maximizing (1) precision, based on the soundness and substantiveness of review points, and (2) recall, the coverage of high-quality reference review points. Under this problem formulation, we construct a quality-labeled review point dataset, PaperSound-23K, using 1K ICLR submissions and 23K human-written and LLM-generated review points. Using this dataset, we train an AI reviewer model, PaperCritic, through reinforcement learning with the F1 score of precision and recall as the reward. Our experiments show that PaperCritic outperforms frontier models and models trained with other AI reviewer training methods on an in-domain test set. Surprisingly, learning to review ICLR submissions also transfers to reviewing Nature-family papers and even to out-of-domain reviewing tasks (e.g., code review, legal contract review, and feedback on story writing).
- Abstract(参考訳): AIカンファレンスの提出が急速に増加するにつれ、AIレビュアーは代替案と見なされている。
しかし、論文の健全性、面白さ、明快さなど、レビューが複数の目的を果たすため、人間のレビューを単純に模倣することは問題となる。
本研究は,音質,最も重要かつ客観的な基準である音質を評価することのみに焦点をあて,(1)レビューポイントの音質と実体性に基づいて学習目標を協調的に最大化すること,(2)高品質な参照レビューポイントのカバレッジを想起する。
本研究では,品質ラベル付きレビューポイントデータセットPaperSound-23Kを1K ICLRと23Kの人書きレビューポイントを用いて構築する。
このデータセットを用いて、AIレビュアモデルであるPaperCriticをF1の精度スコアで強化学習し、リコールを報酬としてトレーニングする。
実験の結果,PaperCriticはドメイン内テストセット上で,他のAIレビュアートレーニング手法でトレーニングしたフロンティアモデルやモデルよりも優れていることがわかった。
驚いたことに、ICLRの申請をレビューする学習は、Nature- Familyの論文のレビューやドメイン外のレビュータスク(コードレビュー、法的契約レビュー、ストーリーライティングに関するフィードバックなど)にも移行します。
関連論文リスト
- Can We Believe AI Peer Review? [20.813226720722003]
ICLR 2025と2026の200論文と約14,000のAIレビューを用いて、スコア信頼性、スコア分布推定、リビジョンゲインに関するクロスモデル合意について検討した。
有限粒度スコアリングプロトコルはスコアのばらつきを低減させるが、平均スコアを体系的にシフトさせる一方、原稿リビジョンに割り当てられた利得はレビュアーに強く依存する。
論文 参考訳(メタデータ) (2026-10-14T00:27:05Z) - Judging a Review by its Cover: A Reliability Analysis of LLM-based Peer Review Evaluation Metrics [13.687981034782517]
ピアレビュー評価指標が,表層言語以外の実体的レビュー品質をキャプチャするかどうかを検証するためのフレームワークを提案する。
我々は,文章やプレゼンテーションを変えながら,同じ評価内容を保持する忠実なLLMリライトと,オリジナルの人間レビューを比較した。
これらの結果から,多くのピアレビュー評価指標がレビュー品質と言語的プレゼンテーションを部分的に説明していることが明らかとなった。
論文 参考訳(メタデータ) (2026-09-20T00:49:57Z) - When AI Reviews Train AI Reviewers: Scientific-Judgment Collapse and Mitigation [50.90087870200793]
大規模言語モデル(LLM)は、科学的な評価にますます参加している。
このフィードバックループの1ステップを制御された環境で研究する。
TrustReviewerは、AIと機械学習論文のピアレビューを生成するための、オープンソースのシステムである。
論文 参考訳(メタデータ) (2026-09-17T18:01:08Z) - ActReview: Rebuttal-Guided Training Data and Rubric Rewards for Actionable Peer Review Generation [54.82704239643649]
本稿では, 紙固有の診断と具体的, 基礎的なリビジョン計画とを結びつける, 反感に満ちたポストトレーニングフレームワークである ActReview を紹介する。
我々の中心的な洞察は、著者の反論は、レビュアーの懸念に対処するための妥当な行動を明らかにし、それゆえ、リビジョン指向のフィードバックに対する潜在的な監督を提供することができるということである。
またActReview-Benchは、診断品質とリビジョンの有用性を評価するために、1,000インスタンスの人為的なベンチマークである。
論文 参考訳(メタデータ) (2026-09-08T17:30:16Z) - AI-Assisted Peer Review Across Research Communities: From Reviewer AI Policies to LLM Review Quality [39.33746637947531]
我々は、主要なAI/NLPカンファレンスと医療雑誌111社を対象に、レビュアーが直面するAIポリシーを調査した。
ICLR 2026とNature CommunicationsのAI生成ピアレビューを,新しいデータセットを用いて評価した。
論文 参考訳(メタデータ) (2026-08-04T12:34:47Z) - Beyond Rating: A Comprehensive Evaluation and Benchmark for AI Reviews [69.66583722746904]
私たちは、AIレビュアーを5次元にわたって評価する総合的な評価フレームワークであるBeyond Ratingを紹介します。
本稿では,専門家の不一致に対応するためのMax-Recall戦略を提案する。
提案したテキスト中心の指標は、特に弱みの議論のリコールであり、評価精度と強く相関している。
論文 参考訳(メタデータ) (2026-04-21T14:21:15Z) - Ranking Scientific Papers Using Preference Learning [48.78161994501516]
我々はこれをピアレビューテキストとレビュアースコアに基づく論文ランキング問題とみなした。
ピアレビューに基づいて最終決定を行うための,新しい多面的総合評価フレームワークを提案する。
論文 参考訳(メタデータ) (2021-09-02T19:41:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。