論文の概要: Can AI Be a Good Peer Reviewer? A Survey of Peer Review Process, Evaluation, and the Future
- arxiv url: http://arxiv.org/abs/2604.27924v2
- Date: Fri, 01 May 2026 21:57:24 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-05 14:09:07.08433
- Title: Can AI Be a Good Peer Reviewer? A Survey of Peer Review Process, Evaluation, and the Future
- Title（参考訳）: AIは優れたピアレビューアになれるか? ピアレビュープロセス, 評価, 未来調査
- Abstract要約: 大規模言語モデル(LLM)は、ピアレビュープロセスの異なる段階を支援または自動化する動機付けの手法である。
我々は、(i)ピアレビュー生成のためのテクニックを合成し、微調整戦略、エージェントベースシステム、RLベースの手法、そして生成を強化する新しいパラダイムを合成する。
データセットをカタログ化し、モデリングの選択を比較し、制限、倫理的懸念、今後の方向性について議論します。
- 参考スコア（独自算出の注目度）: 50.89292049215399
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Peer review is a multi-stage process involving reviews, rebuttals, meta-reviews, final decisions, and subsequent manuscript revisions. Recent advances in large language models (LLMs) have motivated methods that assist or automate different stages of this pipeline. In this survey, we synthesize techniques for (i) peer review generation, including fine-tuning strategies, agent-based systems, RL-based methods, and emerging paradigms to enhance generation; (ii) after-review tasks including rebuttals, meta-review and revision aligned to reviews; and (iii) evaluation methods spanning human-centered, reference-based, LLM-based and aspect-oriented. We catalog datasets, compare modeling choices, and discuss limitations, ethical concerns, and future directions. The survey aims to provide practical guidance for building, evaluating, and integrating LLM systems across the full peer review workflow.
- Abstract（参考訳）: Peer Reviewは、レビュー、リビュー、メタレビュー、最終決定、そしてその後の原稿リビジョンを含む、多段階のプロセスである。
大規模言語モデル(LLM)の最近の進歩は、パイプラインの異なるステージをアシストまたは自動化する動機付けされた方法である。
このサーベイでは、我々は技法を合成する。
一 微調整戦略、エージェント・ベース・システム、RL法及び創成を促進する新興パラダイムを含むピア・レビュー・ジェネレーション
二 意見書、メタレビュー及びレビューに適合した改訂を含む事後審査業務
3)人間中心,参照ベース,LCMベース,アスペクト指向を対象とする評価手法について検討する。
データセットをカタログ化し、モデリングの選択を比較し、制限、倫理的懸念、今後の方向性について議論します。
この調査は、完全なピアレビューワークフロー全体にわたってLLMシステムの構築、評価、統合のための実践的なガイダンスを提供することを目的としている。
関連論文リスト
- Beyond "Not Novel Enough": Enriching Scholarly Critique with LLM-Assisted Feedback [81.0031690510116]
本稿では,3段階を通して専門家レビューアの動作をモデル化する,自動ノベルティ評価のための構造化アプローチを提案する。
本手法は,人文のノベルティレビューを大規模に分析した結果から得られたものである。
182 ICLR 2025 の提出で評価されたこの手法は、人間の推論と86.5%の一致と、新規性の結論に関する75.3%の合意を達成している。
論文 参考訳（メタデータ） (2025-08-14T16:18:37Z) - Decision-Making with Deliberation: Meta-reviewing as a Document-grounded Dialogue [61.0689885044492]
メタリビューアを効果的に支援できるダイアログエージェントを実現する上での課題について検討する。
まず,対話エージェントの訓練におけるデータ不足の問題に対処する。
このデータを用いて、メタレビューに適した対話エージェントを訓練する。
論文 参考訳（メタデータ） (2025-08-07T11:27:43Z) - SCAN: Structured Capability Assessment and Navigation for LLMs [54.54085382131134]
textbfSCAN (Structured Capability Assessment and Navigation) は、大規模言語モデルの詳細な特徴付けを可能にする実用的なフレームワークである。
SCANには4つの重要なコンポーネントが含まれている。
TaxBuilder – クエリから機能表示タグを抽出して階層的な分類構造を構築する。
RealMixは、各機能タグに対する十分な評価データを保証するクエリ合成とフィルタリングのメカニズムである。
PC$2$ベースのLCM-as-a-Judge法は従来のLCM-as-a-Judge法と比較して大幅に精度が向上する
論文 参考訳（メタデータ） (2025-05-10T16:52:40Z) - Identifying Aspects in Peer Reviews [59.02879434536289]
我々は、ピアレビューのコーパスからアスペクトを抽出するデータ駆動スキーマを開発した。
我々は、アスペクトを付加したピアレビューのデータセットを導入し、コミュニティレベルのレビュー分析にどのように使用できるかを示す。
論文 参考訳（メタデータ） (2025-04-09T14:14:42Z) - Training an LLM-as-a-Judge Model: Pipeline, Insights, and Practical Lessons [9.954960702259918]
本稿では,文脈認識評価を行うLLM(en:en:en:en:en:en:en:en:LLMs)ジャッジであるThemisを紹介する。
Themisの開発パイプラインの概要を概観し、シナリオに依存した評価プロンプトを強調します。
メタ評価のための人間ラベル付きベンチマークを2つ導入し、テミスが人間の嗜好を経済的に高度に調整できることを実証した。
論文 参考訳（メタデータ） (2025-02-05T08:35:55Z) - MME-Survey: A Comprehensive Survey on Evaluation of Multimodal LLMs [97.94579295913606]
MLLM(Multimodal Large Language Models)は、産業と学術の両方から注目を集めている。
開発プロセスでは、モデルの改善に関する直感的なフィードバックとガイダンスを提供するため、評価が重要である。
この研究は、研究者に異なるニーズに応じてMLLMを効果的に評価する方法を簡単に把握し、より良い評価方法を促すことを目的としている。
論文 参考訳（メタデータ） (2024-11-22T18:59:54Z) - Peer Review as A Multi-Turn and Long-Context Dialogue with Role-Based Interactions [62.0123588983514]
大規模言語モデル(LLM)は様々な分野にまたがる幅広い応用を実証してきた。
我々は、ピアレビュープロセスを多ターン長文対話として再構築し、著者、レビュアー、意思決定者に対して異なる役割を担っている。
複数の情報源から収集された92,017件のレビューを含む26,841件の論文を含む包括的データセットを構築した。
論文 参考訳（メタデータ） (2024-06-09T08:24:17Z) - Towards Better Evaluation of Instruction-Following: A Case-Study in
Summarization [9.686937153317809]
本研究では,多種多様なメトリクスのメタ評価を行い,大規模言語モデルの指示追従能力の精度を定量的に評価する。
riSumを用いて評価方法と人的判断の一致を分析した。
論文 参考訳（メタデータ） (2023-10-12T15:07:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。