論文の概要: ScholarPeer: A Context-Aware Multi-Agent Framework for Automated Peer Review
- arxiv url: http://arxiv.org/abs/2601.22638v1
- Date: Fri, 30 Jan 2026 06:54:55 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-02-02 18:28:15.283889
- Title: ScholarPeer: A Context-Aware Multi-Agent Framework for Automated Peer Review
- Title(参考訳): ScholarPeer: 自動ピアレビューのためのコンテキスト対応マルチエージェントフレームワーク
- Authors: Palash Goyal, Mihir Parmar, Yiwen Song, Hamid Palangi, Tomas Pfister, Jinsung Yoon,
- Abstract要約: ScholarPeerは、上級研究者の認知過程をエミュレートするために設計された、検索可能なマルチエージェントフレームワークである。
We evaluate ScholarPeer on DeepReview-13K and the results showed that ScholarPeer achieve significant win-rates against state-of-the-art approach in side-side-side evaluations。
- 参考スコア(独自算出の注目度): 48.60540055009675
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Automated peer review has evolved from simple text classification to structured feedback generation. However, current state-of-the-art systems still struggle with "surface-level" critiques: they excel at summarizing content but often fail to accurately assess novelty and significance or identify deep methodological flaws because they evaluate papers in a vacuum, lacking the external context a human expert possesses. In this paper, we introduce ScholarPeer, a search-enabled multi-agent framework designed to emulate the cognitive processes of a senior researcher. ScholarPeer employs a dual-stream process of context acquisition and active verification. It dynamically constructs a domain narrative using a historian agent, identifies missing comparisons via a baseline scout, and verifies claims through a multi-aspect Q&A engine, grounding the critique in live web-scale literature. We evaluate ScholarPeer on DeepReview-13K and the results demonstrate that ScholarPeer achieves significant win-rates against state-of-the-art approaches in side-by-side evaluations and reduces the gap to human-level diversity.
- Abstract(参考訳): 自動ピアレビューは、単純なテキスト分類から構造化されたフィードバック生成へと進化してきた。
しかし、現在の最先端のシステムは、コンテンツの要約に長けているが、人間の専門家が持つ外部の文脈が欠如しているため、新規性や重要性を正確に評価したり、深い方法論上の欠陥を特定できないことも多い。
本稿では,上級研究者の認知過程をエミュレートした検索可能なマルチエージェントフレームワークであるScholarPeerを紹介する。
ScholarPeerは、コンテキスト取得とアクティブな検証というデュアルストリームプロセスを採用している。
ヒストリエージェントを使用してドメインの物語を動的に構築し、ベースライン・スカウトを介して欠落した比較を識別し、マルチアスペクトのQ&Aエンジンを通じてクレームを検証する。
We evaluate ScholarPeer on DeepReview-13K and the results showed that ScholarPeer achieve significant win-rates against State-of-the-art approach in side-side-side evaluations and reduce the gap to human-level diversity。
関連論文リスト
- ARISE: Agentic Rubric-Guided Iterative Survey Engine for Automated Scholarly Paper Generation [7.437989615069771]
ARISEは、学術調査論文の自動生成と継続的改善のためのエージェント誘導反復調査エンジンである。
ARISEは、特定の大規模言語モデルエージェントで構成されたモジュラーアーキテクチャを採用し、それぞれがトピック拡張、引用キュレーション、文学要約、原稿の草稿作成、ピアレビューに基づく評価などの学術的な役割を反映している。
ARISEは、包括性、正確性、フォーマッティング、総合的な学術的厳密さの指標にまたがる基準的手法を一貫して超越している。
論文 参考訳(メタデータ) (2025-11-21T14:14:35Z) - Self-evolving expertise in complex non-verifiable subject domains: dialogue as implicit meta-RL [0.0]
いわゆる「邪悪な問題」は、複雑な多次元の設定、検証不可能な結果、不均一な影響、客観的に正しい答えの欠如など、歴史を通じて人類を悩ませてきた。
現状の人工知能システム(特にLarge Language Modelベースのエージェント)は、そのような問題を解決するために人間と共同で研究されている。
この研究は、Dialecticaとのギャップに対処する。これは、エージェントが定義されたトピックに関する構造化された対話に従事し、メモリによる拡張、自己回帰、ポリシーに制約のあるコンテキスト編集を行うフレームワークである。
論文 参考訳(メタデータ) (2025-10-17T15:59:44Z) - RelevAI-Reviewer: A Benchmark on AI Reviewers for Survey Paper Relevance [0.8089605035945486]
本稿では,調査論文レビューの課題を分類問題として概念化するシステムであるRelevAI-Reviewerを提案する。
25,164のインスタンスからなる新しいデータセットを導入する。各インスタンスには1つのプロンプトと4つの候補論文があり、それぞれがプロンプトに関連している。
我々は,各論文の関連性を判断し,最も関連性の高い論文を識別できる機械学習(ML)モデルを開発した。
論文 参考訳(メタデータ) (2024-06-13T06:42:32Z) - A Literature Review of Literature Reviews in Pattern Analysis and Machine Intelligence [51.26815896167173]
本稿では,3つの相補的な側面からPAMIレビューを総合的に分析する。
我々の分析は、現在のレビューの実践において、独特の組織パターンと永続的なギャップを明らかにします。
最後に、最先端のAI生成レビューの評価は、コヒーレンスと組織の進歩を奨励していることを示している。
論文 参考訳(メタデータ) (2024-02-20T11:28:50Z) - Investigating Fairness Disparities in Peer Review: A Language Model
Enhanced Approach [77.61131357420201]
我々は、大規模言語モデル(LM)の助けを借りて、ピアレビューにおける公平性格差の徹底した厳密な研究を行う。
我々は、2017年から現在までのICLR(International Conference on Learning Representations)カンファレンスで、包括的なリレーショナルデータベースを収集、組み立て、維持しています。
我々は、著作者性別、地理、著作者、機関的名声など、興味のある複数の保護属性に対する公平性の違いを仮定し、研究する。
論文 参考訳(メタデータ) (2022-11-07T16:19:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。