論文の概要: LitReview Arena: Evaluating Literature Review Agents with Battle-Style Peer Review Platform
- arxiv url: http://arxiv.org/abs/2608.21374v1
- Date: Wed, 01 Jul 2026 14:54:07 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-28 05:09:55.317208
- Title: LitReview Arena: Evaluating Literature Review Agents with Battle-Style Peer Review Platform
- Title（参考訳）: LitReview Arena:Battle-Style Peer Review Platformによる文献レビューエージェントの評価
- Abstract要約: 文献レビュー品質に適した構造化プロトコルを備えた戦闘型評価プラットフォームであるLitReview Arenaを紹介する。
AIのペーパーライティング経験を持つドメインエキスパートは、匿名化されたドラフトを比較し、専門分野のトピックにマッチする。
このプロトコルから,約3kの専門的判断を収集し,それぞれが5次元的な結果を含む。
- 参考スコア（独自算出の注目度）: 13.086691381971441
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Literature reviews are essential to scientific progress, but rigorously evaluating automatically generated reviews remains difficult because many aspects of research utility depend on expert judgment rather than reference-overlap metrics. We introduce LitReview Arena, a battle-style evaluation platform with a structured protocol tailored to literature review quality: domain experts with AI paper-writing experience compare anonymized drafts, are matched to topics within their expertise, and provide dimension-wise outcomes over five literature-review-specific criteria. From this protocol, we collect approximately 3k expert judgments, each containing five dimension-wise outcomes, and show that even the strongest current systems win only 23.0% of decisive matches against human drafts on overall utility, while agentic LLMs such as Sonar Deep Research substantially outperform base language models by over 60%. We further find that existing LLM-as-a-judge methods are substantially misaligned with human experts (Spearman's rho=0.467), especially on synthesis-heavy criteria such as paper structure and research suggestions. Using the collected preference data, we provide an expert-calibrated evaluator, LitJudge, which improves alignment to Spearman's rho=0.78, comparable to inter-expert consistency; code and data are publicly available at https://github.com/VanellopeAsher/LitReview-Arena.
- Abstract（参考訳）: 文献レビューは科学的進歩に欠かせないものであるが、研究ユーティリティの多くの側面は基準オーバーラップの指標よりも専門家の判断に依存しているため、自動生成されたレビューを厳格に評価することは依然として困難である。
文献レビュー品質に合わせた構造化されたプロトコルを備えたバトルスタイルの評価プラットフォームであるLitReview Arenaを紹介した。AIのペーパーライティング経験を持つドメインエキスパートは、匿名化されたドラフトを比較し、専門分野のトピックにマッチし、5つの文献レビュー固有の基準を越えて、次元的な結果を提供する。
このプロトコルから,5次元の成果を含む約3kの専門的判断を収集し,最強の現行システムでさえ,全体の実用性に関する人的ドラフトに対して23.0%の得票率しか得られず,Sonar Deep ResearchなどのエージェントLLMはベース言語モデルを大幅に60%以上上回っていることを示す。
さらに,既存のLSM-as-a-judge法は,特に紙構造や研究提案などの合成重度基準において,人的専門家(Spearman's rho=0.467)とほぼ一致していないことが判明した。
収集した選好データを用いて、スペアマンのrho=0.78との整合性を改善する専門家校正評価ツールであるLitJudgeを提供し、コードとデータはhttps://github.com/VanellopeAsher/LitReview-Arenaで公開されている。
関連論文リスト
- Judging a Review by its Cover: A Reliability Analysis of LLM-based Peer Review Evaluation Metrics [13.687981034782517]
ピアレビュー評価指標が,表層言語以外の実体的レビュー品質をキャプチャするかどうかを検証するためのフレームワークを提案する。
我々は,文章やプレゼンテーションを変えながら,同じ評価内容を保持する忠実なLLMリライトと,オリジナルの人間レビューを比較した。
これらの結果から,多くのピアレビュー評価指標がレビュー品質と言語的プレゼンテーションを部分的に説明していることが明らかとなった。
論文 参考訳（メタデータ） (2026-09-20T00:49:57Z) - ReviewerToo: Should AI Join The Program Committee? A Look At The Future of Peer Review [23.630458187587223]
ReviewerTooは、AI支援ピアレビューの研究とデプロイのためのフレームワークである。
専門的なレビュアー・ペルソナと構造化された評価基準による体系的な実験を支援する。
私たちは、複雑な評価判断をドメインの専門家に任せながら、AIが一貫性、カバレッジ、公平性を高める方法を示します。
論文 参考訳（メタデータ） (2025-10-09T23:53:19Z) - Unveiling the Merits and Defects of LLMs in Automatic Review Generation for Scientific Papers [4.455306283717651]
科学論文の急増は、従来のピアレビュープロセスに緊張を増している。
本稿では,意味的類似性分析と構造化知識グラフメトリクスを統合した総合評価フレームワークを提案する。
ICLRとNeurIPSによる1,683の論文と6,495の専門家レビューのベンチマークを数年間にわたって構築し、5つの大きな言語モデルを用いてレビューを生成する。
論文 参考訳（メタデータ） (2025-09-13T19:15:22Z) - Beyond "Not Novel Enough": Enriching Scholarly Critique with LLM-Assisted Feedback [81.0031690510116]
本稿では,3段階を通して専門家レビューアの動作をモデル化する,自動ノベルティ評価のための構造化アプローチを提案する。
本手法は,人文のノベルティレビューを大規模に分析した結果から得られたものである。
182 ICLR 2025 の提出で評価されたこの手法は、人間の推論と86.5%の一致と、新規性の結論に関する75.3%の合意を達成している。
論文 参考訳（メタデータ） (2025-08-14T16:18:37Z) - Expert Preference-based Evaluation of Automated Related Work Generation [54.29459509574242]
本稿では,従来の作業評価基準と専門家固有の嗜好を統合したマルチターン評価フレームワークGREPを提案する。
より優れたアクセシビリティを実現するため、我々はGREPの2つの変種を設計する: プロプライエタリなLLMを評価対象とするより正確な変種と、オープンウェイトなLLMをより安価な代替品である。
論文 参考訳（メタデータ） (2025-08-11T13:08:07Z) - exHarmony: Authorship and Citations for Benchmarking the Reviewer Assignment Problem [11.763640675057076]
明示的なラベルを必要とせずにレビュアー代入問題を評価するためのベンチマークデータセットを開発した。
従来の語彙マッチング、静的なニューラル埋め込み、文脈化されたニューラル埋め込みなど、さまざまな手法をベンチマークする。
本研究は,従来の手法が合理的に良好に機能する一方で,学術文献で訓練された文脈的埋め込みが最高の性能を示すことを示すものである。
論文 参考訳（メタデータ） (2025-02-11T16:35:04Z) - A Literature Review of Literature Reviews in Pattern Analysis and Machine Intelligence [51.26815896167173]
本稿では,3つの相補的な側面からPAMIレビューを総合的に分析する。
我々の分析は、現在のレビューの実践において、独特の組織パターンと永続的なギャップを明らかにします。
最後に、最先端のAI生成レビューの評価は、コヒーレンスと組織の進歩を奨励していることを示している。
論文 参考訳（メタデータ） (2024-02-20T11:28:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。