論文の概要: SurveyReview: A Reviewer-Aligned Benchmark for Survey Evaluators

• arxiv url: http://arxiv.org/abs/2608.07641v1
• Date: Fri, 07 Aug 2026 16:11:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-11 19:16:36.46898
• Title: SurveyReview: A Reviewer-Aligned Benchmark for Survey Evaluators
• Title（参考訳）: SurveyReview: 調査評価者のためのレビューア対応ベンチマーク
• Abstract要約: SurveyReviewは、調査評価のためのレビューアラインで多次元のベンチマークとデータセットである。 我々は、自由形式のコメントを4次元のスコアに変換することによって、ピアレビューレポートを構築する。 我々は,自動評価器と人間レビュアーのアライメントを測定するための,標準化された列車/テスト分割と評価プロトコルをリリースする。
• 参考スコア（独自算出の注目度）: 50.129606229339146
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The rapid advancement of large language models has transformed survey writing from a months-long manual effort into an automated process. As generation scales, reliable evaluation becomes the bottleneck, and LLMs are increasingly used as survey evaluators. However, existing approaches largely rely on off-the-shelf LLM-as-a-judge methods without systematic alignment to human reviewers, and there remains a lack of systematic frameworks for quantifying alignment with human reviewers. To address this gap, we propose SurveyReview, a reviewer-aligned, multi-dimensional benchmark and dataset for survey evaluation. We collect and annotate 675 survey papers with 1,630 review reports. We structure authentic peer-review reports by converting free-form comments into four-dimensional scores (Readability, Criticalness, Comprehensiveness, Structure) paired with supporting rationales. We further release standardized train/test splits and an evaluation protocol to measure alignment between automatic evaluators and human reviewers. To validate the benchmark, we develop SurveyAlign, a strong baseline evaluator by fine-tuning Qwen3-32B with LoRA on our annotated data, augmented with external knowledge for knowledge-intensive dimensions. On the test set, SurveyAlign substantially improves reviewer alignment over prompt-based judging with GPT-5.2, reducing average MSE from 2.28 to 1.38 and MAE from 1.15 to 0.69 across all four dimensions. Our contributions are twofold: (1) we establish the first multi-dimensional, reviewer-aligned dataset with a reproducible evaluation framework for survey reviewing; (2) we develop a strong baseline evaluator that substantially improves alignment with human reviewers, providing a competitive reference for future research. Our code and data are available at https://surveyreview.github.io
• Abstract（参考訳）: 大きな言語モデルの急速な進歩は、調査の執筆を1ヶ月にわたる手作業から自動化されたプロセスへと変えた。 世代規模が大きくなるにつれ、信頼性の高い評価がボトルネックとなり、LCMが調査評価手段としてますます利用されている。 しかし、既存のアプローチは、人間レビュアーと体系的な整合性を持たず、既成のLCM-as-a-judge法に大きく依存しており、人間レビュアーとの整合性を定量化するための体系的な枠組みが欠けている。 このギャップに対処するために、レビューアライメントされた多次元ベンチマークと、調査評価のためのデータセットであるSurveyReviewを提案する。 我々は675件の調査結果と1,630件のレビュー報告を収集・注釈した。 我々は,自由形式のコメントを4次元のスコア(可読性,臨界性,包括性,構造)に変換することによって,真のピアレビューレポートを構築する。 さらに,自動評価器と人間レビュアーのアライメントを測定するための,標準化された列車/テストスプリットと評価プロトコルをリリースする。 このベンチマークを検証するために,ロラでQwen3-32Bを微調整し,知識集約次元の外部知識を付加した強力なベースライン評価器であるSurveyAlignを開発した。 テストセットでは、SurveyAlign は GPT-5.2 によるプロンプトベースの判定よりもレビューアライメントを大幅に改善し、平均 MSE を 2.28 から 1.38 に、MAE を 1.15 から 0.69 に減らした。 コントリビューションは2つある: 1) 調査レビューのための再現可能な評価フレームワークを備えた最初の多次元レビュア・ア・ア・データセットを確立する; (2) 人間のレビュアとのアライメントを大幅に改善する強力なベースライン評価器を開発し、将来の研究に競争的な基準を提供する。 私たちのコードとデータはhttps://surveyreview.github.ioで公開されています。

関連論文リスト

• ReviewGrounder: Improving Review Substantiveness with Rubric-Guided, Tool-Integrated Agents [50.27474750319121]
  公式ガイドライン、論文の内容、人間によるレビューから派生した、紙固有のルーリックに従ってテキストをレビューする。 本稿では、公式ガイドライン、論文の内容、人手によるレビューに基づいて、レビューテキストを評価するベンチマークであるREVIEWBENCHを紹介する。 本稿では,レビューを起草段階と接地段階に分解するルーリック誘導ツール統合マルチエージェントフレームワークであるREVIEWGROUNDERを提案する。
  論文  参考訳（メタデータ） (2026-04-15T16:33:04Z)
• Foundational Automatic Evaluators: Scaling Multi-Task Generative Evaluator Training for Reasoning-Centric Domains [97.5573252172065]
  自動推論評価器(FARE)のファミリーを,簡易な反復的リジェクションサンプリング制御による微調整手法で訓練する。 FARE-8Bはより大型のRL訓練評価器に挑戦し、FARE-20Bはオープンソース評価器の新しい標準となる。 推論時リランカとして、FARE-20BはMATH上でのニアオークル性能を達成する。
  論文  参考訳（メタデータ） (2025-10-20T17:52:06Z)
• SCAN: Structured Capability Assessment and Navigation for LLMs [54.54085382131134]
  textbfSCAN (Structured Capability Assessment and Navigation) は、大規模言語モデルの詳細な特徴付けを可能にする実用的なフレームワークである。 SCANには4つの重要なコンポーネントが含まれている。 TaxBuilder – クエリから機能表示タグを抽出して階層的な分類構造を構築する。 RealMixは、各機能タグに対する十分な評価データを保証するクエリ合成とフィルタリングのメカニズムである。 PC$2$ベースのLCM-as-a-Judge法は従来のLCM-as-a-Judge法と比較して大幅に精度が向上する
  論文  参考訳（メタデータ） (2025-05-10T16:52:40Z)
• Automatic Legal Writing Evaluation of LLMs [10.74636407144071]
  oab-benchは、最近の試験版から7つの分野にわたる105の質問からなるベンチマークである。 Claude-3.5 Sonnetは10点中平均スコア7.93点で21点の試験に合格した。 実験の結果,OpenAIのo1のようなフロンティアモデルでは,承認試験の評価において,人間のスコアと強い相関が得られた。
  論文  参考訳（メタデータ） (2025-04-29T22:16:39Z)
• CompassJudger-1: All-in-one Judge Model Helps Model Evaluation and Evolution [74.41064280094064]
  textbfJudger-1は、最初のオープンソースのtextbfall-in-one judge LLMである。 CompassJudger-1は、優れた汎用性を示す汎用LLMである。 textbfJudgerBenchは、様々な主観評価タスクを含む新しいベンチマークである。
  論文  参考訳（メタデータ） (2024-10-21T17:56:51Z)
• Benchmarking Foundation Models with Language-Model-as-an-Examiner [47.345760054595246]
  本稿では,新しいベンチマークフレームワークLanguage-Model-as-an-Examinerを提案する。 LMは、その知識に基づいて質問を定式化し、基準のない方法で応答を評価する、知識に富んだ検査者として機能する。
  論文  参考訳（メタデータ） (2023-06-07T06:29:58Z)
• Revisiting the Gold Standard: Grounding Summarization Evaluation with Robust Human Evaluation [136.16507050034755]
  要約のための既存の人間の評価研究は、アノテータ間の合意が低かったり、スケールが不十分だったりしている。 細粒度セマンティック・ユニットをベースとした改良された要約サリエンス・プロトコルであるAtomic Content Units (ACUs)を提案する。 ロバスト・サムライゼーション・アセスメント(RoSE)ベンチマークは,28の上位性能システム上で22,000の要約レベルのアノテーションからなる大規模な人的評価データセットである。
  論文  参考訳（メタデータ） (2022-12-15T17:26:05Z)
• SummEval: Re-evaluating Summarization Evaluation [169.622515287256]
  総合的かつ一貫した方法で14の自動評価指標を再評価する。 上記の自動評価指標を用いて,最近の要約モデル23をベンチマークした。 我々は、CNN/DailyMailニュースデータセットでトレーニングされたモデルによって生成された最大の要約コレクションを組み立てる。
  論文  参考訳（メタデータ） (2020-07-24T16:25:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。