論文の概要: Comparative Evaluation of LLM-Based Review Paradigms for Academic Paper Quality Assessment

• arxiv url: http://arxiv.org/abs/2610.41391v1
• Date: Fri, 30 Oct 2026 08:02:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-02 22:05:31.652899
• Title: Comparative Evaluation of LLM-Based Review Paradigms for Academic Paper Quality Assessment
• Title（参考訳）: 学術用紙品質評価のためのLCMに基づくレビューパラダイムの比較評価
• Abstract要約: 我々は、3つの入力表現と3つのLLMの5つのパラダイムを232 ICLR 2025のサブミッションで評価した。 直接絶対評価は、ランクと人間のスコアとの相関でランク付けされるが、ほとんどの予測は受理しきい値より上である。 グループレーティングは、人間のスコアを制御した後、その引用相関を維持し、受け入れられたプールの中でのみランク付けする。
• 参考スコア（独自算出の注目度）: 24.061829353805564
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Growing submission volumes have renewed interest in using large language models (LLMs) to support peer review. It remains unclear how such evaluation should be structured, how much the model matters, and whether LLM scores predict research impact. We evaluate five paradigms across three input representations and three LLMs on 232 stratified ICLR 2025 submissions. Direct absolute rating matches comparative ranking on rank correlation with human scores, yet compresses most predictions above the accept threshold, flagging almost none of the papers reviewers scored below it. A base-rate-matched recalibration control locates the cause: comparative ranking supplies placement, not better ordering, and after recalibration Direct Rating reaches higher agreement than Elo while making 24% as many API calls. Abstract-only input beats full-paper summarization, and model choice matters as much as paradigm choice. Replicating on all 11,513 scored submissions reproduces these patterns, shows absolute agreement depends on the evaluated set's score spread, and finds none beating an always-reject baseline in accuracy. Human scores track citations better than any paradigm, with one exception: Group Rating retains its citation correlation after controlling for human scores, and alone ranks within the accepted pool. Ranking quality alone cannot assess review quality; calibration, thresholds, model, and target outcome all matter.
• Abstract（参考訳）: 論文数の増加は、ピアレビューをサポートするために、大きな言語モデル(LLM)の使用に新たな関心を寄せている。 このような評価がどのように構成されるべきか、モデルがどの程度重要か、LLMスコアが研究効果を予測するかどうかはまだ不明である。 3つの入力表現と3つのLDMの5つのパラダイムを、232の階層化ICLR 2025のサブミッション上で評価した。 直接絶対評価は、ランクと人間のスコアとの相関でランク付けされるが、ほとんどの予測を受理閾値より上まで圧縮し、その下にある論文審査員のほとんどをフラグ付けする。 基準レートに適合したリカレーション制御は、次の原因を特定する: 比較ランク付けは、より優れた順序付けではなく、より良い順序付けを提供し、そして、リカレーション後のダイレクトレーティングは、Eloよりも高い合意に達し、API呼び出しの24%を達成している。 抽象のみの入力は全紙要約に勝り、モデル選択はパラダイム選択と同じくらい重要である。 11,513点の入出力を複製すると、これらのパターンが再現され、絶対的な一致は評価セットのスコアの拡散に依存することが示され、常にリジェクトされたベースラインを精度で上回らないことが分かる。 グループレーティング(Group Rating)は、人間のスコアを制御した後も、その引用相関を保ち、受け入れられたプールの中でのみランク付けする。 ランク付け品質だけでは、キャリブレーション、しきい値、モデル、目標とする結果など、レビューの品質を評価することはできません。

関連論文リスト

• Vision-Language Models for Criterion-Level Grading of Handwritten Examinations in Outcome-Based Education [0.3686530147760243]
  本研究は手書き結果に基づく評価のための視覚言語モデルを評価する。 Qwen2.5-VL、InternVL3、Pixtral、Donutベースライン、カスケードアンサンブルにまたがる20の構成を比較した。
  論文  参考訳（メタデータ） (2026-09-13T04:55:55Z)
• Intelligence Is Not the Bottleneck: Validating an LLM First-Pass Manuscript Score Against Peer-Review Outcomes [0.0]
  大規模言語モデル(LLM)システムは、ピアレビューを支援するためにますます提案されている。 ほとんどの評価は、システムが割り当てる数値スコアの妥当性ではなく、機械生成レビューテキストの散文を判断する。 提案した原稿を読み取って5つの0-100品質ディメンションと重み付き総合スコアを出力するAIPRを検証する。
  論文  参考訳（メタデータ） (2026-06-14T16:13:15Z)
• Reviewer Scores Are Not Comparable Across Research Areas in ML Peer Review [5.466519893996914]
  このポジションペーパーでは、受理結果はレビュアースコアを超えた力によって形成されていると論じている。 いずれのレビュアースコアにおいても,論文の受理確率はトピックによって最大8倍に変化することを示す。 我々は,プログラム委員会に対して,本来比較不可能なレビュー信号を採用し,トピックを定式化したスコア条件の受け入れ率を公開するよう求めた。
  論文  参考訳（メタデータ） (2026-04-30T10:54:54Z)
• PeerRank: Autonomous LLM Evaluation Through Web-Grounded, Bias-Controlled Peer Review [1.2178992475191557]
  完全自律的なエンドツーエンド評価フレームワークであるPeerRankを紹介します。 モデルは評価タスクを生成し、カテゴリスコープによるライブWebグラウンドで答える。 PeerRankは評価を、各モデルがタスクデザイナ、応答者、評価者として対称に参加するマルチエージェントプロセスとして扱う。
  論文  参考訳（メタデータ） (2026-02-01T06:01:28Z)
• Reference-Free Rating of LLM Responses via Latent Information [53.463883683503106]
  本研究では,判断モデルに対して,自由テキスト応答にQuattスケールのスコアを割り当てるよう依頼する一般的な実践について検討する。 次に、内部モデル信号からスカラー評価を導出する潜在裁判官を提案し、評価する。 ペアとシングルレーティングのベンチマークの幅広いスイートの中で、潜在メソッドは標準のプロンプトにマッチするか、超えている。
  論文  参考訳（メタデータ） (2025-09-29T12:15:52Z)
• Pairwise or Pointwise? Evaluating Feedback Protocols for Bias in LLM-Based Evaluation [57.380464382910375]
  評価のためのフィードバックプロトコルの選択は,評価信頼性に大きく影響し,系統的なバイアスを生じさせることを示す。 ジェネレータモデルは、気を散らす機能を埋め込むことで好みをひっくり返すことができる。 我々は,データセットの特徴と評価目標に基づくフィードバックプロトコルの選択を推奨する。
  論文  参考訳（メタデータ） (2025-04-20T19:05:59Z)
• Large Language Models are not Fair Evaluators [60.27164804083752]
  候補回答の品質ランキングは,文脈の出現順序を変えることで容易にハックできることがわかった。 この操作により、評価結果をスキューし、一方のモデルを他方よりもかなり優れているようにすることができる。 この問題を緩和するための3つのシンプルかつ効果的な戦略を持つフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-05-29T07:41:03Z)
• Revisiting the Gold Standard: Grounding Summarization Evaluation with Robust Human Evaluation [136.16507050034755]
  要約のための既存の人間の評価研究は、アノテータ間の合意が低かったり、スケールが不十分だったりしている。 細粒度セマンティック・ユニットをベースとした改良された要約サリエンス・プロトコルであるAtomic Content Units (ACUs)を提案する。 ロバスト・サムライゼーション・アセスメント(RoSE)ベンチマークは,28の上位性能システム上で22,000の要約レベルのアノテーションからなる大規模な人的評価データセットである。
  論文  参考訳（メタデータ） (2022-12-15T17:26:05Z)
• Integrating Rankings into Quantized Scores in Peer Review [61.27794774537103]
  ピアレビューでは、レビュアーは通常、論文のスコアを提供するように求められます。 この問題を軽減するため、カンファレンスはレビュアーにレビューした論文のランキングを付加するように求め始めている。 このランキング情報を使用するための標準的な手順はなく、エリアチェアは異なる方法でそれを使用することができる。 我々は、ランキング情報をスコアに組み込むために、原則化されたアプローチを取る。
  論文  参考訳（メタデータ） (2022-04-05T19:39:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。