論文の概要: How Closely Do LLM Reviews Align with Human Peer Review?
- arxiv url: http://arxiv.org/abs/2608.03659v1
- Date: Tue, 04 Aug 2026 13:39:36 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-05 15:30:23.222958
- Title: How Closely Do LLM Reviews Align with Human Peer Review?
- Title（参考訳）: LLMは人間のピアレビューとどのように一致しているか?
- Abstract要約: 大規模言語モデル(LLM)は、科学的なレビューを生成するためにますます使われている。
OpenAI GPT-5.4, Google Gemini 3.1 Pro Preview, Anthropic Claude Opus 4.6 のレビューと,300のトピックマッチング ICLR 2026 の提出に関する最終決定を比較した。
本研究は,広義およびきめ細かな決定カテゴリとの整合性,推薦スケールの差異,識別された弱点における主題的合意の3つの相補的次元の相互比較分析に寄与する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large language models (LLMs) are increasingly used to generate scientific reviews, yet existing evaluations rarely examine whether different providers align with both conference decisions and human reviewing priorities within the same controlled setting. We compare reviews from OpenAI GPT-5.4, Google Gemini 3.1 Pro Preview, and Anthropic Claude Opus 4.6 with human reviews and final decisions for 300 topic-matched ICLR 2026 submissions, equally divided among oral, poster, and rejected papers. Each model reviewed every paper using identical instructions and rating scales after decision information was removed. Our study contributes a cross-provider analysis of three complementary dimensions: alignment with broad and fine-grained decision categories, differences in recommendation-scale usage, and thematic agreement in identified weaknesses. All three LLMs distinguished accepted from rejected papers, but none reproduced the oral versus poster distinction present in human ratings. Scoring patterns were provider-specific: Gemini assigned systematically higher ratings, while OpenAI and Claude were closer to humans for rejected and poster papers but more critical of oral papers. Human and LLM reviews also differed in emphasis, with LLMs more frequently identifying missing baseline comparisons and humans more often raising computational-efficiency concerns. These results show that broad decision alignment does not imply agreement with finer human judgments or reviewing priorities.
- Abstract（参考訳）: 大規模言語モデル(LLM)は、科学的なレビューを生成するためにますます使われていますが、既存の評価では、異なるプロバイダが、同じ制御された設定内で、会議の決定と人間のレビューの優先順位の両方に一致しているかどうかを検査することは滅多にありません。
OpenAI GPT-5.4, Google Gemini 3.1 Pro Preview, Anthropic Claude Opus 4.6 のレビューと,300件のトピックマッチング ICLR 2026 の提出に対する人間によるレビューと最終決定を比較した。
各モデルは、決定情報が削除された後、同一の指示と評価尺度を用いて、すべての論文をレビューした。
本研究は,広義およびきめ細かな決定カテゴリとの整合性,推薦スケールの差異,識別された弱点における主題的合意の3つの相補的次元の相互比較分析に寄与する。
3つのLSMはいずれも拒絶された論文から区別されたが、人間格付けに存在する口頭とポスターの区別は再現されなかった。
ジェミニは体系的に高い評価を割り当て、一方OpenAIとClaudeは拒否されたりポスターを貼ったりして人間に近かったが、口頭での論文に批判的であった。
人間とLLMのレビューも強調され、LLMは欠落したベースラインの比較をより頻繁に特定し、人間は計算効率の懸念を頻繁に提起した。
これらの結果は、幅広い意思決定の整合性は、より詳細な人間の判断や優先順位のレビューと一致しないことを示している。
関連論文リスト
- Articulate Intuition or Genuine Analysis? Benchmarking Epistemic Reliability in LLM-as-a-Judge Peer Reviews [37.684628465527545]
我々は、Kahnemanの二重プロセス理論をピアレビューとリリースのための構造化ルーリックとして運用する。
評価基準は3,563で、理論的に動機付けられた9つのテキスト次元、8つのバイアス診断、連続的推論品質スコアで評価された。
論文 参考訳（メタデータ） (2026-07-12T00:03:42Z) - PRISM: A Multi-Dimensional Benchmark for Evaluating LLM Peer Reviewers [30.106132038073138]
PRISMは,4次元にわたるレビュー品質を評価するベンチマークフレームワークである。
我々は、ICLR、ICML、NeurIPSの階層化されたレビューコーパスにおいて、主要な自動レビュアシステムと人間レビュアをベンチマークする。
単一のシステムは、すべての次元にわたる人間のベースラインのバランスの取れた性能を一度に一致させるものはない。
論文 参考訳（メタデータ） (2026-05-26T09:06:27Z) - Stop Automating Peer Review Without Rigorous Evaluation [51.53099943385505]
このポジションペーパーは、今日のAIシステムは、論文レビューの作成に使用すべきではない、と論じている。
1)AIレビュアーは、視点の多様性を低下させる論文内および新聞内における過剰な合意の隠れた効果を示す。
ピアレビューの危機に対処するには、ピアレビューの自動化の科学が必要です。
論文 参考訳（メタデータ） (2026-05-04T22:41:04Z) - Reviewer Scores Are Not Comparable Across Research Areas in ML Peer Review [5.466519893996914]
このポジションペーパーでは、受理結果はレビュアースコアを超えた力によって形成されていると論じている。
いずれのレビュアースコアにおいても,論文の受理確率はトピックによって最大8倍に変化することを示す。
我々は,プログラム委員会に対して,本来比較不可能なレビュー信号を採用し,トピックを定式化したスコア条件の受け入れ率を公開するよう求めた。
論文 参考訳（メタデータ） (2026-04-30T10:54:54Z) - When AI reviews science: Can we trust the referee? [73.47745294608072]
私たちは、トレーニングとデータ検索、デスクレビュー、深いレビュー、反論、システムレベルといった、レビューライフサイクル全体のアタックをマップします。
評価スコアに高名度フレーミング, 断定力, 反抗薬効, 文脈中毒の因果効果を分離するために, 2つの高度なLCMベースの審判を用いた。
論文 参考訳（メタデータ） (2026-04-26T08:03:32Z) - Blind to the Human Touch: Overlap Bias in LLM-Based Summary Evaluation [89.52571224447111]
大規模言語モデル(LLM)の判断は、要約のようなタスクのために、伝統的なアルゴリズムベースのメトリクスと併用されることが多い。
要約領域における人書き応答と重なる関数としてLLM判定バイアス分析を提案する。
論文 参考訳（メタデータ） (2026-02-07T19:39:28Z) - LLMs Can Assist with Proposal Selection at Large User Facilities [0.0]
大規模言語モデル (LLM) は、大規模なユーザ施設における提案選択プロセスを強化することができる。
LLMは、従来の人間レビューに代わるスケーラブルで一貫性があり、費用対効果がある。
論文 参考訳（メタデータ） (2025-12-11T18:23:56Z) - When Your Reviewer is an LLM: Biases, Divergence, and Prompt Injection Risks in Peer Review [34.067892820832405]
本稿では,学術レビュアーとして大規模言語モデル(LLM)を体系的に評価する。
ICLR 2023とNeurIPS 2022の1,441論文のキュレートされたデータセットを用いて、評価、強度、弱点を越えて、GPT-5-miniをヒトレビュアーに対して評価した。
以上の結果から, LLMは, より弱い論文に対する評価を一貫して向上させつつ, より強いコントリビューションに対する人間の判断と密に一致させることが示唆された。
論文 参考訳（メタデータ） (2025-09-12T00:57:50Z) - Are We There Yet? Revealing the Risks of Utilizing Large Language Models in Scholarly Peer Review [66.73247554182376]
大規模言語モデル(LLM)がピアレビューに統合された。
未確認のLLMの採用は、ピアレビューシステムの完全性に重大なリスクをもたらす。
5%のレビューを操作すれば、論文の12%が上位30%のランキングでその地位を失う可能性がある。
論文 参考訳（メタデータ） (2024-12-02T16:55:03Z) - ACORN: Aspect-wise Commonsense Reasoning Explanation Evaluation [29.718851249656172]
大規模言語モデル(LLM)は、一貫性、スケーラビリティ、コスト効率の面で魅力的な代替手段である。
ACORNは3500のフリーテキストの説明とアスペクトワイドの品質評価のデータセットである。
論文 参考訳（メタデータ） (2024-05-08T05:36:52Z) - A Closer Look into Automatic Evaluation Using Large Language Models [75.49360351036773]
評価プロセスの細部が、LLMが与える評価と人間の評価との相関性をどのように変化させるかについて議論する。
G-Evalで使用されるAuto Chain-of-Thought (CoT)は、必ずしもG-Evalを人間の評価に適合させるものではない。
また、LLMにG-Evalのように、数値評価のみを出力させることが、最適以下であることも示している。
論文 参考訳（メタデータ） (2023-10-09T12:12:55Z) - Using Natural Language Explanations to Rescale Human Judgments [81.66697572357477]
大規模言語モデル(LLM)を用いて順序付けアノテーションと説明を再スケールする手法を提案する。
我々は、アノテータのLikert評価とそれに対応する説明をLLMに入力し、スコア付けルーリックに固定された数値スコアを生成する。
提案手法は,合意に影響を及ぼさずに生の判断を再スケールし,そのスコアを同一のスコア付けルーリックに接する人間の判断に近づける。
論文 参考訳（メタデータ） (2023-05-24T06:19:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。