論文の概要: Intelligence Is Not the Bottleneck: Validating an LLM First-Pass Manuscript Score Against Peer-Review Outcomes
- arxiv url: http://arxiv.org/abs/2606.15887v1
- Date: Sun, 14 Jun 2026 16:13:15 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-16 16:21:33.927367
- Title: Intelligence Is Not the Bottleneck: Validating an LLM First-Pass Manuscript Score Against Peer-Review Outcomes
- Title（参考訳）: インテリジェンス」は「ボットネック」ではない? LLMファーストパスの原稿スコアをピアレビューの結果に対して検証
- Abstract要約: 大規模言語モデル(LLM)システムは、ピアレビューを支援するためにますます提案されている。
ほとんどの評価は、システムが割り当てる数値スコアの妥当性ではなく、機械生成レビューテキストの散文を判断する。
提案した原稿を読み取って5つの0-100品質ディメンションと重み付き総合スコアを出力するAIPRを検証する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large language model (LLM) systems are increasingly proposed to assist peer review, yet most evaluations judge the prose of machine-generated review text, not the validity of the numeric score a system assigns. We validate AIPR, which reads a submitted manuscript and emits five 0-100 quality dimensions and a weighted overall score, against the public decision outcomes of a major machine learning venue. AIPR grades by prompting alone, with no fine-tuning on reviews or decisions. Across 300 ICLR submissions with public decision tiers and reviewer ratings, graded under a frozen pipeline with hypotheses pre-registered before any score met any outcome, the overall score separates rejected from accepted submissions (AUROC 0.82, 95% CI 0.78-0.87), rises monotonically across tiers, and tracks the mean reviewer rating. The signal is strongest where we claim it: the lowest-scoring fifth is rejected far above the base rate, with oral papers absent. The validity comes mostly from the model: a one-paragraph prompt on the same model discriminates almost as well as the full pipeline (the small gap favours the pipeline but does not meet the pre-declared criterion, p = 0.09). What the engineering adds is reliability and a grounded review: AIPR's score barely moves across repeated runs (0.7 vs. 2.8 points within-paper SD) where the bare prompt swings, and the same pass returns a rubric-structured, evidence-grounded review rather than a bare number, with the human keeping the decision.
- Abstract（参考訳）: 大規模言語モデル(LLM)システムは、ピアレビューを支援するためにますます提案されているが、ほとんどの評価は、システムが割り当てる数値スコアの妥当性ではなく、機械生成レビューテキストの散文を判断する。
我々は、提出された原稿を読み、主要な機械学習会場の公開決定結果に対して、5つの0-100品質次元と重み付けされた総合スコアを出力するAIPRを検証する。
AIPRは、レビューや決定を微調整することなく、単独で評価する。
公的な決定階層とレビュアー格付けを備えた300以上のICLR格付けは、任意のスコアが結果に達する前に事前登録された仮説で凍結パイプラインの下にランク付けされ、総合スコアは承認された提案(AUROC 0.82, 95% CI 0.78-0.87)から分離され、各階層で単調に上昇し、平均レビュアー格付けを追跡する。
最下位の5分の1はベースレートよりもはるかに上回っており、口頭文書は欠落している。
同じモデル上の1パラグラフプロンプトは、パイプラインとほぼ同程度に識別する(小さなギャップはパイプラインを好むが、事前に宣言された基準であるp = 0.09に満たない)。
AIPRのスコアは、素のプロンプトが揺れる繰り返し実行(紙内のSDで0.7対2.8ポイント)をほとんど移動せず、同じパスは素数ではなく、ルーリック構造でエビデンスに基づくレビューを返す。
関連論文リスト
- WrAFT: a Modularized Automated Writing Evaluation System for Argumentative Essays [16.22466124017634]
WrAFTは議論的エッセイのための文章評価とフィードバックツールである。
システムは2次重み付きカッパ(QWK)は0.84で、根平均二乗誤差(RMSE)は0.44で、スコアは0.5である。
インタラクティブなユーザインタフェースがシステム用に開発され、公開されており、無料で利用できる。
論文 参考訳（メタデータ） (2026-07-16T03:23:31Z) - FirstPass: Grounding AI Scientific Judgment in Multi-Round Editorial Outcomes [0.27998963147546146]
我々は、ピアレビューのためにAIの3つの側面すべてに対処するデータセットの微調整モデルであるFirstPassを紹介した。
我々は、強制的透明なピアレビュー(2022年11月設置)を活用し、自動監査により100%のコンテンツ完全性を検証する。
FirstPassは生成時に平均1,187ワードのレビューを生成し、ベースラインよりも人間の参照(2,155ワード)に近い。
論文 参考訳（メタデータ） (2026-06-18T15:06:36Z) - Benchmarking Agentic Review Systems [25.437512824197736]
エージェントレビューシステムの新たなクラスは、AI支援研究によるピアレビューシステムに対するプレッシャーの緩和として現れている。
2つのオープンソースシステム(OpenAIReviewと粗い)と1つのプロプライエタリシステム(Reviewer3)、ゼロショットベースライン(ゼロショットベースライン)を評価した。
AIレビューには改善の余地があるものの、人間の品質判断を十分に追跡し、重要なエラーをキャッチし、実際のユーザから肯定的なフィードバックを得ることができます。
論文 参考訳（メタデータ） (2026-06-18T03:30:06Z) - A Pre-Registered Causal Partition of Self-Consistency Elicitation and Reward Design in RLVR [1.2958054117511815]
報酬からの強化学習は、報酬信号が刺激的であっても推論を改善する。
実践者は一般的に、報酬-設計効果として naive = acc(TRUE) - acc(R) を解釈する。
我々はこの推定が体系的に偏っていることを証明している。
論文 参考訳（メタデータ） (2026-06-04T09:35:54Z) - SoundnessBench: Can Your AI Scientist Really Tell Good Research Ideas from Bad Ones? [51.154921661608675]
我々は、ICLRの投稿から再構成された1,099の機械学習研究提案のキュレートされたベンチマークであるSoundnessBenchを紹介する。
SoundnessBenchは、完全なレビュー結果の正確な予測よりも、復元可能な提案段階の音質のベンチマークとして解釈されるべきである。
論文 参考訳（メタデータ） (2026-05-28T17:57:37Z) - VERDI: Single-Call Confidence Estimation for Verification-Based LLM Judges via Decomposed Inference [0.0]
VERDI(verification-Decomposed Inference Inference)は、構造化された裁判官から信頼を抽出する手法である。
VERDIは各評価をサブチェックに分解し、3つの構造信号を導出する。
3つの公開ベンチマークで、VERDIはGPT-4.1-miniでAUROC 0.72-0.91、GPT-5.4-miniで0.66-0.80を達成した。
論文 参考訳（メタデータ） (2026-05-11T23:39:19Z) - Stop Automating Peer Review Without Rigorous Evaluation [51.53099943385505]
このポジションペーパーは、今日のAIシステムは、論文レビューの作成に使用すべきではない、と論じている。
1)AIレビュアーは、視点の多様性を低下させる論文内および新聞内における過剰な合意の隠れた効果を示す。
ピアレビューの危機に対処するには、ピアレビューの自動化の科学が必要です。
論文 参考訳（メタデータ） (2026-05-04T22:41:04Z) - Reviewer Scores Are Not Comparable Across Research Areas in ML Peer Review [5.466519893996914]
このポジションペーパーでは、受理結果はレビュアースコアを超えた力によって形成されていると論じている。
いずれのレビュアースコアにおいても,論文の受理確率はトピックによって最大8倍に変化することを示す。
我々は,プログラム委員会に対して,本来比較不可能なレビュー信号を採用し,トピックを定式化したスコア条件の受け入れ率を公開するよう求めた。
論文 参考訳（メタデータ） (2026-04-30T10:54:54Z) - Beyond Rating: A Comprehensive Evaluation and Benchmark for AI Reviews [69.66583722746904]
私たちは、AIレビュアーを5次元にわたって評価する総合的な評価フレームワークであるBeyond Ratingを紹介します。
本稿では,専門家の不一致に対応するためのMax-Recall戦略を提案する。
提案したテキスト中心の指標は、特に弱みの議論のリコールであり、評価精度と強く相関している。
論文 参考訳（メタデータ） (2026-04-21T14:21:15Z) - Decoupling Scores and Text: The Politeness Principle in Peer Review [0.0]
著者はしばしばピアレビューのフィードバックを解釈するのに苦労し、丁寧なコメントから誤った希望を導き、特定の低いスコアで混乱していると感じている。
我々は,3万件以上のICLR 2021-2025のデータセットを構築し,数値スコアを用いた受入予測性能とテキストレビューを比較した。
スコアベースモデルでは91%,テキストベースモデルでは81%,大規模言語モデルでは81%であった。
論文 参考訳（メタデータ） (2026-03-23T11:58:48Z) - Beyond Final Answers: CRYSTAL Benchmark for Transparent Multimodal Reasoning Evaluation [3.23600523782706]
CRYSTAL (Clear Reasoning via Yielded Steps, Traceability, and Logic)は6,372インスタンスの診断ベンチマークである。
本稿では,意味的類似性マッチングによるステップレベルの精度とリコールをスコアするMatch F1と,乱れた推論連鎖をペナルティ化するOrdered Match F1の2つの相補的指標を提案する。
CPR-CurriculumはGRPOによるMatch F1の32%の改善を実現している。
論文 参考訳（メタデータ） (2026-03-13T15:48:15Z) - Reference-Free Rating of LLM Responses via Latent Information [53.463883683503106]
本研究では,判断モデルに対して,自由テキスト応答にQuattスケールのスコアを割り当てるよう依頼する一般的な実践について検討する。
次に、内部モデル信号からスカラー評価を導出する潜在裁判官を提案し、評価する。
ペアとシングルレーティングのベンチマークの幅広いスイートの中で、潜在メソッドは標準のプロンプトにマッチするか、超えている。
論文 参考訳（メタデータ） (2025-09-29T12:15:52Z) - RAG-Zeval: Towards Robust and Interpretable Evaluation on RAG Responses through End-to-End Rule-Guided Reasoning [64.46921169261852]
RAG-Zevalは、ルール誘導推論タスクとして忠実さと正しさの評価を定式化する、新しいエンドツーエンドフレームワークである。
提案手法は、強化学習による評価者を訓練し、コンパクトなモデルにより包括的および音質評価を生成する。
実験では、RAG-Zevalの優れた性能を示し、人間の判断と最も強い相関性を達成した。
論文 参考訳（メタデータ） (2025-05-28T14:55:33Z) - Integrating Rankings into Quantized Scores in Peer Review [61.27794774537103]
ピアレビューでは、レビュアーは通常、論文のスコアを提供するように求められます。
この問題を軽減するため、カンファレンスはレビュアーにレビューした論文のランキングを付加するように求め始めている。
このランキング情報を使用するための標準的な手順はなく、エリアチェアは異なる方法でそれを使用することができる。
我々は、ランキング情報をスコアに組み込むために、原則化されたアプローチを取る。
論文 参考訳（メタデータ） (2022-04-05T19:39:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。