論文の概要: More Than Mimicking Reviewers: Evaluating LLMs for Pre-Submission Peer Review

• arxiv url: http://arxiv.org/abs/2609.05788v1
• Date: Sat, 05 Sep 2026 00:50:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-10 19:44:08.136604
• Title: More Than Mimicking Reviewers: Evaluating LLMs for Pre-Submission Peer Review
• Title（参考訳）: レビュアーの誤解以上に - プレサブミッションピアレビューのためのLCMの評価
• Abstract要約: 我々のシステムは、幅広い原子の懸念を発生させ、それらを短いレポートに圧縮する。 1万の ICLR 2026 の提出から、レビューに先立ってアクセス可能なバージョンを持つ3,398 の原稿を使用します。 トップ32の隠されたOracleは、256の候補プールの79.3%の重み付きカバレッジを保っているが、紙のみのセレクタは40～44%しか保持していない。
• 参考スコア（独自算出の注目度）: 0.5156484100374058
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Peer-review feedback often arrives too late for authors to make meaningful revisions. We study an author-facing LLM system that moves part of this stress test before submission: it generates a broad pool of atomic concerns and compresses them into a short report. We evaluate agreement with historical reviews and, separately, the possible validity of concerns they omit. From 10,000 ICLR 2026 submissions, we use 3,398 manuscripts with accessible versions that predate review. On a ten-paper diagnostic, independent sampling covers 44.9% of historical issues; deduplication and refill reaches 78.7% strict and 84.9% seriousness-weighted coverage, at 3.6$\times$ more requests and 5.2$\times$ more tokens. A hidden Top-32 Oracle preserves the full 79.3% weighted coverage of a 256-candidate pool, but paper-only selectors retain only 40--44%. LLM review therefore provides broad coverage with a large candidate pool but compresses poorly; ablations identify representative selection and matcher sensitivity as the main sources of this gap.
• Abstract（参考訳）: ピアレビューのフィードバックは、著者が意味のある修正を行うには遅すぎることが多い。 筆者らは,このストレステストの一部を提出前に移動させるLLMシステムについて検討し,原子性懸念のプールを広く生成し,短いレポートに圧縮する。 我々は、歴史的レビューとの合意を評価し、それらが犯した懸念の妥当性を別々に評価する。 1万の ICLR 2026 の提出から、レビューに先立ってアクセス可能なバージョンを持つ3,398 の原稿を使用します。 10紙の診断では、独立サンプリングは44.9%の歴史的問題をカバーしており、復号化と補充は78.7%の厳密さと84.9%の重大さがカバーされ、3.6$\times$以上の要求と5.2$\times$それ以上のトークンがある。 トップ32の隠されたOracleは、256の候補プールの79.3%の重み付きカバレッジを保っているが、紙のみのセレクタは40～44%しか保持していない。 LLMレビューは、大きな候補プールを幅広くカバーするが、圧縮が不十分であり、このギャップの主な原因は、代表選択とマーカ感度である。

関連論文リスト

• NovGauge: A Fine-Grained Benchmark for Diagnosing LLMs' Capability in Paper Novelty Assessment [54.4265627247104]
  大規模言語モデル(LLM)は、主要なAIカンファレンスでピアレビューでますます使用されている。 既存のベンチマークでは、ノベルティを1つの総合的なスコアとして評価している。 本報告では,詳細なノベルティアセスメント診断のための人手によるベンチマークであるNovGaugeについて述べる。
  論文  参考訳（メタデータ） (2026-09-10T08:34:56Z)
• From Passive Generation to Investigation: A Proactive Scientific Peer Review Agent [52.42081442204093]
  我々は、紙の不審な部分を積極的に調査する柔軟性の欠如が、重要な制限であると主張している。 本稿では,保守的かつ構造化されたレビューログによってガイドされた論文を積極的にレビューする,科学的ピアレビューエージェントであるProReviewerを提案する。 実験の結果,8Bバックボーンを持つProReviewerは教師付き微調整によって訓練され,強化学習によって最適化され,5つの品質次元で最高の平均スコアが得られることがわかった。
  論文  参考訳（メタデータ） (2026-06-11T13:38:23Z)
• E3: Issue-Level Backtesting for Automated Research Critique [2.141079906482723]
  E3は研究論文の技術的懸念を識別する自動レビューアシスタントである。 それぞれの懸念について、E3は、その性質、その位置、貢献に対する影響、そしてそれを解決する分析や証拠を報告している。
  論文  参考訳（メタデータ） (2026-05-26T14:21:37Z)
• How Far Is Document Parsing from Solved? PureDocBench: A Source-TraceableBenchmark across Clean, Degraded, and Real-World Settings [56.70440596502351]
  昨年は20以上のオープンドキュメントパースモデルが見られたが、ベンチマークはほぼOmniDocBenchにのみ依存している。 HTML/CSSのドキュメントイメージをレンダリングするベンチマークであるPureDocBenchは、10のドメイン、66ページ、1,475ページをカバーしています。
  論文  参考訳（メタデータ） (2026-05-08T09:30:31Z)
• LLM-ReSum: A Framework for LLM Reflective Summarization through Self-Evaluation [5.106530060248491]
  7つのデータセットにまたがる14の自動要約メトリクスとLLMに基づく評価器の総合メタ評価を行う。 その結果,従来の語彙重なりの指標(ROUGE,BLEUなど)は,人間の判断と弱いあるいは負の相関を示すことがわかった。 LLMに基づく評価と生成をモデル微調整なしでクローズドフィードバックループで統合する自己反射的要約フレームワーク LLM-ReSum を提案する。
  論文  参考訳（メタデータ） (2026-04-28T14:00:09Z)
• FactReview: Evidence-Grounded Reviews with Literature Positioning and Execution-Based Claim Verification [57.196748998757954]
  本稿では,クレーム抽出,文献位置決定,実行に基づくクレーム検証を組み合わせたエビデンスベースレビューシステムであるFactReviewを紹介する。 FactReviewは論文を提出すると、主要なクレームを特定し、その結果を報告し、論文の技術的な位置を明らかにするために近くの作業を取り出し、コードが利用可能であれば、リリースされたリポジトリを実行する。 その後、簡潔なレビューと、主要な請求を5つのラベルのうち1つに割り当てるエビデンスレポートを生成する。
  論文  参考訳（メタデータ） (2026-04-05T11:45:22Z)
• When Your Reviewer is an LLM: Biases, Divergence, and Prompt Injection Risks in Peer Review [34.067892820832405]
  本稿では,学術レビュアーとして大規模言語モデル(LLM)を体系的に評価する。 ICLR 2023とNeurIPS 2022の1,441論文のキュレートされたデータセットを用いて、評価、強度、弱点を越えて、GPT-5-miniをヒトレビュアーに対して評価した。 以上の結果から, LLMは, より弱い論文に対する評価を一貫して向上させつつ, より強いコントリビューションに対する人間の判断と密に一致させることが示唆された。
  論文  参考訳（メタデータ） (2025-09-12T00:57:50Z)
• Are We There Yet? Revealing the Risks of Utilizing Large Language Models in Scholarly Peer Review [66.73247554182376]
  大規模言語モデル(LLM)がピアレビューに統合された。 未確認のLLMの採用は、ピアレビューシステムの完全性に重大なリスクをもたらす。 5%のレビューを操作すれば、論文の12%が上位30%のランキングでその地位を失う可能性がある。
  論文  参考訳（メタデータ） (2024-12-02T16:55:03Z)
• FABLES: Evaluating faithfulness and content selection in book-length summarization [55.50680057160788]
  本稿では,本書の忠実度と内容選択の大規模評価を行う。 LLMが生成した26冊のサマリーで作成した3,158冊の注釈のデータセットであるFABLESを5.2KUSDで収集する。 注釈の分析によると、ほとんどの不誠実な主張は出来事や登場人物の状態に関係しており、物語を無効にするために間接的推論を必要とする。
  論文  参考訳（メタデータ） (2024-04-01T17:33:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。