論文の概要: ReviewMap: Mapping Evaluative Acts and Automation Boundaries in Peer-Review Comments
- arxiv url: http://arxiv.org/abs/2611.07489v1
- Date: Thu, 05 Nov 2026 05:49:01 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-06 21:50:50.560127
- Title: ReviewMap: Mapping Evaluative Acts and Automation Boundaries in Peer-Review Comments
- Title（参考訳）: ReviewMap: Peer-Reviewコメントにおける評価行為と自動化境界のマッピング
- Abstract要約: 本報告では,各コメントをクレーム評価,学術基準,コントリビューション価値の校正,会場適合などとして分類するフレームワークであるReviewMapを提案する。
コーパスレベルでは、レビュアーペーパーのインスタンスの17%はパネルコードキャリブレーションを含まない。
- 参考スコア（独自算出の注目度）: 1.4029933823101084
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Peer-review comments check what a paper does and judge why it matters, but no existing scheme distinguishes these two evaluative acts. We argue that making these acts explicit and measuring how reliably LLMs identify them is a prerequisite for responsible LLM-assisted review analysis: humans need to inspect review judgments and their grounds. This defines a more honest mission for NLP in peer review than full automation. We present ReviewMap, a framework that classifies each comment as assessment of claims and scholarly standards or calibration of contribution value and venue fit, with finer-grained attributes applied conditionally by act type. Applied to 500 ICLR~2026 papers through multi-model LLM consensus, the act layer proves reliably automatable under the operational guideline (inter-model $κ\geq 0.75$), supported by five-human validation on 470 development comments, while the attribute layer requires human oversight, defining a measured automation boundary. At the corpus level, 17% of reviewer-paper instances contain no panel-coded calibration, and the panel-coded calibration share is nearly $3\times$ as high in Strengths as in Weaknesses. This boundary informs three affordances: a review guideline that operationalizes the assessment-then-calibration workflow for reviewers, a per-comment rebuttal strategy scaffold for authors, and a discussion-phase dashboard for area chairs.
- Abstract（参考訳）: Peer-Reviewのコメントは、論文が何を行うかを確認し、なぜそれが重要かを判断するが、既存のスキームではこれらの2つの評価行為を区別しない。
我々は、これらの行動を明確にし、LLMがいかに確実にLLMを識別するかを測定することが、責任あるLCM支援レビュー分析の前提条件であると主張している。
これは完全な自動化よりも、ピアレビューにおけるNLPのより誠実なミッションを定義する。
本稿では,各コメントをクレーム評価,学術基準,コントリビューション値の校正あるいは校正に分類するフレームワークであるReviewMapを提案する。
マルチモデルLCMコンセンサスによる500 ICLR~2026の論文に適用すると、アクト層は操作ガイドライン(inter-model $κ\geq 0.75$)の下で確実に自動化可能であることが証明され、470の開発コメントに対する5人の検証がサポートされ、属性層は人間の監視を必要とし、測定された自動化境界を定義する。
コーパスレベルでは、レビュアーペーパーのインスタンスの17%はパネルコードによるキャリブレーションを含まない。
この境界線は、レビュアーのためのアセスメント・ザ・キャリブレーション・ワークフローを運用するレビュー・ガイドライン、著者のためのコントリビュート・ストラテジー・足場、エリアチェアのためのディスカッション・フェーズ・ダッシュボードである。
関連論文リスト
- Judging a Review by its Cover: A Reliability Analysis of LLM-based Peer Review Evaluation Metrics [13.687981034782517]
ピアレビュー評価指標が,表層言語以外の実体的レビュー品質をキャプチャするかどうかを検証するためのフレームワークを提案する。
我々は,文章やプレゼンテーションを変えながら,同じ評価内容を保持する忠実なLLMリライトと,オリジナルの人間レビューを比較した。
これらの結果から,多くのピアレビュー評価指標がレビュー品質と言語的プレゼンテーションを部分的に説明していることが明らかとなった。
論文 参考訳（メタデータ） (2026-09-20T00:49:57Z) - SurveyReview: A Reviewer-Aligned Benchmark for Survey Evaluators [50.129606229339146]
SurveyReviewは、調査評価のためのレビューアラインで多次元のベンチマークとデータセットである。
我々は、自由形式のコメントを4次元のスコアに変換することによって、ピアレビューレポートを構築する。
我々は,自動評価器と人間レビュアーのアライメントを測定するための,標準化された列車/テスト分割と評価プロトコルをリリースする。
論文 参考訳（メタデータ） (2026-08-07T16:11:46Z) - From Passive Generation to Investigation: A Proactive Scientific Peer Review Agent [52.42081442204093]
我々は、紙の不審な部分を積極的に調査する柔軟性の欠如が、重要な制限であると主張している。
本稿では,保守的かつ構造化されたレビューログによってガイドされた論文を積極的にレビューする,科学的ピアレビューエージェントであるProReviewerを提案する。
実験の結果,8Bバックボーンを持つProReviewerは教師付き微調整によって訓練され,強化学習によって最適化され,5つの品質次元で最高の平均スコアが得られることがわかった。
論文 参考訳（メタデータ） (2026-06-11T13:38:23Z) - How Trustworthy Are LLM-as-Judge Ratings for Interpretive Responses? Implications for Qualitative Research Workflows [0.6437935154416734]
本研究では,LLM-as-judge評価が解釈品質の人的判断と有意に一致しているかどうかを検討する。
5つの広く採用されている推論モデルを用いて一文解釈応答を生成した。
その結果, LLM-as-judgeスコアは, モデルレベルでの人間の評価において, 幅広い方向の傾向をとらえるが, スコアの程度は著しく異なることがわかった。
論文 参考訳（メタデータ） (2026-03-09T15:22:41Z) - RPC-Bench: A Fine-grained Benchmark for Research Paper Comprehension [65.81339691942757]
RPC-Bench(RPC-Bench)は、高品質なコンピュータサイエンス論文のレビュー・リビューの交換から構築された大規模質問応答ベンチマークである。
我々は、科学研究の流れに沿ったきめ細かい分類を設計し、モデルがなぜ、何、どのように学術的な文脈で質問するかを理解し、答える能力を評価する。
論文 参考訳（メタデータ） (2026-01-14T11:37:00Z) - LegalRikai: Open Benchmark - A Benchmark for Complex Japanese Corporate Legal Tasks [2.399077824457897]
本稿では,日本の企業法慣行を模倣する4つの複雑なタスクからなる新しいベンチマークであるLegalRikai: Open Benchmarkを紹介する。
本ベンチマークでは,100個のサンプルを抽出し,複数の実測値と比較した。
論文 参考訳（メタデータ） (2025-12-12T05:47:06Z) - When Your Reviewer is an LLM: Biases, Divergence, and Prompt Injection Risks in Peer Review [34.067892820832405]
本稿では,学術レビュアーとして大規模言語モデル(LLM)を体系的に評価する。
ICLR 2023とNeurIPS 2022の1,441論文のキュレートされたデータセットを用いて、評価、強度、弱点を越えて、GPT-5-miniをヒトレビュアーに対して評価した。
以上の結果から, LLMは, より弱い論文に対する評価を一貫して向上させつつ, より強いコントリビューションに対する人間の判断と密に一致させることが示唆された。
論文 参考訳（メタデータ） (2025-09-12T00:57:50Z) - Beyond "Not Novel Enough": Enriching Scholarly Critique with LLM-Assisted Feedback [81.0031690510116]
本稿では,3段階を通して専門家レビューアの動作をモデル化する,自動ノベルティ評価のための構造化アプローチを提案する。
本手法は,人文のノベルティレビューを大規模に分析した結果から得られたものである。
182 ICLR 2025 の提出で評価されたこの手法は、人間の推論と86.5%の一致と、新規性の結論に関する75.3%の合意を達成している。
論文 参考訳（メタデータ） (2025-08-14T16:18:37Z) - Automatic Legal Writing Evaluation of LLMs [10.74636407144071]
oab-benchは、最近の試験版から7つの分野にわたる105の質問からなるベンチマークである。
Claude-3.5 Sonnetは10点中平均スコア7.93点で21点の試験に合格した。
実験の結果,OpenAIのo1のようなフロンティアモデルでは,承認試験の評価において,人間のスコアと強い相関が得られた。
論文 参考訳（メタデータ） (2025-04-29T22:16:39Z) - Auto-PRE: An Automatic and Cost-Efficient Peer-Review Framework for Language Generation Evaluation [52.76508734756661]
Auto-PREはピアレビュープロセスにインスパイアされた自動評価フレームワークである。
人間のアノテーションに依存する従来のアプローチとは異なり、Auto-PREは自動的に3つのコア特性に基づいて評価子を選択する。
要約,非ファクトイドQA,対話生成を含む3つの代表的なタスクの実験は,Auto-PREが最先端のパフォーマンスを達成することを示す。
論文 参考訳（メタデータ） (2024-10-16T06:06:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。