論文の概要: Do Methods Support the Claims? Intra-Paper Verification for Peer Review
- arxiv url: http://arxiv.org/abs/2607.26066v1
- Date: Sun, 21 Jun 2026 18:52:53 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-02 22:55:39.094423
- Title: Do Methods Support the Claims? Intra-Paper Verification for Peer Review
- Title（参考訳）: 主張を支援する方法は何か? ピアレビューのための紙内検証
- Abstract要約: 既存の自動ノベルティ評価アプローチは、通常、以前の文献に対する論文の主張された貢献と比較する。
しかし、人間レビュアーはしばしば、類似したアイデアがすでに存在するからではなく、論文で示された方法論的証拠がそれらを適切に支持していないからである、と、ノベルティの主張に異議を唱える。
本稿では,論文に記載された新規性主張が,それを実現するための手法によって裏付けられているかどうかを評価する枠組みとして,論文内クレーム検証を導入する。
- 参考スコア（独自算出の注目度）: 0.015552638545879348
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The growing volume of scientific submissions has motivated interest in using large language models (LLMs) to assist peer review. Existing automated novelty assessment approaches typically compare a paper's claimed contributions against prior literature, implicitly assuming that these contributions are accurately realized in the work itself. Human reviewers, however, frequently challenge novelty claims not because similar ideas already exist, but because the methodological evidence presented in the paper does not adequately support them. This internal mismatch between claimed contributions and methodological realization is rarely examined by current LLM-based review systems. To address this gap, we introduce intra-paper claim verification, a framework that evaluates whether novelty claims articulated in a paper are substantiated by the methods used to realize them. The framework employs an LLM to extract novelty claims from the introduction, retrieve claim-relevant methodological evidence, and assess whether the methods substantiate the stated contributions. Assessment is guided by reviewer-inspired evaluation criteria derived inductively from human peer reviews collected from 182 ICLR 2025 papers. These criteria capture recurring reviewer concerns related to novelty, methodology, clarity, and other issues and are used to generate structured reviewer-style assessments of claim substantiation. We evaluate the framework by comparing LLM-generated review comments against human reviewer concerns on a balanced subset of accepted and rejected papers. Human evaluation demonstrates significant alignment between framework-generated assessments and human reviewer concerns, particularly for novelty-related issues. BERTScore further distinguishes corresponding human-LLM review pairs from mismatched controls, indicating that the framework captures concerns consistent with human reviewer observations.
- Abstract（参考訳）: 科学論文の量の増加は、ピアレビューを支援するために大きな言語モデル(LLM)を使うことへの関心を動機付けている。
既存の自動ノベルティ評価アプローチは、通常、論文が主張する先行文学に対する貢献とを比較し、これらの貢献が作品自体で正確に実現されていることを暗黙的に仮定する。
しかし、人間レビュアーはしばしば、類似したアイデアがすでに存在するからではなく、論文で示された方法論的証拠がそれらを適切に支持していないからである、と、ノベルティの主張に異議を唱える。
請求項のコントリビューションと方法論的実現とのこの内部ミスマッチは、現在のLLMベースのレビューシステムではめったに検討されない。
このギャップに対処するために,論文に記載された新規性主張が,それを実現する方法によって裏付けられているかどうかを評価する枠組みである,論文内クレーム検証を導入する。
この枠組みは、導入から新規性クレームを抽出し、クレーム関連方法論的証拠を回収し、その方法が提案された貢献を裏付けるかどうかを評価するためにLLMを使用している。
評価は182 CLR 2025 論文から収集されたヒトのピアレビューから誘導的に導かれるレビュアーインスパイア評価基準によって導かれる。
これらの基準は、新規性、方法論、明確性、その他の問題に関連するレビュアーの関心を捉え、クレームのサブストラクテーションに関する構造化されたレビュアースタイルの評価を生成するために使用される。
提案手法は, LLM が作成したレビューコメントを, 受理された論文と受理された論文と受理された論文のバランスの取れたサブセットに関する人間レビュアーの懸念とを比較して評価する。
人間の評価は、特に新規性に関する問題に対して、フレームワークの生成した評価と人間レビュアーの懸念との間に顕著な整合性を示す。
BERTScoreはさらに、対応する人間-LLMレビューペアと不正なコントロールを区別し、このフレームワークが人間のレビュアー観察と整合した懸念を捉えていることを示している。
関連論文リスト
- ActReview: Rebuttal-Guided Training Data and Rubric Rewards for Actionable Peer Review Generation [54.82704239643649]
本稿では, 紙固有の診断と具体的, 基礎的なリビジョン計画とを結びつける, 反感に満ちたポストトレーニングフレームワークである ActReview を紹介する。
我々の中心的な洞察は、著者の反論は、レビュアーの懸念に対処するための妥当な行動を明らかにし、それゆえ、リビジョン指向のフィードバックに対する潜在的な監督を提供することができるということである。
またActReview-Benchは、診断品質とリビジョンの有用性を評価するために、1,000インスタンスの人為的なベンチマークである。
論文 参考訳（メタデータ） (2026-09-08T17:30:16Z) - From Passive Generation to Investigation: A Proactive Scientific Peer Review Agent [52.42081442204093]
我々は、紙の不審な部分を積極的に調査する柔軟性の欠如が、重要な制限であると主張している。
本稿では,保守的かつ構造化されたレビューログによってガイドされた論文を積極的にレビューする,科学的ピアレビューエージェントであるProReviewerを提案する。
実験の結果,8Bバックボーンを持つProReviewerは教師付き微調整によって訓練され,強化学習によって最適化され,5つの品質次元で最高の平均スコアが得られることがわかった。
論文 参考訳（メタデータ） (2026-06-11T13:38:23Z) - When AI reviews science: Can we trust the referee? [73.47745294608072]
私たちは、トレーニングとデータ検索、デスクレビュー、深いレビュー、反論、システムレベルといった、レビューライフサイクル全体のアタックをマップします。
評価スコアに高名度フレーミング, 断定力, 反抗薬効, 文脈中毒の因果効果を分離するために, 2つの高度なLCMベースの審判を用いた。
論文 参考訳（メタデータ） (2026-04-26T08:03:32Z) - Beyond Rating: A Comprehensive Evaluation and Benchmark for AI Reviews [69.66583722746904]
私たちは、AIレビュアーを5次元にわたって評価する総合的な評価フレームワークであるBeyond Ratingを紹介します。
本稿では,専門家の不一致に対応するためのMax-Recall戦略を提案する。
提案したテキスト中心の指標は、特に弱みの議論のリコールであり、評価精度と強く相関している。
論文 参考訳（メタデータ） (2026-04-21T14:21:15Z) - NovBench: Evaluating Large Language Models on Academic Paper Novelty Assessment [17.02516373665209]
NovBenchは,大規模言語モデルの新規性評価を生成する能力を評価するために設計された,最初の大規模ベンチマークである。
NovBenchは、論文紹介から抽出したノベルティ記述や、それに対応する専門家によるノベルティ評価を含む、主要なNLPカンファレンスから1,684の論文レビューペアで構成されている。
LLMによる新規性評価の質を評価するための4次元評価フレームワークを提案する。
論文 参考訳（メタデータ） (2026-04-13T14:35:17Z) - WarrantScore: Modeling Warrants between Claims and Evidence for Substantiation Evaluation in Peer Reviews [19.27332072329702]
論文の提出が急速に増えているため、科学的査読プロセスは人的資源不足に直面している。
本稿では,クレームとエビデンスの間の論理的推論を評価する科学的レビューコメントのための新しい評価基準を提案する。
論文 参考訳（メタデータ） (2026-01-24T08:54:25Z) - When Your Reviewer is an LLM: Biases, Divergence, and Prompt Injection Risks in Peer Review [34.067892820832405]
本稿では,学術レビュアーとして大規模言語モデル(LLM)を体系的に評価する。
ICLR 2023とNeurIPS 2022の1,441論文のキュレートされたデータセットを用いて、評価、強度、弱点を越えて、GPT-5-miniをヒトレビュアーに対して評価した。
以上の結果から, LLMは, より弱い論文に対する評価を一貫して向上させつつ, より強いコントリビューションに対する人間の判断と密に一致させることが示唆された。
論文 参考訳（メタデータ） (2025-09-12T00:57:50Z) - Beyond "Not Novel Enough": Enriching Scholarly Critique with LLM-Assisted Feedback [81.0031690510116]
本稿では,3段階を通して専門家レビューアの動作をモデル化する,自動ノベルティ評価のための構造化アプローチを提案する。
本手法は,人文のノベルティレビューを大規模に分析した結果から得られたものである。
182 ICLR 2025 の提出で評価されたこの手法は、人間の推論と86.5%の一致と、新規性の結論に関する75.3%の合意を達成している。
論文 参考訳（メタデータ） (2025-08-14T16:18:37Z) - Dispute Resolution in Peer Review with Abstract Argumentation and OWL DL [0.12289361708127876]
本研究は、議論理論から形式的手法を適用して、ピアレビューにおいて透明で偏見のない紛争解決を支援することによる課題に対処する。
我々は,学術的ピアレビューを,著者とレビュアーの間での1つの混合論証論争として概念化し,抽象論証フレームワークを用いて形式化する。
我々は,学術的ピアレビューのコーパスを抽象的な議論フレームワークで注釈付けし,議論を解決するために概念実証を適用することによって,我々のアプローチを検証する。
論文 参考訳（メタデータ） (2025-07-18T12:21:25Z) - Identifying Aspects in Peer Reviews [59.02879434536289]
我々は、ピアレビューのコーパスからアスペクトを抽出するデータ駆動スキーマを開発した。
我々は、アスペクトを付加したピアレビューのデータセットを導入し、コミュニティレベルのレビュー分析にどのように使用できるかを示す。
論文 参考訳（メタデータ） (2025-04-09T14:14:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。