論文の概要: More Criticism Does Not Make a Better Review: EquiReview-R
- arxiv url: http://arxiv.org/abs/2609.03943v1
- Date: Thu, 03 Sep 2026 14:49:24 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-04 18:28:39.120972
- Title: More Criticism Does Not Make a Better Review: EquiReview-R
- Title（参考訳）: EquiReview-R:より批判的になる
- Abstract要約: 我々は、AI支援レビューを、構造化された関心事セットのエビデンスガイダンスによる洗練として再考した。
EquiReview-Rを導入し、局所的な証拠に対する既存の懸念を解決する。
未確認論文の凍結コホート上では、EquiReview-R は未定の非不等式基準を満たす。
- 参考スコア（独自算出の注目度）: 5.8331781561663645
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: AI reviewers can now produce many specific criticisms, but more criticism is not necessarily a better review. A review may miss a consequential weakness or retain an allegation that available evidence does not support. These failures require opposite corrections, yet generation-oriented systems and aggregate measures obscure the distinction. We therefore recast AI-assisted review as evidence-guided refinement of a structured concern set, with omission and overcritique treated as separate risks. Building on this formulation, we introduce EquiReview-R, which resolves existing concerns against localized evidence, searches for missing issues from independent and review-conditioned perspectives, and returns stop, continue, or defer. To expose the failure mode that motivates this design, we construct an evidence-linked trajectory corpus. Its retrospective analysis shows why revision must precede further search: nearly all concerns in a high-recall review lack a definitive evidential disposition, while an earlier refinement mechanism cannot revise them. On a frozen cohort of previously unseen papers, EquiReview-R satisfies the prespecified non-inferiority criterion for major omission, reduces major overcritique from 15.5% to 8.1%, and attains a one-sided omission upper bound of 9.9% while stopping on 52.4% of papers. Computation-matched controls, controlled pairs, and ablations show that the gain comes from revision rather than extra inference or shorter output. We release the corpus as ReviewTrace, an evidence-linked resource for studying review revision, disagreement, and provenance.
- Abstract（参考訳）: AIレビュアーは、多くの特定の批判を作成できるが、より多くの批判は必ずしも良いレビューではない。
レビューは、後続の弱点を見逃したり、利用可能な証拠が支持されないという主張を維持することができる。
これらの失敗は反対の修正を必要とするが、生成指向のシステムと集合測度は区別を曖昧にしている。
そこで我々は、AI支援によるレビューを、構造化された懸念セットのエビデンスガイダンスとして再考し、省略と過剰批判を別個のリスクとして扱いました。
この定式化に基づいてEquiReview-Rを導入する。これは、局所的な証拠に対する既存の懸念を解決し、独立性およびレビュー条件の視点から欠落した問題を検索し、停止、継続、延期を返す。
この設計を動機づけるフェールモードを明らかにするため,エビデンスにリンクした軌道コーパスを構築した。
その振り返り分析は、リビジョンがさらなる検索に先行する理由を示している: ハイリコールレビューにおけるほとんどすべての懸念は、明確な明らかな配置を欠いている一方で、初期の改善メカニズムはそれらを修正できない。
未確認論文の凍結されたコホートでは、EquiReview-Rは、未定の非不等式基準を満たすとともに、主要な過度を15.5%から8.1%に減らし、一方の省略上限を9.9%とし、52.4%の論文で停止する。
計算整合制御、制御ペア、アブレーションは、余分な推論や短い出力ではなく、リビジョンによって得られるものであることを示している。
このコーパスをReviewTraceとしてリリースし、レビューリビジョン、不一致、証明を研究するためのエビデンスにリンクされたリソースとして公開します。
関連論文リスト
- AppliedScientist: Automated Scientific Revision Through Iterative AI Reviewing [10.712519962597604]
我々は、自律的なAI科学者とAIレビュアーを結合するクローズドループシステムであるAppliedScientistを紹介する。
我々は、さまざまな研究分野から削除された論文を反復的に改訂して評価する。
論文 参考訳（メタデータ） (2026-09-13T18:59:10Z) - ActReview: Rebuttal-Guided Training Data and Rubric Rewards for Actionable Peer Review Generation [54.82704239643649]
本稿では, 紙固有の診断と具体的, 基礎的なリビジョン計画とを結びつける, 反感に満ちたポストトレーニングフレームワークである ActReview を紹介する。
我々の中心的な洞察は、著者の反論は、レビュアーの懸念に対処するための妥当な行動を明らかにし、それゆえ、リビジョン指向のフィードバックに対する潜在的な監督を提供することができるということである。
またActReview-Benchは、診断品質とリビジョンの有用性を評価するために、1,000インスタンスの人為的なベンチマークである。
論文 参考訳（メタデータ） (2026-09-08T17:30:16Z) - AutoSupervision: Closing the Feedback Loop in Scientific Workflows with Grounded Revision Verification [26.43951827696846]
本稿では,論文の改訂がレビュアーの懸念に真に対処するかどうかを評価するAutoSupervisionを紹介する。
我々は56,000のNature Communications記事とそれに対応するレビュー記録からAutoSupervisionを構築した。
以上の結果から,LLMはレビュアーの関心事の特徴として優れているが,エビデンスに基づく検証が主要なボトルネックであることが示唆された。
論文 参考訳（メタデータ） (2026-07-30T08:24:58Z) - Precise but Uncoupled: Reviewer Precision Does Not Guarantee Critique Uptake in Multi-Agent Math Reasoning [9.345403722854543]
私たちは、専用のレビューステージが間違った候補を正しい候補に変えるのに役立つという仮定をテストします。
我々は、このギャップがレビュアーの品質によって説明されるのか、それともプロトコルが進める次の回答に批判が変わるのかを問う。
論文 参考訳（メタデータ） (2026-07-16T18:38:10Z) - From Passive Generation to Investigation: A Proactive Scientific Peer Review Agent [52.42081442204093]
我々は、紙の不審な部分を積極的に調査する柔軟性の欠如が、重要な制限であると主張している。
本稿では,保守的かつ構造化されたレビューログによってガイドされた論文を積極的にレビューする,科学的ピアレビューエージェントであるProReviewerを提案する。
実験の結果,8Bバックボーンを持つProReviewerは教師付き微調整によって訓練され,強化学習によって最適化され,5つの品質次元で最高の平均スコアが得られることがわかった。
論文 参考訳（メタデータ） (2026-06-11T13:38:23Z) - CoCoReviewBench: A Completeness- and Correctness-Oriented Benchmark for AI Reviewers [39.97153044457166]
カテゴリ固有のベンチマークサブセットを構築し、人間のレビューが欠落している場合に評価をスキップし、完全性を強化します。
また、専門家のアノテーションとしてレビュアー-著者-レビューの議論を活用し、正確性を強化するために信頼できないレビューをフィルタリングします。
CoCoReviewBenchは、ICLRとNeurIPSから3,900の論文をキュレーションして、AIレビュアーの信頼性ときめ細かい評価を可能にする。
論文 参考訳（メタデータ） (2026-05-08T15:44:26Z) - When AI reviews science: Can we trust the referee? [73.47745294608072]
私たちは、トレーニングとデータ検索、デスクレビュー、深いレビュー、反論、システムレベルといった、レビューライフサイクル全体のアタックをマップします。
評価スコアに高名度フレーミング, 断定力, 反抗薬効, 文脈中毒の因果効果を分離するために, 2つの高度なLCMベースの審判を用いた。
論文 参考訳（メタデータ） (2026-04-26T08:03:32Z) - What Makes a Good AI Review? Concern-Level Diagnostics for AI Peer Review [6.59569431190247]
本稿では,AIレビューを判断レベルでのみ評価するのではなく,関心レベルで評価する診断フレームワークを提案する。
本稿では,二項精度から問題検出,判定・階層化動作,判断・認識の校正,帰属・認識の分解に移行した評価ラグを導出する。
論文 参考訳（メタデータ） (2026-04-21T21:16:59Z) - Beyond Rating: A Comprehensive Evaluation and Benchmark for AI Reviews [69.66583722746904]
私たちは、AIレビュアーを5次元にわたって評価する総合的な評価フレームワークであるBeyond Ratingを紹介します。
本稿では,専門家の不一致に対応するためのMax-Recall戦略を提案する。
提案したテキスト中心の指標は、特に弱みの議論のリコールであり、評価精度と強く相関している。
論文 参考訳（メタデータ） (2026-04-21T14:21:15Z) - FactReview: Evidence-Grounded Reviews with Literature Positioning and Execution-Based Claim Verification [57.196748998757954]
本稿では,クレーム抽出,文献位置決定,実行に基づくクレーム検証を組み合わせたエビデンスベースレビューシステムであるFactReviewを紹介する。
FactReviewは論文を提出すると、主要なクレームを特定し、その結果を報告し、論文の技術的な位置を明らかにするために近くの作業を取り出し、コードが利用可能であれば、リリースされたリポジトリを実行する。
その後、簡潔なレビューと、主要な請求を5つのラベルのうち1つに割り当てるエビデンスレポートを生成する。
論文 参考訳（メタデータ） (2026-04-05T11:45:22Z) - Automatic Reviewers Fail to Detect Faulty Reasoning in Research Papers: A New Counterfactual Evaluation Framework [55.078301794183496]
我々は、高品質なピアレビューを支えるコアレビュースキル、すなわち欠陥のある研究ロジックの検出に注力する。
これは、論文の結果、解釈、クレームの間の内部の一貫性を評価することを含む。
本稿では,このスキルを制御条件下で分離し,テストする,完全自動対物評価フレームワークを提案する。
論文 参考訳（メタデータ） (2025-08-29T08:48:00Z) - How Useful are Reviews for Recommendation? A Critical Review and
Potential Improvements [8.471274313213092]
本稿では,レビューテキストを用いてレコメンデーションシステムの改善を目指す,新たな作業体系について検討する。
実験条件やデータ前処理に変化はあるものの, 論文間で結果がコピーされていることから, 報告結果にいくつかの相違点がみられた。
さらなる調査では、リコメンデーションのためのユーザレビューの"重要"に関して、はるかに大きな問題に関する議論が求められている。
論文 参考訳（メタデータ） (2020-05-25T16:30:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。