論文の概要: When Evidence Conflicts: Reliability-aware Meta-review Generation
- arxiv url: http://arxiv.org/abs/2609.24028v1
- Date: Mon, 21 Sep 2026 02:50:49 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-22 20:29:01.04428
- Title: When Evidence Conflicts: Reliability-aware Meta-review Generation
- Title（参考訳）: Evidence Conflict: Reliability-Aware Meta-Review Generation
- Abstract要約: 信頼性を意識したエビデンスアグリゲーションによるメタレビュー生成について検討する。
本フレームワークは,まずピアレビューからアスペクトレベルの意見を抽出し,各側面における矛盾する証拠を同定する。
そして、証拠の信頼性を測定するために、意見レベルのサポートとレビューレベルの品質を見積もる。
- 参考スコア（独自算出の注目度）: 9.347748161446704
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Generating coherent meta-reviews from multiple peer reviews is challenging when reviewer evidence conflicts and varies in reliability. Existing approaches typically formulate meta-review generation as a multi-document summarization task and aggregate reviewer feedback uniformly, making it difficult to determine which opinions should be prioritized under disagreement. In this paper, we study meta-review generation through reliability-aware evidence aggregation. Our framework first extracts aspect-level opinions from peer reviews and identifies conflicting evidence within each aspect. It then estimates opinion-level support and review-level quality to measure evidence reliability. Based on these signals, the framework assigns reliability-aware weights to reviewer feedback, enabling the generator to prioritize better-supported arguments while preserving diverse perspectives. Experiments demonstrate that our method consistently improves meta-review generation over strong baselines on both automatic and human evaluations, with clear gains in conflict recognition and resolution under high-conflict review scenarios. The code and implementation details are publicly available at https://github.com/Wangxz729/reliability-aware-meta-review.
- Abstract（参考訳）: 複数のピアレビューからコヒーレントなメタレビューを生成することは、レビュアーが矛盾し、信頼性が変化するときに困難である。
既存のアプローチでは、多文書要約タスクや集約レビュアーのフィードバックとしてメタレビュー生成を定式化しており、意見の不一致の下でどの意見に優先順位をつけるべきかを判断することは困難である。
本稿では,信頼性を考慮した証拠収集によるメタレビュー生成について検討する。
本フレームワークは,まずピアレビューからアスペクトレベルの意見を抽出し,各側面における矛盾する証拠を同定する。
そして、証拠の信頼性を測定するために、意見レベルのサポートとレビューレベルの品質を見積もる。
これらの信号に基づいて、このフレームワークは信頼性に配慮した重み付けをレビュアーのフィードバックに割り当てる。
提案手法は, 自動評価と人的評価の両面において, メタレビュー生成を常に改善し, コンフリクト認識と高コンフリクトレビューのシナリオ下での解決の明確な向上を実証した。
コードと実装の詳細はhttps://github.com/Wangxz729/reliability-aware-meta-review.comで公開されている。
関連論文リスト
- ActReview: Rebuttal-Guided Training Data and Rubric Rewards for Actionable Peer Review Generation [54.82704239643649]
本稿では, 紙固有の診断と具体的, 基礎的なリビジョン計画とを結びつける, 反感に満ちたポストトレーニングフレームワークである ActReview を紹介する。
我々の中心的な洞察は、著者の反論は、レビュアーの懸念に対処するための妥当な行動を明らかにし、それゆえ、リビジョン指向のフィードバックに対する潜在的な監督を提供することができるということである。
またActReview-Benchは、診断品質とリビジョンの有用性を評価するために、1,000インスタンスの人為的なベンチマークである。
論文 参考訳（メタデータ） (2026-09-08T17:30:16Z) - Metag: A dataset to build agentic meta-reviewing capabilities [9.89538433423377]
本稿では,レビュー・リビューの過程における科学論文の変更を識別するためのデータセットであるMetagを紹介する。
得られたデータセットは、紙の違いに結びつく349の高品質なアクションアイテムで構成されている。
論文 参考訳（メタデータ） (2026-08-20T18:19:03Z) - ReviewGrounder: Improving Review Substantiveness with Rubric-Guided, Tool-Integrated Agents [50.27474750319121]
公式ガイドライン、論文の内容、人間によるレビューから派生した、紙固有のルーリックに従ってテキストをレビューする。
本稿では、公式ガイドライン、論文の内容、人手によるレビューに基づいて、レビューテキストを評価するベンチマークであるREVIEWBENCHを紹介する。
本稿では,レビューを起草段階と接地段階に分解するルーリック誘導ツール統合マルチエージェントフレームワークであるREVIEWGROUNDERを提案する。
論文 参考訳（メタデータ） (2026-04-15T16:33:04Z) - What Drives Paper Acceptance? A Process-Centric Analysis of Modern Peer Review [2.9282248958475345]
ICLR 2017-2025の大規模な実証研究を行い、28,000件以上の提出書を提出した。
以上の結果から,科学的新奇性以外の要因が受容結果を著しく形作っていることが示唆された。
著者,レビュアー,メタレビュアーに対して,ピアレビューにおける透明性と公正性を高めるためのデータ駆動ガイドラインを提案する。
論文 参考訳（メタデータ） (2025-09-30T03:00:10Z) - Decomposed Opinion Summarization with Verified Aspect-Aware Modules [82.38097397662436]
レビューの観点から,ドメインに依存しないモジュラーアプローチを提案する。
科学研究、ビジネス、製品ドメインを表すデータセットをまたいだ実験を行います。
論文 参考訳（メタデータ） (2025-01-27T09:29:55Z) - Scientific Opinion Summarization: Paper Meta-review Generation Dataset, Methods, and Evaluation [55.00687185394986]
本稿では,論文レビューをメタレビューに合成する,科学的意見要約の課題を提案する。
ORSUMデータセットは、47のカンファレンスから15,062のメタレビューと57,536の論文レビューをカバーしている。
実験の結果,(1)人間による要約は,議論の深みや特定の領域に対するコンセンサスや論争の特定など,必要な基準をすべて満たしていないこと,(2)タスクの分解と反復的自己調整の組み合わせは,意見の強化に強い可能性を示唆している。
論文 参考訳（メタデータ） (2023-05-24T02:33:35Z) - Summarizing Multiple Documents with Conversational Structure for
Meta-Review Generation [45.9443710073576]
学術論文のメタレビューを作成するための新しいデータセットであるPeerSumを提示する。
Rammerは、会話構造に基づくスパースアテンションと、メタデータ機能を予測するトレーニング目標を利用するモデルである。
論文 参考訳（メタデータ） (2023-05-02T15:18:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。