論文の概要: EchoReview: Learning Peer Review from the Echoes of Scientific Citations
- arxiv url: http://arxiv.org/abs/2602.00733v1
- Date: Sat, 31 Jan 2026 13:55:38 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-02-03 19:28:33.362306
- Title: EchoReview: Learning Peer Review from the Echoes of Scientific Citations
- Title(参考訳): EchoReview: 科学的シチュエーションのエコーから学ぶペアレビュー
- Authors: Yinuo Zhang, Dingcheng Huang, Haifeng Suo, Yizhuo Li, Ziya Zhao, Junhao Xu, Zhiying Tu, Dianhui Chu, Deming Zhai, Xianming Liu, Xiaoyan Yu, Dianbo Sui,
- Abstract要約: EchoReviewは引用コンテキスト駆動のデータ合成フレームワークである。
科学界の長期的な判断を構造化されたレビュースタイルのデータに変換する。
これは、エビデンスのサポートや包括的なレビューのような中核的なレビューの側面において、大きく安定した改善を達成できます。
- 参考スコア(独自算出の注目度): 48.852960317704486
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: As the volume of scientific submissions continues to grow rapidly, traditional peer review systems are facing unprecedented scalability pressures, highlighting the urgent need for automated reviewing methods that are both scalable and reliable. Existing supervised fine-tuning approaches based on real review data are fundamentally constrained by single-source of data as well as the inherent subjectivity and inconsistency of human reviews, limiting their ability to support high-quality automated reviewers. To address these issues, we propose EchoReview, a citation-context-driven data synthesis framework that systematically mines implicit collective evaluative signals from academic citations and transforms scientific community's long-term judgments into structured review-style data. Based on this pipeline, we construct EchoReview-16K, the first large-scale, cross-conference, and cross-year citation-driven review dataset, and train an automated reviewer, EchoReviewer-7B. Experimental results demonstrate that EchoReviewer-7B can achieve significant and stable improvements on core review dimensions such as evidence support and review comprehensiveness, validating citation context as a robust and effective data paradigm for reliable automated peer review.
- Abstract(参考訳): 科学的提出の量が急速に増え続けている中、従来のピアレビューシステムは前例のないスケーラビリティのプレッシャーに直面しており、スケーラブルで信頼性の高い自動レビュー方法の緊急の必要性を強調している。
実際のレビューデータに基づく教師付き微調整アプローチは、基本的にはデータの単一ソースと人間レビューの固有の主観性と矛盾によって制約され、高品質な自動レビュアーをサポートする能力は制限される。
これらの課題に対処するために,学術的な引用から暗黙的な集団評価信号を体系的にマイニングし,科学コミュニティの長期的判断を構造化されたレビュースタイルのデータに変換する,引用コンテキスト駆動型データ合成フレームワークであるEchoReviewを提案する。
このパイプラインに基づいて,最初の大規模,クロスコンファレンス,年単位の引用駆動レビューデータセットであるEchoReviewer-16Kを構築し,自動レビュアであるEchoReviewer-7Bをトレーニングする。
実験結果から,EchoReviewer-7Bは,エビデンスサポートやレビューの包括性,引用コンテキストを信頼性の高い自動ピアレビューのための堅牢で効果的なデータパラダイムとして検証するなど,コアレビューの面において,大幅な,安定した改善を達成できることが示された。
関連論文リスト
- ReviewGuard: Enhancing Deficient Peer Review Detection via LLM-Driven Data Augmentation [3.9199635838637072]
ReviewGuardは、欠陥レビューを検出して分類する自動化システムである。
最終コーパスは6,634枚、実際のレビュー24,657枚、合成レビュー46,438枚である。
不十分なレビューでは、評価スコアの低下、自己報告の信頼性の向上、構造的な複雑さの低減、ネガティブな感情の比率の向上が示されています。
論文 参考訳(メタデータ) (2025-10-18T15:45:26Z) - What Drives Paper Acceptance? A Process-Centric Analysis of Modern Peer Review [2.9282248958475345]
ICLR 2017-2025の大規模な実証研究を行い、28,000件以上の提出書を提出した。
以上の結果から,科学的新奇性以外の要因が受容結果を著しく形作っていることが示唆された。
著者,レビュアー,メタレビュアーに対して,ピアレビューにおける透明性と公正性を高めるためのデータ駆動ガイドラインを提案する。
論文 参考訳(メタデータ) (2025-09-30T03:00:10Z) - Re$^2$: A Consistency-ensured Dataset for Full-stage Peer Review and Multi-turn Rebuttal Discussions [2.5226834810382113]
一貫性に保証された最大のピアレビューと、Re2というリビューデータセットを紹介します。
このデータセットは、最初の投稿19,926件、レビューコメント70,668件、OpenReviewに関する24のカンファレンスと21のワークショップからの53,818件からなる。
論文 参考訳(メタデータ) (2025-05-12T16:02:52Z) - LazyReview A Dataset for Uncovering Lazy Thinking in NLP Peer Reviews [74.87393214734114]
この研究は、微粒な遅延思考カテゴリで注釈付けされたピアレビュー文のデータセットであるLazyReviewを紹介している。
大規模言語モデル(LLM)は、ゼロショット設定でこれらのインスタンスを検出するのに苦労する。
命令ベースのデータセットの微調整により、パフォーマンスが10~20ポイント向上する。
論文 参考訳(メタデータ) (2025-04-15T10:07:33Z) - Paper Quality Assessment based on Individual Wisdom Metrics from Open Peer Review [4.35783648216893]
従来のクローズドピアレビューシステムは遅く、コストがかかり、透明ではない。
我々は、オープンなボトムアッププロセスを通じて、科学的ピアレビューの代替形態の有効性と正確性を提案し、検証する。
論文 参考訳(メタデータ) (2025-01-22T17:00:27Z) - GLIMPSE: Pragmatically Informative Multi-Document Summarization for Scholarly Reviews [25.291384842659397]
本稿では,学術レビューの簡潔かつ包括的概要を提供するための要約手法であるsysを紹介する。
従来のコンセンサスに基づく手法とは異なり、sysは共通の意見とユニークな意見の両方をレビューから抽出する。
論文 参考訳(メタデータ) (2024-06-11T15:27:01Z) - Ranking Scientific Papers Using Preference Learning [48.78161994501516]
我々はこれをピアレビューテキストとレビュアースコアに基づく論文ランキング問題とみなした。
ピアレビューに基づいて最終決定を行うための,新しい多面的総合評価フレームワークを提案する。
論文 参考訳(メタデータ) (2021-09-02T19:41:47Z) - Hierarchical Bi-Directional Self-Attention Networks for Paper Review
Rating Recommendation [81.55533657694016]
本稿では,階層型双方向自己注意ネットワークフレームワーク(HabNet)を提案する。
具体的には、文エンコーダ(レベル1)、レビュー内エンコーダ(レベル2)、レビュー間エンコーダ(レベル3)の3つのレベルで、論文レビューの階層構造を利用する。
我々は、最終的な受理決定を行う上で有用な予測者を特定することができ、また、数値的なレビュー評価とレビュアーが伝えるテキストの感情の不整合を発見するのに役立てることができる。
論文 参考訳(メタデータ) (2020-11-02T08:07:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。