論文の概要: Re$^2$: A Consistency-ensured Dataset for Full-stage Peer Review and Multi-turn Rebuttal Discussions

• arxiv url: http://arxiv.org/abs/2505.07920v1
• Date: Mon, 12 May 2025 16:02:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-14 20:57:54.284613
• Title: Re$^2$: A Consistency-ensured Dataset for Full-stage Peer Review and Multi-turn Rebuttal Discussions
• Title（参考訳）: Re$^2$:フルステージピアレビューとマルチターンリビューのための一貫性保証データセット
• Authors: Daoze Zhang, Zhijian Bao, Sihang Du, Zhiyi Zhao, Kuangling Zhang, Dezheng Bao, Yang Yang,
• Abstract要約: 一貫性に保証された最大のピアレビューと、Re2というリビューデータセットを紹介します。 このデータセットは、最初の投稿19,926件、レビューコメント70,668件、OpenReviewに関する24のカンファレンスと21のワークショップからの53,818件からなる。
• 参考スコア（独自算出の注目度）: 2.5226834810382113
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Peer review is a critical component of scientific progress in the fields like AI, but the rapid increase in submission volume has strained the reviewing system, which inevitably leads to reviewer shortages and declines review quality. Besides the growing research popularity, another key factor in this overload is the repeated resubmission of substandard manuscripts, largely due to the lack of effective tools for authors to self-evaluate their work before submission. Large Language Models (LLMs) show great promise in assisting both authors and reviewers, and their performance is fundamentally limited by the quality of the peer review data. However, existing peer review datasets face three major limitations: (1) limited data diversity, (2) inconsistent and low-quality data due to the use of revised rather than initial submissions, and (3) insufficient support for tasks involving rebuttal and reviewer-author interactions. To address these challenges, we introduce the largest consistency-ensured peer review and rebuttal dataset named Re^2, which comprises 19,926 initial submissions, 70,668 review comments, and 53,818 rebuttals from 24 conferences and 21 workshops on OpenReview. Moreover, the rebuttal and discussion stage is framed as a multi-turn conversation paradigm to support both traditional static review tasks and dynamic interactive LLM assistants, providing more practical guidance for authors to refine their manuscripts and helping alleviate the growing review burden. Our data and code are available in https://anonymous.4open.science/r/ReviewBench_anon/.
• Abstract（参考訳）: ピアレビューは、AIのような分野における科学的進歩の重要な要素であるが、提出量の増加がレビューシステムを圧迫し、必然的にレビューの不足とレビュー品質の低下につながっている。 研究の人気の高まりに加えて、このオーバーロードのもう一つの重要な要因は、サブスタンダードの原稿の再提出が繰り返されることであり、主に著者が提出する前に自分の作品を自己評価するための効果的なツールが欠如していることによる。 大規模言語モデル(LLM)は、著者とレビュアーの両方を支援する上で非常に有望であり、そのパフォーマンスはピアレビューデータの品質によって根本的に制限されている。 しかし,既存のピアレビューデータセットには,(1)データ多様性の制限,(2)初期提出よりむしろ改訂されたデータの使用による不整合・低品質データ,(3)反感・レビュアー・オーサリングを含むタスクに対する不十分なサポート,の3つの大きな制限がある。 これらの課題に対処するため、24のカンファレンスと21のワークショップから、19,926のイニシャルサブミッション、70,668のレビューコメント、53,818のリビューを含む、一貫性に保証された最大のピアレビューとリビューデータセットであるRe^2を紹介した。 さらに、従来の静的レビュータスクと動的対話型LCMアシスタントの両方をサポートするマルチターン会話パラダイムとして、反論と議論のステージが設定されており、著者が原稿を洗練させ、レビューの負担を軽減し、より実践的なガイダンスを提供する。 我々のデータとコードはhttps://anonymous.4open.science/r/ReviewBench_anon/で利用可能です。

関連論文リスト

• LazyReview A Dataset for Uncovering Lazy Thinking in NLP Peer Reviews [74.87393214734114]
  この研究は、微粒な遅延思考カテゴリで注釈付けされたピアレビュー文のデータセットであるLazyReviewを紹介している。 大規模言語モデル(LLM)は、ゼロショット設定でこれらのインスタンスを検出するのに苦労する。 命令ベースのデータセットの微調整により、パフォーマンスが10～20ポイント向上する。
  論文  参考訳（メタデータ） (2025-04-15T10:07:33Z)
• Understanding and Supporting Peer Review Using AI-reframed Positive Summary [18.686807993563168]
  本研究は,筆記作業のピアレビューに自動生成された肯定的な要約を付加することの影響について検討した。 さもなくば過酷なフィードバックにAIを再構成した肯定的な要約を加えると、著者の批判的受け入れが増大することがわかった。 我々は、ピアフィードバックにおけるAIの利用の意味について論じ、それが批判的受容にどのように影響するかに注目し、研究コミュニティを支援する。
  論文  参考訳（メタデータ） (2025-03-13T11:22:12Z)
• When Reviewers Lock Horn: Finding Disagreement in Scientific Peer Reviews [24.875901048855077]
  本稿では,ある記事のレビュアー間での矛盾を自動的に識別する新しいタスクを紹介する。 我々の知識を最大限に活用するために、ピアレビュアー間での意見の不一致を自動的に識別する最初の試みを行う。
  論文  参考訳（メタデータ） (2023-10-28T11:57:51Z)
• Scientific Opinion Summarization: Paper Meta-review Generation Dataset, Methods, and Evaluation [55.00687185394986]
  本稿では,論文レビューをメタレビューに合成する,科学的意見要約の課題を提案する。 ORSUMデータセットは、47のカンファレンスから15,062のメタレビューと57,536の論文レビューをカバーしている。 実験の結果,(1)人間による要約は,議論の深みや特定の領域に対するコンセンサスや論争の特定など,必要な基準をすべて満たしていないこと,(2)タスクの分解と反復的自己調整の組み合わせは,意見の強化に強い可能性を示唆している。
  論文  参考訳（メタデータ） (2023-05-24T02:33:35Z)
• MOPRD: A multidisciplinary open peer review dataset [12.808751859133064]
  オープン・ピア・レビューは学術出版物で増加傾向にある。 既存のピアレビューデータセットのほとんどは、ピアレビュープロセス全体をカバーするデータを提供していません。 複数分野のオープンピアレビューデータセットMOPRDを構築した。
  論文  参考訳（メタデータ） (2022-12-09T16:35:14Z)
• Yes-Yes-Yes: Donation-based Peer Reviewing Data Collection for ACL Rolling Review and Beyond [58.71736531356398]
  本稿では、ピアレビューデータについて詳細な議論を行い、ピアレビューデータ収集のための倫理的・法的デシダータの概要を述べるとともに、最初の継続的な寄付ベースのデータ収集ワークフローを提案する。 本稿では、ACL Rolling Reviewにおいて、このワークフローの現在進行中の実装について報告し、新たに収集したデータから得られた最初の洞察を提供する。
  論文  参考訳（メタデータ） (2022-01-27T11:02:43Z)
• Ranking Scientific Papers Using Preference Learning [48.78161994501516]
  我々はこれをピアレビューテキストとレビュアースコアに基づく論文ランキング問題とみなした。 ピアレビューに基づいて最終決定を行うための,新しい多面的総合評価フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-09-02T19:41:47Z)
• Can We Automate Scientific Reviewing? [89.50052670307434]
  我々は、最先端自然言語処理(NLP)モデルを用いて、科学論文の第一パスピアレビューを生成する可能性について論じる。 我々は、機械学習領域で論文のデータセットを収集し、各レビューでカバーされているさまざまなコンテンツに注釈を付け、レビューを生成するために論文を取り込み、ターゲットの要約モデルを訓練する。 総合的な実験結果から、システム生成レビューは、人間によるレビューよりも、論文の多くの側面に触れる傾向にあることが示された。
  論文  参考訳（メタデータ） (2021-01-30T07:16:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。