論文の概要: MOPRD: A multidisciplinary open peer review dataset
- arxiv url: http://arxiv.org/abs/2212.04972v2
- Date: Tue, 14 Nov 2023 18:06:48 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-15 19:27:24.376968
- Title: MOPRD: A multidisciplinary open peer review dataset
- Title（参考訳）: MOPRD: 複数分野のオープンピアレビューデータセット
- Authors: Jialiang Lin, Jiaxin Song, Zhangping Zhou, Yidong Chen, Xiaodong Shi
- Abstract要約: オープン・ピア・レビューは学術出版物で増加傾向にある。
既存のピアレビューデータセットのほとんどは、ピアレビュープロセス全体をカバーするデータを提供していません。
複数分野のオープンピアレビューデータセットMOPRDを構築した。
- 参考スコア（独自算出の注目度）: 12.808751859133064
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Open peer review is a growing trend in academic publications. Public access
to peer review data can benefit both the academic and publishing communities.
It also serves as a great support to studies on review comment generation and
further to the realization of automated scholarly paper review. However, most
of the existing peer review datasets do not provide data that cover the whole
peer review process. Apart from this, their data are not diversified enough as
the data are mainly collected from the field of computer science. These two
drawbacks of the currently available peer review datasets need to be addressed
to unlock more opportunities for related studies. In response, we construct
MOPRD, a multidisciplinary open peer review dataset. This dataset consists of
paper metadata, multiple version manuscripts, review comments, meta-reviews,
author's rebuttal letters, and editorial decisions. Moreover, we propose a
modular guided review comment generation method based on MOPRD. Experiments
show that our method delivers better performance as indicated by both automatic
metrics and human evaluation. We also explore other potential applications of
MOPRD, including meta-review generation, editorial decision prediction, author
rebuttal generation, and scientometric analysis. MOPRD is a strong endorsement
for further studies in peer review-related research and other applications.
- Abstract（参考訳）: オープン・ピア・レビューは学術出版物で増加傾向にある。
ピアレビューデータへの公開アクセスは、学術コミュニティと出版コミュニティの両方にとって有益である。
また、レビューコメント生成の研究や、学術論文の自動レビューの実現にも貢献している。
しかしながら、既存のピアレビューデータセットのほとんどは、ピアレビュープロセス全体をカバーするデータを提供していません。
これとは別に、データは主にコンピュータ科学の分野から収集されるため、データの多様化は不十分である。
現在入手可能なピアレビューデータセットの2つの欠点は、関連する研究の機会を増やすために対処する必要がある。
そこで我々は,複数分野のオープンピアレビューデータセットMOPRDを構築した。
このデータセットは、紙のメタデータ、複数のバージョン原稿、レビューコメント、メタレビュー、著者の反論書簡、編集決定からなる。
また,MOPRDに基づくモジュール型レビューコメント生成手法を提案する。
実験の結果,自動測定と人的評価の両面から,本手法が優れた性能を実現することが示された。
また、メタレビュー生成、編集決定予測、著者属性生成、サイエントメトリック分析など、MOPRDの潜在的な応用についても検討する。
MOPRDは、ピアレビュー関連の研究やその他の応用におけるさらなる研究の強い支持である。
関連論文リスト
- Deep Transfer Learning Based Peer Review Aggregation and Meta-review Generation for Scientific Articles [2.0778556166772986]
論文の受理決定とメタレビュー生成という2つのピアレビューアグリゲーション課題に対処する。
まず,従来の機械学習アルゴリズムを適用し,受理決定のプロセスを自動化することを提案する。
メタレビュー生成では,T5モデルに基づく移動学習モデルを提案する。
論文 参考訳（メタデータ） (2024-10-05T15:40:37Z) - AgentReview: Exploring Peer Review Dynamics with LLM Agents [13.826819101545926]
本稿では,最初の大規模言語モデル(LLM)に基づくピアレビューシミュレーションフレームワークであるAgentReviewを紹介する。
本研究は、レビュアーの偏見による紙の判断の37.1%の顕著な変化を含む、重要な洞察を明らかにした。
論文 参考訳（メタデータ） (2024-06-18T15:22:12Z) - Peer Review as A Multi-Turn and Long-Context Dialogue with Role-Based Interactions [62.0123588983514]
大規模言語モデル(LLM)は様々な分野にまたがる幅広い応用を実証してきた。
我々は、ピアレビュープロセスを多ターン長文対話として再構築し、著者、レビュアー、意思決定者に対して異なる役割を担っている。
複数の情報源から収集された92,017件のレビューを含む26,841件の論文を含む包括的データセットを構築した。
論文 参考訳（メタデータ） (2024-06-09T08:24:17Z) - A Literature Review of Literature Reviews in Pattern Analysis and Machine Intelligence [58.6354685593418]
本稿では, レビューを評価するために, 記事レベル, フィールド正規化, 大規模言語モデルを用いた書誌指標を提案する。
新たに登場したAI生成の文献レビューも評価されている。
この研究は、文学レビューの現在の課題についての洞察を与え、彼らの開発に向けた今後の方向性を思い起こさせる。
論文 参考訳（メタデータ） (2024-02-20T11:28:50Z) - Scientific Opinion Summarization: Paper Meta-review Generation Dataset, Methods, and Evaluation [55.00687185394986]
本稿では,論文レビューをメタレビューに合成する,科学的意見要約の課題を提案する。
ORSUMデータセットは、47のカンファレンスから15,062のメタレビューと57,536の論文レビューをカバーしている。
実験の結果,(1)人間による要約は,議論の深みや特定の領域に対するコンセンサスや論争の特定など,必要な基準をすべて満たしていないこと,(2)タスクの分解と反復的自己調整の組み合わせは,意見の強化に強い可能性を示唆している。
論文 参考訳（メタデータ） (2023-05-24T02:33:35Z) - NLPeer: A Unified Resource for the Computational Study of Peer Review [58.71736531356398]
NLPeer - 5万以上の論文と5つの異なる会場からの1万1千件のレビューレポートからなる、初めて倫理的にソースされたマルチドメインコーパス。
従来のピアレビューデータセットを拡張し、解析および構造化された論文表現、豊富なメタデータ、バージョニング情報を含む。
我々の研究は、NLPなどにおけるピアレビューの体系的、多面的、エビデンスに基づく研究への道のりをたどっている。
論文 参考訳（メタデータ） (2022-11-12T12:29:38Z) - Yes-Yes-Yes: Donation-based Peer Reviewing Data Collection for ACL
Rolling Review and Beyond [58.71736531356398]
本稿では、ピアレビューデータについて詳細な議論を行い、ピアレビューデータ収集のための倫理的・法的デシダータの概要を述べるとともに、最初の継続的な寄付ベースのデータ収集ワークフローを提案する。
本稿では、ACL Rolling Reviewにおいて、このワークフローの現在進行中の実装について報告し、新たに収集したデータから得られた最初の洞察を提供する。
論文 参考訳（メタデータ） (2022-01-27T11:02:43Z) - Can We Automate Scientific Reviewing? [89.50052670307434]
我々は、最先端自然言語処理(NLP)モデルを用いて、科学論文の第一パスピアレビューを生成する可能性について論じる。
我々は、機械学習領域で論文のデータセットを収集し、各レビューでカバーされているさまざまなコンテンツに注釈を付け、レビューを生成するために論文を取り込み、ターゲットの要約モデルを訓練する。
総合的な実験結果から、システム生成レビューは、人間によるレビューよりも、論文の多くの側面に触れる傾向にあることが示された。
論文 参考訳（メタデータ） (2021-01-30T07:16:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。