論文の概要: FMMD: A multimodal open peer review dataset based on F1000Research
- arxiv url: http://arxiv.org/abs/2602.14285v1
- Date: Sun, 15 Feb 2026 19:36:05 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-02-17 16:22:49.937757
- Title: FMMD: A multimodal open peer review dataset based on F1000Research
- Title(参考訳): FMMD:F1000Researchに基づくマルチモーダルオープンピアレビューデータセット
- Authors: Zhenzhen Zhuang, Yuqing Fu, Jing Zhu, Zhangping Zhou, Jialiang Lin,
- Abstract要約: FMMDはF1000Researchから収集されたマルチモーダルで多分野のオープンピアレビューデータセットである。
原稿レベルの視覚的および構造的なデータと、バージョン固有のレビュアーレポートと編集決定を統合することで、現在のギャップを埋める。
ピアレビュー研究の発展のための総合的な実証資料を提供する。
- 参考スコア(独自算出の注目度): 2.375184015411392
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Automated scholarly paper review (ASPR) has entered the coexistence phase with traditional peer review, where artificial intelligence (AI) systems are increasingly incorporated into real-world manuscript evaluation. In parallel, research on automated and AI-assisted peer review has proliferated. Despite this momentum, empirical progress remains constrained by several critical limitations in existing datasets. While reviewers routinely evaluate figures, tables, and complex layouts to assess scientific claims, most existing datasets remain overwhelmingly text-centric. This bias is reinforced by a narrow focus on data from computer science venues. Furthermore, these datasets lack precise alignment between reviewer comments and specific manuscript versions, obscuring the iterative relationship between peer review and manuscript evolution. In response, we introduce FMMD, a multimodal and multidisciplinary open peer review dataset curated from F1000Research. The dataset bridges the current gap by integrating manuscript-level visual and structural data with version-specific reviewer reports and editorial decisions. By providing explicit alignment between reviewer comments and the exact article iteration under review, FMMD enables fine-grained analysis of the peer review lifecycle across diverse scientific domains. FMMD supports tasks such as multimodal issue detection and multimodal review comment generation. It provides a comprehensive empirical resource for the development of peer review research.
- Abstract(参考訳): 学術論文自動レビュー(ASPR)は従来のピアレビューと共存する段階に入り、人工知能(AI)システムは現実の原稿評価にますます取り入れられている。
並行して、自動化およびAI支援ピアレビューの研究が増加している。
この勢いにもかかわらず、経験的な進歩は既存のデータセットにおけるいくつかの重要な制限によって制限されている。
レビュアーは科学的な主張を評価するために数字、表、複雑なレイアウトを定期的に評価するが、既存のデータセットのほとんどは圧倒的にテキスト中心のままである。
このバイアスは、コンピュータサイエンスの会場のデータに焦点を絞ることによって強化されている。
さらに、これらのデータセットはレビュアーのコメントと特定の原稿バージョンとを正確に一致させておらず、ピアレビューと原稿の進化の間に反復的な関係を欠いている。
そこで本研究では,F1000Researchから収集したマルチモーダル・マルチディシプリナ・オープン・ピアレビューデータセットであるFMMDを紹介する。
このデータセットは、原稿レベルの視覚的および構造的なデータと、バージョン固有のレビュアーレポートと編集決定を統合することで、現在のギャップを埋める。
レビュー中のレビュアーコメントと記事の正確なイテレーションを明確に一致させることで、FMMDはさまざまな科学的領域にわたるピアレビューライフサイクルのきめ細かい分析を可能にする。
FMMDはマルチモーダル問題検出やマルチモーダルレビューコメント生成などのタスクをサポートする。
ピアレビュー研究の発展のための総合的な実証資料を提供する。
関連論文リスト
- Is Peer Review Really in Decline? Analyzing Review Quality across Venues and Time [55.756345497678204]
本稿では,エビデンスに基づくレビュー品質の比較研究のための新しいフレームワークを提案する。
ICLR、NeurIPS、*ACLといった主要なAIおよび機械学習のカンファレンスに適用します。
レビュー品質の測定値と時間経過に伴うその進化の関係について検討する。
論文 参考訳(メタデータ) (2026-01-21T16:48:29Z) - Paper Copilot: Tracking the Evolution of Peer Review in AI Conferences [10.900405397994687]
本稿では,多岐にわたるコンピュータサイエンスの会場において,ピアレビューの永続的なデジタルアーカイブを作成するシステムPaper Copilotを紹介する。
インフラストラクチャとデータセットの両方をリリースすることにより、Paper Copilotはピアレビューの進化に関する再現可能な研究をサポートする。
論文 参考訳(メタデータ) (2025-10-15T06:41:06Z) - What Drives Paper Acceptance? A Process-Centric Analysis of Modern Peer Review [2.9282248958475345]
ICLR 2017-2025の大規模な実証研究を行い、28,000件以上の提出書を提出した。
以上の結果から,科学的新奇性以外の要因が受容結果を著しく形作っていることが示唆された。
著者,レビュアー,メタレビュアーに対して,ピアレビューにおける透明性と公正性を高めるためのデータ駆動ガイドラインを提案する。
論文 参考訳(メタデータ) (2025-09-30T03:00:10Z) - Peer Review as A Multi-Turn and Long-Context Dialogue with Role-Based Interactions [62.0123588983514]
大規模言語モデル(LLM)は様々な分野にまたがる幅広い応用を実証してきた。
我々は、ピアレビュープロセスを多ターン長文対話として再構築し、著者、レビュアー、意思決定者に対して異なる役割を担っている。
複数の情報源から収集された92,017件のレビューを含む26,841件の論文を含む包括的データセットを構築した。
論文 参考訳(メタデータ) (2024-06-09T08:24:17Z) - A Literature Review of Literature Reviews in Pattern Analysis and Machine Intelligence [51.26815896167173]
本稿では,3つの相補的な側面からPAMIレビューを総合的に分析する。
我々の分析は、現在のレビューの実践において、独特の組織パターンと永続的なギャップを明らかにします。
最後に、最先端のAI生成レビューの評価は、コヒーレンスと組織の進歩を奨励していることを示している。
論文 参考訳(メタデータ) (2024-02-20T11:28:50Z) - MOPRD: A multidisciplinary open peer review dataset [12.808751859133064]
オープン・ピア・レビューは学術出版物で増加傾向にある。
既存のピアレビューデータセットのほとんどは、ピアレビュープロセス全体をカバーするデータを提供していません。
複数分野のオープンピアレビューデータセットMOPRDを構築した。
論文 参考訳(メタデータ) (2022-12-09T16:35:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。