論文の概要: NLPeer: A Unified Resource for the Computational Study of Peer Review
- arxiv url: http://arxiv.org/abs/2211.06651v2
- Date: Fri, 19 May 2023 07:03:27 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-22 19:32:58.981871
- Title: NLPeer: A Unified Resource for the Computational Study of Peer Review
- Title（参考訳）: NLPeer: ピアレビューの計算研究のための統一リソース
- Authors: Nils Dycke, Ilia Kuznetsov, Iryna Gurevych
- Abstract要約: NLPeer - 5万以上の論文と5つの異なる会場からの1万1千件のレビューレポートからなる、初めて倫理的にソースされたマルチドメインコーパス。
従来のピアレビューデータセットを拡張し、解析および構造化された論文表現、豊富なメタデータ、バージョニング情報を含む。
我々の研究は、NLPなどにおけるピアレビューの体系的、多面的、エビデンスに基づく研究への道のりをたどっている。
- 参考スコア（独自算出の注目度）: 58.71736531356398
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Peer review constitutes a core component of scholarly publishing; yet it
demands substantial expertise and training, and is susceptible to errors and
biases. Various applications of NLP for peer reviewing assistance aim to
support reviewers in this complex process, but the lack of clearly licensed
datasets and multi-domain corpora prevent the systematic study of NLP for peer
review. To remedy this, we introduce NLPeer -- the first ethically sourced
multidomain corpus of more than 5k papers and 11k review reports from five
different venues. In addition to the new datasets of paper drafts, camera-ready
versions and peer reviews from the NLP community, we establish a unified data
representation and augment previous peer review datasets to include parsed and
structured paper representations, rich metadata and versioning information. We
complement our resource with implementations and analysis of three reviewing
assistance tasks, including a novel guided skimming task. Our work paves the
path towards systematic, multi-faceted, evidence-based study of peer review in
NLP and beyond. The data and code are publicly available.
- Abstract（参考訳）: ピアレビューは学術出版の中核的な要素であるが、かなりの専門知識と訓練を必要とし、誤りや偏見に影響を受けやすい。
ピアレビュー支援のためのNLPの様々な応用は、この複雑なプロセスにおいてレビュアーを支援することを目的としているが、明確にライセンスされたデータセットとマルチドメインコーパスの欠如は、ピアレビューのためのNLPの体系的な研究を妨げる。
この問題を解決するために、nlpeerを紹介します。nlpeerは、5k以上の論文と5つの異なる場所からの1kレビューレポートからなる、倫理的にオープンソース化された最初のマルチドメインコーパスです。
論文草案,カメラ対応版,nlpコミュニティのピアレビューの新しいデータセットに加えて,統一データ表現を確立し,従来のピアレビューデータセットを拡張して,解析および構造化された論文表現,リッチメタデータ,バージョニング情報を含める。
我々は,新しいガイドスキミングタスクを含む3つのレビュー支援タスクの実装と分析でリソースを補完する。
我々の研究は、NLPなどにおけるピアレビューの体系的、多面的、エビデンスに基づく研究への道を開く。
データとコードは公開されています。
関連論文リスト
- Re3: A Holistic Framework and Dataset for Modeling Collaborative Document Revision [62.12545440385489]
共同文書リビジョンを共同で分析するためのフレームワークであるRe3を紹介する。
本稿では,Re3-Sciについて紹介する。Re3-Sciは,その行動と意図に応じて手動でラベル付けされた科学的論文の大規模なコーパスである。
我々は,新しいデータを用いて,学術領域における共同文書改訂に関する実証的研究を行った。
論文 参考訳（メタデータ） (2024-05-31T21:19:09Z) - What Can Natural Language Processing Do for Peer Review? [173.8912784451817]
現代の科学ではピアレビューが広く使われているが、それは難しく、時間がかかり、エラーを起こしやすい。
ピアレビューに関わるアーティファクトは大部分がテキストベースであるため、自然言語処理はレビューを改善する大きな可能性を秘めている。
筆者らは、原稿提出からカメラ対応リビジョンまでの各工程について詳述し、NLP支援の課題と機会について論じる。
論文 参考訳（メタデータ） (2024-05-10T16:06:43Z) - A Literature Review of Literature Reviews in Pattern Analysis and Machine Intelligence [58.6354685593418]
本稿では, レビューを評価するために, 記事レベル, フィールド正規化, 大規模言語モデルを用いた書誌指標を提案する。
新たに登場したAI生成の文献レビューも評価されている。
この研究は、文学レビューの現在の課題についての洞察を与え、彼らの開発に向けた今後の方向性を思い起こさせる。
論文 参考訳（メタデータ） (2024-02-20T11:28:50Z) - Investigating Fairness Disparities in Peer Review: A Language Model
Enhanced Approach [77.61131357420201]
我々は、大規模言語モデル(LM)の助けを借りて、ピアレビューにおける公平性格差の徹底した厳密な研究を行う。
我々は、2017年から現在までのICLR(International Conference on Learning Representations)カンファレンスで、包括的なリレーショナルデータベースを収集、組み立て、維持しています。
我々は、著作者性別、地理、著作者、機関的名声など、興味のある複数の保護属性に対する公平性の違いを仮定し、研究する。
論文 参考訳（メタデータ） (2022-11-07T16:19:42Z) - Revise and Resubmit: An Intertextual Model of Text-based Collaboration
in Peer Review [52.359007622096684]
ピアレビューは、ほとんどの科学分野における出版プロセスの重要な要素である。
既存のNLP研究は個々のテキストの分析に重点を置いている。
編集補助は、しばしばテキストのペア間の相互作用をモデル化する必要がある。
論文 参考訳（メタデータ） (2022-04-22T16:39:38Z) - NLPContributions: An Annotation Scheme for Machine Reading of Scholarly
Contributions in Natural Language Processing Literature [0.0]
本稿では,自然言語処理(NLP)論文の学術的貢献を捉えるためのアノテーションイニシアチブについて述べる。
我々は,5つの情報抽出タスクへのコントリビューションを提示する50のNLP-ML学術論文に対するパイロット演習に基づくアノテーションタスクを開発する。
我々は,NLPコントリビューションの方法論が,そのさらなる洗練と発展に向けて,このトピックについてより広範な議論を巻き起こすことを想定する。
論文 参考訳（メタデータ） (2020-06-23T10:04:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。