論文の概要: NLPeer: A Unified Resource for the Computational Study of Peer Review
- arxiv url: http://arxiv.org/abs/2211.06651v2
- Date: Fri, 19 May 2023 07:03:27 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-22 19:32:58.981871
- Title: NLPeer: A Unified Resource for the Computational Study of Peer Review
- Title(参考訳): NLPeer: ピアレビューの計算研究のための統一リソース
- Authors: Nils Dycke, Ilia Kuznetsov, Iryna Gurevych
- Abstract要約: NLPeer - 5万以上の論文と5つの異なる会場からの1万1千件のレビューレポートからなる、初めて倫理的にソースされたマルチドメインコーパス。
従来のピアレビューデータセットを拡張し、解析および構造化された論文表現、豊富なメタデータ、バージョニング情報を含む。
我々の研究は、NLPなどにおけるピアレビューの体系的、多面的、エビデンスに基づく研究への道のりをたどっている。
- 参考スコア(独自算出の注目度): 58.71736531356398
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Peer review constitutes a core component of scholarly publishing; yet it
demands substantial expertise and training, and is susceptible to errors and
biases. Various applications of NLP for peer reviewing assistance aim to
support reviewers in this complex process, but the lack of clearly licensed
datasets and multi-domain corpora prevent the systematic study of NLP for peer
review. To remedy this, we introduce NLPeer -- the first ethically sourced
multidomain corpus of more than 5k papers and 11k review reports from five
different venues. In addition to the new datasets of paper drafts, camera-ready
versions and peer reviews from the NLP community, we establish a unified data
representation and augment previous peer review datasets to include parsed and
structured paper representations, rich metadata and versioning information. We
complement our resource with implementations and analysis of three reviewing
assistance tasks, including a novel guided skimming task. Our work paves the
path towards systematic, multi-faceted, evidence-based study of peer review in
NLP and beyond. The data and code are publicly available.
- Abstract(参考訳): ピアレビューは学術出版の中核的な要素であるが、かなりの専門知識と訓練を必要とし、誤りや偏見に影響を受けやすい。
ピアレビュー支援のためのNLPの様々な応用は、この複雑なプロセスにおいてレビュアーを支援することを目的としているが、明確にライセンスされたデータセットとマルチドメインコーパスの欠如は、ピアレビューのためのNLPの体系的な研究を妨げる。
この問題を解決するために、nlpeerを紹介します。nlpeerは、5k以上の論文と5つの異なる場所からの1kレビューレポートからなる、倫理的にオープンソース化された最初のマルチドメインコーパスです。
論文草案,カメラ対応版,nlpコミュニティのピアレビューの新しいデータセットに加えて,統一データ表現を確立し,従来のピアレビューデータセットを拡張して,解析および構造化された論文表現,リッチメタデータ,バージョニング情報を含める。
我々は,新しいガイドスキミングタスクを含む3つのレビュー支援タスクの実装と分析でリソースを補完する。
我々の研究は、NLPなどにおけるピアレビューの体系的、多面的、エビデンスに基づく研究への道を開く。
データとコードは公開されています。
関連論文リスト
- Reviewer assignment problem: A scoping review [0.0]
査読の質は、提出された論文に対して適切な審査員を募集する能力に依存する。
このようなレビュアーを見つけることは、いくつかの要因によりますます難しい課題となっている。
論文を「よく一致した」レビュアーと自動的に関連付けるための解決策が30年前から研究の対象となっている。
論文 参考訳(メタデータ) (2023-05-13T10:13:43Z) - Submission-Aware Reviewer Profiling for Reviewer Recommender System [26.382772998002523]
本稿では,潜在的レビュアーが出版する各要約から,研究対象のトピックと,そのトピックを研究対象とする明示的な文脈を学習する手法を提案する。
実験の結果,既存手法と比較して精度が向上した。
この新しいアプローチは、過去2年でトップレベルのカンファレンスで成功している。
論文 参考訳(メタデータ) (2022-11-08T12:18:02Z) - Investigating Fairness Disparities in Peer Review: A Language Model
Enhanced Approach [77.61131357420201]
我々は、大規模言語モデル(LM)の助けを借りて、ピアレビューにおける公平性格差の徹底した厳密な研究を行う。
我々は、2017年から現在までのICLR(International Conference on Learning Representations)カンファレンスで、包括的なリレーショナルデータベースを収集、組み立て、維持しています。
我々は、著作者性別、地理、著作者、機関的名声など、興味のある複数の保護属性に対する公平性の違いを仮定し、研究する。
論文 参考訳(メタデータ) (2022-11-07T16:19:42Z) - Revise and Resubmit: An Intertextual Model of Text-based Collaboration
in Peer Review [52.359007622096684]
ピアレビューは、ほとんどの科学分野における出版プロセスの重要な要素である。
既存のNLP研究は個々のテキストの分析に重点を置いている。
編集補助は、しばしばテキストのペア間の相互作用をモデル化する必要がある。
論文 参考訳(メタデータ) (2022-04-22T16:39:38Z) - Yes-Yes-Yes: Donation-based Peer Reviewing Data Collection for ACL
Rolling Review and Beyond [58.71736531356398]
本稿では、ピアレビューデータについて詳細な議論を行い、ピアレビューデータ収集のための倫理的・法的デシダータの概要を述べるとともに、最初の継続的な寄付ベースのデータ収集ワークフローを提案する。
本稿では、ACL Rolling Reviewにおいて、このワークフローの現在進行中の実装について報告し、新たに収集したデータから得られた最初の洞察を提供する。
論文 参考訳(メタデータ) (2022-01-27T11:02:43Z) - What's New? Summarizing Contributions in Scientific Literature [85.95906677964815]
本稿では,論文のコントリビューションと作業状況について,個別の要約を生成するために,論文要約のアンタングル化という新たなタスクを導入する。
本稿では,学術論文のS2ORCコーパスを拡張し,コントリビューション・コントリビューション・コントリビューション・レファレンス・ラベルを付加する。
本稿では, 生成した出力の関連性, 新規性, 絡み合いを報告する総合的自動評価プロトコルを提案する。
論文 参考訳(メタデータ) (2020-11-06T02:23:01Z) - Hierarchical Bi-Directional Self-Attention Networks for Paper Review
Rating Recommendation [81.55533657694016]
本稿では,階層型双方向自己注意ネットワークフレームワーク(HabNet)を提案する。
具体的には、文エンコーダ(レベル1)、レビュー内エンコーダ(レベル2)、レビュー間エンコーダ(レベル3)の3つのレベルで、論文レビューの階層構造を利用する。
我々は、最終的な受理決定を行う上で有用な予測者を特定することができ、また、数値的なレビュー評価とレビュアーが伝えるテキストの感情の不整合を発見するのに役立てることができる。
論文 参考訳(メタデータ) (2020-11-02T08:07:50Z) - NLPContributions: An Annotation Scheme for Machine Reading of Scholarly
Contributions in Natural Language Processing Literature [0.0]
本稿では,自然言語処理(NLP)論文の学術的貢献を捉えるためのアノテーションイニシアチブについて述べる。
我々は,5つの情報抽出タスクへのコントリビューションを提示する50のNLP-ML学術論文に対するパイロット演習に基づくアノテーションタスクを開発する。
我々は,NLPコントリビューションの方法論が,そのさらなる洗練と発展に向けて,このトピックについてより広範な議論を巻き起こすことを想定する。
論文 参考訳(メタデータ) (2020-06-23T10:04:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。