論文の概要: NLPeer: A Unified Resource for the Computational Study of Peer Review
- arxiv url: http://arxiv.org/abs/2211.06651v1
- Date: Sat, 12 Nov 2022 12:29:38 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-15 17:20:38.115814
- Title: NLPeer: A Unified Resource for the Computational Study of Peer Review
- Title(参考訳): NLPeer: ピアレビューの計算研究のための統一リソース
- Authors: Nils Dycke, Ilia Kuznetsov, Iryna Gurevych
- Abstract要約: NLPeerは、5つの異なる会場から5k以上の論文と11kのレビューレポートからなる、初めて倫理的にソースされたマルチドメインコーパスである。
我々の研究は、NLPなどにおけるピアレビューの体系的、多面的、エビデンスに基づく研究への道のりをたどっている。
- 参考スコア(独自算出の注目度): 58.71736531356398
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Peer review is a core component of scholarly publishing, yet it is
time-consuming, requires considerable expertise, and is prone to error. The
applications of NLP for peer reviewing assistance aim to mitigate those issues,
but the lack of clearly licensed datasets and multi-domain corpora prevent the
systematic study of NLP for peer review. To remedy this, we introduce NLPeer --
the first ethically sourced multidomain corpus of more than 5k papers and 11k
review reports from five different venues. In addition to the new datasets of
paper drafts, camera-ready versions and peer reviews from the NLP community, we
establish a unified data representation, and augment previous peer review
datasets to include parsed, structured paper representations, rich metadata and
versioning information. Our work paves the path towards systematic,
multi-faceted, evidence-based study of peer review in NLP and beyond. We make
NLPeer publicly available.
- Abstract(参考訳): ピアレビューは学術出版の中核的な要素であるが、時間がかかり、かなりの専門知識が必要であり、誤りを起こしやすい。
NLPのピアレビュー支援への応用は、これらの問題を緩和することを目的としているが、明確にライセンスされたデータセットとマルチドメインコーパスの欠如は、ピアレビューのためのNLPの体系的な研究を妨げる。
この問題を解決するために,5K以上の論文と5つの異なる会場から11kレビューレポートを作成したNLPeerを紹介した。
論文草案,カメラ対応版,nlpコミュニティのピアレビューの新しいデータセットに加えて,統一データ表現を確立し,従来のピアレビューデータセットを拡張し,解析,構造化された紙表現,リッチなメタデータ,バージョニング情報を含める。
我々の研究は、NLPなどにおけるピアレビューの体系的、多面的、エビデンスに基づく研究への道を開く。
NLPeerを公開しています。
関連論文リスト
- Reviewer assignment problem: A scoping review [0.0]
査読の質は、提出された論文に対して適切な審査員を募集する能力に依存する。
このようなレビュアーを見つけることは、いくつかの要因によりますます難しい課題となっている。
論文を「よく一致した」レビュアーと自動的に関連付けるための解決策が30年前から研究の対象となっている。
論文 参考訳(メタデータ) (2023-05-13T10:13:43Z) - Submission-Aware Reviewer Profiling for Reviewer Recommender System [26.382772998002523]
本稿では,潜在的レビュアーが出版する各要約から,研究対象のトピックと,そのトピックを研究対象とする明示的な文脈を学習する手法を提案する。
実験の結果,既存手法と比較して精度が向上した。
この新しいアプローチは、過去2年でトップレベルのカンファレンスで成功している。
論文 参考訳(メタデータ) (2022-11-08T12:18:02Z) - Investigating Fairness Disparities in Peer Review: A Language Model
Enhanced Approach [77.61131357420201]
我々は、大規模言語モデル(LM)の助けを借りて、ピアレビューにおける公平性格差の徹底した厳密な研究を行う。
我々は、2017年から現在までのICLR(International Conference on Learning Representations)カンファレンスで、包括的なリレーショナルデータベースを収集、組み立て、維持しています。
我々は、著作者性別、地理、著作者、機関的名声など、興味のある複数の保護属性に対する公平性の違いを仮定し、研究する。
論文 参考訳(メタデータ) (2022-11-07T16:19:42Z) - Revise and Resubmit: An Intertextual Model of Text-based Collaboration
in Peer Review [52.359007622096684]
ピアレビューは、ほとんどの科学分野における出版プロセスの重要な要素である。
既存のNLP研究は個々のテキストの分析に重点を置いている。
編集補助は、しばしばテキストのペア間の相互作用をモデル化する必要がある。
論文 参考訳(メタデータ) (2022-04-22T16:39:38Z) - Yes-Yes-Yes: Donation-based Peer Reviewing Data Collection for ACL
Rolling Review and Beyond [58.71736531356398]
本稿では、ピアレビューデータについて詳細な議論を行い、ピアレビューデータ収集のための倫理的・法的デシダータの概要を述べるとともに、最初の継続的な寄付ベースのデータ収集ワークフローを提案する。
本稿では、ACL Rolling Reviewにおいて、このワークフローの現在進行中の実装について報告し、新たに収集したデータから得られた最初の洞察を提供する。
論文 参考訳(メタデータ) (2022-01-27T11:02:43Z) - What's New? Summarizing Contributions in Scientific Literature [85.95906677964815]
本稿では,論文のコントリビューションと作業状況について,個別の要約を生成するために,論文要約のアンタングル化という新たなタスクを導入する。
本稿では,学術論文のS2ORCコーパスを拡張し,コントリビューション・コントリビューション・コントリビューション・レファレンス・ラベルを付加する。
本稿では, 生成した出力の関連性, 新規性, 絡み合いを報告する総合的自動評価プロトコルを提案する。
論文 参考訳(メタデータ) (2020-11-06T02:23:01Z) - Hierarchical Bi-Directional Self-Attention Networks for Paper Review
Rating Recommendation [81.55533657694016]
本稿では,階層型双方向自己注意ネットワークフレームワーク(HabNet)を提案する。
具体的には、文エンコーダ(レベル1)、レビュー内エンコーダ(レベル2)、レビュー間エンコーダ(レベル3)の3つのレベルで、論文レビューの階層構造を利用する。
我々は、最終的な受理決定を行う上で有用な予測者を特定することができ、また、数値的なレビュー評価とレビュアーが伝えるテキストの感情の不整合を発見するのに役立てることができる。
論文 参考訳(メタデータ) (2020-11-02T08:07:50Z) - NLPContributions: An Annotation Scheme for Machine Reading of Scholarly
Contributions in Natural Language Processing Literature [0.0]
本稿では,自然言語処理(NLP)論文の学術的貢献を捉えるためのアノテーションイニシアチブについて述べる。
我々は,5つの情報抽出タスクへのコントリビューションを提示する50のNLP-ML学術論文に対するパイロット演習に基づくアノテーションタスクを開発する。
我々は,NLPコントリビューションの方法論が,そのさらなる洗練と発展に向けて,このトピックについてより広範な議論を巻き起こすことを想定する。
論文 参考訳(メタデータ) (2020-06-23T10:04:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。