論文の概要: Yes-Yes-Yes: Donation-based Peer Reviewing Data Collection for ACL
Rolling Review and Beyond
- arxiv url: http://arxiv.org/abs/2201.11443v1
- Date: Thu, 27 Jan 2022 11:02:43 GMT
- ステータス: 処理完了
- システム内更新日: 2022-01-28 19:43:50.042463
- Title: Yes-Yes-Yes: Donation-based Peer Reviewing Data Collection for ACL
Rolling Review and Beyond
- Title（参考訳）: Yes-Yes-Yes: ACLローリングレビューのための寄付ベースのピアレビューデータコレクション
- Authors: Nils Dycke, Ilia Kuznetsov, Iryna Gurevych
- Abstract要約: 本稿では、ピアレビューデータについて詳細な議論を行い、ピアレビューデータ収集のための倫理的・法的デシダータの概要を述べるとともに、最初の継続的な寄付ベースのデータ収集ワークフローを提案する。
本稿では、ACL Rolling Reviewにおいて、このワークフローの現在進行中の実装について報告し、新たに収集したデータから得られた最初の洞察を提供する。
- 参考スコア（独自算出の注目度）: 58.71736531356398
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Peer review is the primary gatekeeper of scientific merit and quality, yet it
is prone to bias and suffers from low efficiency. This demands
cross-disciplinary scrutiny of the processes that underlie peer reviewing;
however, quantitative research is limited by the data availability, as most of
the peer reviewing data across research disciplines is never made public.
Existing data collection efforts focus on few scientific domains and do not
address a range of ethical, license- and confidentiality-related issues
associated with peer reviewing data, preventing wide-scale research and
application development. While recent methods for peer review analysis and
processing show promise, a solid data foundation for computational research in
peer review is still missing. To address this, we present an in-depth
discussion of peer reviewing data, outline the ethical and legal desiderata for
peer reviewing data collection, and propose the first continuous,
donation-based data collection workflow that meets these requirements. We
report on the ongoing implementation of this workflow at the ACL Rolling Review
and deliver the first insights obtained with the newly collected data.
- Abstract（参考訳）: ピーア・レビューは科学的メリットと品質の主要なゲートキーパーであるが、バイアスを起こしやすく、効率の低下に悩まされる。
これにより、ピアレビューの根底にあるプロセスの学際的検証が求められるが、定量的な研究はデータの可用性によって制限される。
既存のデータ収集の取り組みは、ほとんど科学的領域に重点を置いておらず、ピアレビューデータに関連する倫理的、ライセンス、機密に関する問題に対処せず、広範囲の研究やアプリケーション開発を妨げている。
最近のピアレビュー分析と処理の方法は有望だが、ピアレビューにおける計算研究のための堅固なデータ基盤はいまだに欠落している。
そこで我々は、ピアレビューデータに関する詳細な議論を行い、ピアレビューデータ収集のための倫理的および法的デシダータの概要を述べ、これらの要件を満たす最初の継続的な寄付ベースのデータ収集ワークフローを提案する。
acl rolling reviewで現在進行中のこのワークフローの実装について報告し、新たに収集したデータから得られた最初の洞察を提供する。
関連論文リスト
- AgentReview: Exploring Peer Review Dynamics with LLM Agents [13.826819101545926]
本稿では,最初の大規模言語モデル(LLM)に基づくピアレビューシミュレーションフレームワークであるAgentReviewを紹介する。
本研究は、レビュアーの偏見による紙の判断の37.1%の顕著な変化を含む、重要な洞察を明らかにした。
論文 参考訳（メタデータ） (2024-06-18T15:22:12Z) - What Can Natural Language Processing Do for Peer Review? [173.8912784451817]
現代の科学ではピアレビューが広く使われているが、それは難しく、時間がかかり、エラーを起こしやすい。
ピアレビューに関わるアーティファクトは大部分がテキストベースであるため、自然言語処理はレビューを改善する大きな可能性を秘めている。
筆者らは、原稿提出からカメラ対応リビジョンまでの各工程について詳述し、NLP支援の課題と機会について論じる。
論文 参考訳（メタデータ） (2024-05-10T16:06:43Z) - Automatic Analysis of Substantiation in Scientific Peer Reviews [24.422667012858298]
SubstanReviewは、ドメインの専門家による注釈付きNLPカンファレンスからの550のレビューで構成されている。
このデータセットに基づいて、ピアレビューにおけるサブスタンレーションのレベルを自動的に解析する引数マイニングシステムを訓練する。
また,近年のNLPカンファレンスにおけるピアレビューの質に関する有意義な洞察を得るために,AsstanReviewデータセットのデータ分析を実施している。
論文 参考訳（メタデータ） (2023-11-20T17:47:37Z) - Assessing Scientific Contributions in Data Sharing Spaces [64.16762375635842]
本稿では、研究者の科学的貢献を測定するブロックチェーンベースのメトリクスであるSCIENCE-indexを紹介する。
研究者にデータ共有のインセンティブを与えるため、SCIENCE-indexはデータ共有パラメータを含むように拡張されている。
本モデルは, 地理的に多様な研究者の出力分布とh-indexの分布を比較して評価する。
論文 参考訳（メタデータ） (2023-03-18T19:17:47Z) - MOPRD: A multidisciplinary open peer review dataset [12.808751859133064]
オープン・ピア・レビューは学術出版物で増加傾向にある。
既存のピアレビューデータセットのほとんどは、ピアレビュープロセス全体をカバーするデータを提供していません。
複数分野のオープンピアレビューデータセットMOPRDを構築した。
論文 参考訳（メタデータ） (2022-12-09T16:35:14Z) - NLPeer: A Unified Resource for the Computational Study of Peer Review [58.71736531356398]
NLPeer - 5万以上の論文と5つの異なる会場からの1万1千件のレビューレポートからなる、初めて倫理的にソースされたマルチドメインコーパス。
従来のピアレビューデータセットを拡張し、解析および構造化された論文表現、豊富なメタデータ、バージョニング情報を含む。
我々の研究は、NLPなどにおけるピアレビューの体系的、多面的、エビデンスに基づく研究への道のりをたどっている。
論文 参考訳（メタデータ） (2022-11-12T12:29:38Z) - Tag-Aware Document Representation for Research Paper Recommendation [68.8204255655161]
本稿では,ユーザによって割り当てられたソーシャルタグに基づいて,研究論文の深い意味表現を活用するハイブリッドアプローチを提案する。
提案手法は,評価データが極めて少ない場合でも研究論文の推薦に有効である。
論文 参考訳（メタデータ） (2022-09-08T09:13:07Z) - Ranking Scientific Papers Using Preference Learning [48.78161994501516]
我々はこれをピアレビューテキストとレビュアースコアに基づく論文ランキング問題とみなした。
ピアレビューに基づいて最終決定を行うための,新しい多面的総合評価フレームワークを提案する。
論文 参考訳（メタデータ） (2021-09-02T19:41:47Z) - On the Privacy-Utility Tradeoff in Peer-Review Data Analysis [34.0435377376779]
ピアレビューの改善に関する研究における大きな障害は、ピアレビューデータの利用不可能である。
我々は、特定の会議のピアレビューデータのプライバシー保護のためのフレームワークを提案する。
論文 参考訳（メタデータ） (2020-06-29T21:08:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。