論文の概要: Reviewer assignment problem: A scoping review
- arxiv url: http://arxiv.org/abs/2305.07887v1
- Date: Sat, 13 May 2023 10:13:43 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-16 19:10:22.156583
- Title: Reviewer assignment problem: A scoping review
- Title（参考訳）: レビュアー代入問題:スコーピングレビュー
- Authors: Jelena Jovanovic (1) and Ebrahim Bagheri (2) ((1) University of
Belgrade, Serbia, (2) Toronto Metropolitan University, Canada)
- Abstract要約: 査読の質は、提出された論文に対して適切な審査員を募集する能力に依存する。
このようなレビュアーを見つけることは、いくつかの要因によりますます難しい課題となっている。
論文を「よく一致した」レビュアーと自動的に関連付けるための解決策が30年前から研究の対象となっている。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Peer review is an integral component of scientific research. The quality of
peer review, and consequently the published research, depends to a large extent
on the ability to recruit adequate reviewers for submitted papers. However,
finding such reviewers is an increasingly difficult task due to several
factors, such as the continuous increase both in the production of scientific
papers and the workload of scholars. To mitigate these challenges, solutions
for automated association of papers with "well matching" reviewers - the task
often referred to as reviewer assignment problem (RAP) - have been the subject
of research for thirty years now. Even though numerous solutions have been
suggested, to our knowledge, a recent systematic synthesis of the RAP-related
literature is missing. To fill this gap and support further RAP-related
research, in this paper, we present a scoping review of computational
approaches for addressing RAP. Following the latest methodological guidance for
scoping reviews, we have collected recent literature on RAP from three
databases (Scopus, Google Scholar, DBLP) and, after applying the eligibility
criteria, retained 26 studies for extracting and synthesising data on several
aspects of RAP research including: i) the overall framing of and approach to
RAP; ii) the criteria for reviewer selection; iii) the modelling of candidate
reviewers and submissions; iv) the computational methods for matching reviewers
and submissions; and v) the methods for evaluating the performance of the
proposed solutions. The paper summarises and discusses the findings for each of
the aforementioned aspects of RAP research and suggests future research
directions.
- Abstract（参考訳）: ピアレビューは科学研究の不可欠な要素である。
査読の質、その結果発表された研究の質は、提出された論文に対して適切な審査員を募集する能力に大きく依存する。
しかし、科学的論文の制作と学者の作業負荷の継続的な増加など、いくつかの要因により、このようなレビュアーの発見はますます困難になっている。
これらの課題を緩和するために、レビューア(しばしばレビュア代入問題(RAP)と呼ばれる)と論文の自動関連のためのソリューションが30年間研究の対象となっている。
多くの解が提案されているが、我々の知る限り、最近のRAP関連の文献の体系的な合成は欠落している。
本稿では、このギャップを埋め、さらにRAP関連の研究を支援するために、RAPに対処するための計算手法のスコーピングレビューを行う。
3つのデータベース(Scopus, Google Scholar, DBLP)からRAPに関する最近の文献を収集し、信頼性基準を適用した後、RAP研究の諸側面におけるデータの抽出・合成に関する26の研究を継続した。
一 RAPに対する全体的な枠組み及びアプローチ
二 審査官選定の基準
三 候補者審査官及び提出者のモデリング
四 審査官及び提出書の照合のための計算方法
五 提案したソリューションの性能を評価する方法
この論文は、前述のRAP研究の各側面について要約し、考察し、今後の研究方向性を提案する。
関連論文リスト
- A Literature Review of Literature Reviews in Pattern Analysis and Machine Intelligence [58.6354685593418]
本稿では, レビューを評価するために, 記事レベル, フィールド正規化, 大規模言語モデルを用いた書誌指標を提案する。
新たに登場したAI生成の文献レビューも評価されている。
この研究は、文学レビューの現在の課題についての洞察を与え、彼らの開発に向けた今後の方向性を思い起こさせる。
論文 参考訳（メタデータ） (2024-02-20T11:28:50Z) - Scientific Opinion Summarization: Paper Meta-review Generation Dataset, Methods, and Evaluation [55.00687185394986]
本稿では,論文レビューをメタレビューに合成する,科学的意見要約の課題を提案する。
ORSUMデータセットは、47のカンファレンスから15,062のメタレビューと57,536の論文レビューをカバーしている。
実験の結果,(1)人間による要約は,議論の深みや特定の領域に対するコンセンサスや論争の特定など,必要な基準をすべて満たしていないこと,(2)タスクの分解と反復的自己調整の組み合わせは,意見の強化に強い可能性を示唆している。
論文 参考訳（メタデータ） (2023-05-24T02:33:35Z) - NLPeer: A Unified Resource for the Computational Study of Peer Review [58.71736531356398]
NLPeer - 5万以上の論文と5つの異なる会場からの1万1千件のレビューレポートからなる、初めて倫理的にソースされたマルチドメインコーパス。
従来のピアレビューデータセットを拡張し、解析および構造化された論文表現、豊富なメタデータ、バージョニング情報を含む。
我々の研究は、NLPなどにおけるピアレビューの体系的、多面的、エビデンスに基づく研究への道のりをたどっている。
論文 参考訳（メタデータ） (2022-11-12T12:29:38Z) - Investigating Fairness Disparities in Peer Review: A Language Model
Enhanced Approach [77.61131357420201]
我々は、大規模言語モデル(LM)の助けを借りて、ピアレビューにおける公平性格差の徹底した厳密な研究を行う。
我々は、2017年から現在までのICLR(International Conference on Learning Representations)カンファレンスで、包括的なリレーショナルデータベースを収集、組み立て、維持しています。
我々は、著作者性別、地理、著作者、機関的名声など、興味のある複数の保護属性に対する公平性の違いを仮定し、研究する。
論文 参考訳（メタデータ） (2022-11-07T16:19:42Z) - What Factors Should Paper-Reviewer Assignments Rely On? Community
Perspectives on Issues and Ideals in Conference Peer-Review [20.8704278772718]
NLPコミュニティの第1回調査の結果を報告する。
我々は,ペーパーリビューアマッチングシステムにおいて,どの要因を考慮すべきかという共通問題と視点を同定する。
論文 参考訳（メタデータ） (2022-05-02T16:07:02Z) - Yes-Yes-Yes: Donation-based Peer Reviewing Data Collection for ACL
Rolling Review and Beyond [58.71736531356398]
本稿では、ピアレビューデータについて詳細な議論を行い、ピアレビューデータ収集のための倫理的・法的デシダータの概要を述べるとともに、最初の継続的な寄付ベースのデータ収集ワークフローを提案する。
本稿では、ACL Rolling Reviewにおいて、このワークフローの現在進行中の実装について報告し、新たに収集したデータから得られた最初の洞察を提供する。
論文 参考訳（メタデータ） (2022-01-27T11:02:43Z) - Ranking Scientific Papers Using Preference Learning [48.78161994501516]
我々はこれをピアレビューテキストとレビュアースコアに基づく論文ランキング問題とみなした。
ピアレビューに基づいて最終決定を行うための,新しい多面的総合評価フレームワークを提案する。
論文 参考訳（メタデータ） (2021-09-02T19:41:47Z) - A Comprehensive Attempt to Research Statement Generation [39.8491923428562]
本稿では,研究成果を要約した研究声明生成タスクを提案する。
我々は、62の研究ステートメントと対応する1,203の出版物からなるrsgデータセットを構築した。
提案手法は,コンテンツカバレッジとコヒーレンスを向上して,すべてのベースラインを上回ります。
論文 参考訳（メタデータ） (2021-04-25T03:57:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。