論文の概要: What Factors Should Paper-Reviewer Assignments Rely On? Community
Perspectives on Issues and Ideals in Conference Peer-Review
- arxiv url: http://arxiv.org/abs/2205.01005v2
- Date: Tue, 3 May 2022 16:33:17 GMT
- ステータス: 処理完了
- システム内更新日: 2022-05-04 11:17:09.680672
- Title: What Factors Should Paper-Reviewer Assignments Rely On? Community
Perspectives on Issues and Ideals in Conference Peer-Review
- Title(参考訳): ペーパーリビューア・アサインメントはどのような要因を考慮すべきか?
コンファレンスピーアレビューにおける課題と理念に関するコミュニティの展望
- Authors: Terne Sasha Thorn Jakobsen and Anna Rogers
- Abstract要約: NLPコミュニティの第1回調査の結果を報告する。
我々は,ペーパーリビューアマッチングシステムにおいて,どの要因を考慮すべきかという共通問題と視点を同定する。
- 参考スコア(独自算出の注目度): 20.8704278772718
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Both scientific progress and individual researcher careers depend on the
quality of peer review, which in turn depends on paper-reviewer matching.
Surprisingly, this problem has been mostly approached as an automated
recommendation problem rather than as a matter where different stakeholders
(area chairs, reviewers, authors) have accumulated experience worth taking into
account. We present the results of the first survey of the NLP community,
identifying common issues and perspectives on what factors should be considered
by paper-reviewer matching systems. This study contributes actionable
recommendations for improving future NLP conferences, and desiderata for
interpretable peer review assignments.
- Abstract(参考訳): 科学的進歩と個々の研究者のキャリアは、ピアレビューの品質に依存しており、結果として、ペーパーリビューアマッチングに依存する。
驚いたことに、この問題は主に、異なるステークホルダー(エリアチェア、レビュアー、著者)が考慮に値する経験を蓄積した問題ではなく、自動化されたレコメンデーションの問題として扱われてきた。
本稿では,nlpコミュニティにおける第1次調査の結果について,紙レビュー者マッチングシステムにおいて考慮すべき要因の共通点と展望を明らかにする。
本研究は,今後のnlpカンファレンスの改善に有効な推奨事項と,解釈可能なピアレビュー課題に対するデシデラタを提案する。
関連論文リスト
- Analysis of the ICML 2023 Ranking Data: Can Authors' Opinions of Their Own Papers Assist Peer Review in Machine Learning? [52.00419656272129]
我々は2023年の国際機械学習会議(ICML)で実験を行った。
我々はそれぞれ2,592件の応募書を含む1,342件のランク付けを受けた。
著者によるランキングを用いて生のレビュースコアを校正するイソトニックメカニズムに注目した。
論文 参考訳(メタデータ) (2024-08-24T01:51:23Z) - What Can Natural Language Processing Do for Peer Review? [173.8912784451817]
現代の科学ではピアレビューが広く使われているが、それは難しく、時間がかかり、エラーを起こしやすい。
ピアレビューに関わるアーティファクトは大部分がテキストベースであるため、自然言語処理はレビューを改善する大きな可能性を秘めている。
筆者らは、原稿提出からカメラ対応リビジョンまでの各工程について詳述し、NLP支援の課題と機会について論じる。
論文 参考訳(メタデータ) (2024-05-10T16:06:43Z) - Chain-of-Factors Paper-Reviewer Matching [32.86512592730291]
本稿では,意味的・話題的・引用的要因を協調的に考慮した,論文レビューアマッチングのための統一モデルを提案する。
提案したChain-of-Factorsモデルの有効性を,最先端のペーパー-リビューアマッチング手法と科学的事前学習言語モデルと比較した。
論文 参考訳(メタデータ) (2023-10-23T01:29:18Z) - Surveying (Dis)Parities and Concerns of Compute Hungry NLP Research [75.84463664853125]
我々は,3つのトピック,すなわち環境影響,株式,およびピアレビューへの影響に関する懸念を定量化するための最初の試みを提供する。
我々は、高齢者、アカデミック、産業に関して、異なるグループと異なるグループ内の既存の(異なる)格差を捉えます。
私たちは、発見された格差を軽減するためのレコメンデーションを考案しました。
論文 参考訳(メタデータ) (2023-06-29T12:44:53Z) - Reviewer assignment problem: A scoping review [0.0]
査読の質は、提出された論文に対して適切な審査員を募集する能力に依存する。
このようなレビュアーを見つけることは、いくつかの要因によりますます難しい課題となっている。
論文を「よく一致した」レビュアーと自動的に関連付けるための解決策が30年前から研究の対象となっている。
論文 参考訳(メタデータ) (2023-05-13T10:13:43Z) - NLPeer: A Unified Resource for the Computational Study of Peer Review [58.71736531356398]
NLPeer - 5万以上の論文と5つの異なる会場からの1万1千件のレビューレポートからなる、初めて倫理的にソースされたマルチドメインコーパス。
従来のピアレビューデータセットを拡張し、解析および構造化された論文表現、豊富なメタデータ、バージョニング情報を含む。
我々の研究は、NLPなどにおけるピアレビューの体系的、多面的、エビデンスに基づく研究への道のりをたどっている。
論文 参考訳(メタデータ) (2022-11-12T12:29:38Z) - Ranking Scientific Papers Using Preference Learning [48.78161994501516]
我々はこれをピアレビューテキストとレビュアースコアに基づく論文ランキング問題とみなした。
ピアレビューに基づいて最終決定を行うための,新しい多面的総合評価フレームワークを提案する。
論文 参考訳(メタデータ) (2021-09-02T19:41:47Z) - An Open Review of OpenReview: A Critical Analysis of the Machine
Learning Conference Review Process [41.049292105761246]
我々は、2017年から2020年にかけてICLRに提出された論文の総合的な研究を通じて、レビュープロセスを批判的に分析する。
本研究は, 紙の品質管理においても, 受否決定の制度的偏見が強いことを示唆する。
男女差の証拠は,女性作家が男性作家よりも低得点,受入率の低下,論文1紙あたりの引用率の低下がみられた。
論文 参考訳(メタデータ) (2020-10-11T02:06:04Z) - Mitigating Manipulation in Peer Review via Randomized Reviewer
Assignments [96.114824979298]
コンファレンスピアレビューにおける3つの重要な課題は、特定の論文に割り当てられる悪意のある試みであり、"Torpedo reviewing"である。
我々は、これらの課題を共通の傘の下にまとめ、レビュアーの割り当てのための(ランダム化された)アルゴリズムを示すフレームワークを提案する。
我々のアルゴリズムは、悪意のあるレビュアーが希望する論文に割り当てられる確率を50%に抑えつつ、完全な最適類似性の90%以上を割り当てることができます。
論文 参考訳(メタデータ) (2020-06-29T23:55:53Z) - Aspect-based Sentiment Analysis of Scientific Reviews [12.472629584751509]
本研究は,受理論文と受理論文ではアスペクトベース感情の分布が著しく異なることを示す。
第2の目的として、論文を閲覧するレビュアーの間での意見の不一致の程度を定量化する。
また, 審査員と議長との意見の不一致の程度について検討し, 審査員間の意見の不一致が議長との意見の不一致と関係があることを見出した。
論文 参考訳(メタデータ) (2020-06-05T07:06:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。