論文の概要: What Factors Should Paper-Reviewer Assignments Rely On? Community Perspectives on Issues and Ideals in Conference Peer-Review

• arxiv url: http://arxiv.org/abs/2205.01005v2
• Date: Tue, 3 May 2022 16:33:17 GMT
• ステータス: 処理完了
• システム内更新日: 2022-05-04 11:17:09.680672
• Title: What Factors Should Paper-Reviewer Assignments Rely On? Community Perspectives on Issues and Ideals in Conference Peer-Review
• Title（参考訳）: ペーパーリビューア・アサインメントはどのような要因を考慮すべきか? コンファレンスピーアレビューにおける課題と理念に関するコミュニティの展望
• Authors: Terne Sasha Thorn Jakobsen and Anna Rogers
• Abstract要約: NLPコミュニティの第1回調査の結果を報告する。 我々は,ペーパーリビューアマッチングシステムにおいて,どの要因を考慮すべきかという共通問題と視点を同定する。
• 参考スコア（独自算出の注目度）: 20.8704278772718
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Both scientific progress and individual researcher careers depend on the quality of peer review, which in turn depends on paper-reviewer matching. Surprisingly, this problem has been mostly approached as an automated recommendation problem rather than as a matter where different stakeholders (area chairs, reviewers, authors) have accumulated experience worth taking into account. We present the results of the first survey of the NLP community, identifying common issues and perspectives on what factors should be considered by paper-reviewer matching systems. This study contributes actionable recommendations for improving future NLP conferences, and desiderata for interpretable peer review assignments.
• Abstract（参考訳）: 科学的進歩と個々の研究者のキャリアは、ピアレビューの品質に依存しており、結果として、ペーパーリビューアマッチングに依存する。 驚いたことに、この問題は主に、異なるステークホルダー(エリアチェア、レビュアー、著者)が考慮に値する経験を蓄積した問題ではなく、自動化されたレコメンデーションの問題として扱われてきた。 本稿では,nlpコミュニティにおける第1次調査の結果について,紙レビュー者マッチングシステムにおいて考慮すべき要因の共通点と展望を明らかにする。 本研究は,今後のnlpカンファレンスの改善に有効な推奨事項と,解釈可能なピアレビュー課題に対するデシデラタを提案する。

関連論文リスト

• Surveying (Dis)Parities and Concerns of Compute Hungry NLP Research [75.84463664853125]
  我々は,3つのトピック,すなわち環境影響,株式,およびピアレビューへの影響に関する懸念を定量化するための最初の試みを提供する。 我々は、高齢者、アカデミック、産業に関して、異なるグループと異なるグループ内の既存の(異なる)格差を捉えます。 私たちは、発見された格差を軽減するためのレコメンデーションを考案しました。
  論文  参考訳（メタデータ） (2023-06-29T12:44:53Z)
• Reviewer assignment problem: A scoping review [0.0]
  査読の質は、提出された論文に対して適切な審査員を募集する能力に依存する。 このようなレビュアーを見つけることは、いくつかの要因によりますます難しい課題となっている。 論文を「よく一致した」レビュアーと自動的に関連付けるための解決策が30年前から研究の対象となっている。
  論文  参考訳（メタデータ） (2023-05-13T10:13:43Z)
• NLPeer: A Unified Resource for the Computational Study of Peer Review [58.71736531356398]
  NLPeer - 5万以上の論文と5つの異なる会場からの1万1千件のレビューレポートからなる、初めて倫理的にソースされたマルチドメインコーパス。 従来のピアレビューデータセットを拡張し、解析および構造化された論文表現、豊富なメタデータ、バージョニング情報を含む。 我々の研究は、NLPなどにおけるピアレビューの体系的、多面的、エビデンスに基づく研究への道のりをたどっている。
  論文  参考訳（メタデータ） (2022-11-12T12:29:38Z)
• Fairness in Recommender Systems: Research Landscape and Future Directions [119.67643184567623]
  本稿は,近年の地域におけるフェアネスの概念と概念について概観する。 この分野での研究が現在どのように行われているのかを概観する。 全体として、最近の研究成果の分析は、ある研究のギャップを示している。
  論文  参考訳（メタデータ） (2022-05-23T08:34:25Z)
• Measuring "Why" in Recommender Systems: a Comprehensive Survey on the Evaluation of Explainable Recommendation [87.82664566721917]
  この調査は、IJCAI、AAAI、TheWebConf、Recsys、UMAP、IUIといったトップレベルのカンファレンスから100以上の論文に基づいています。
  論文  参考訳（メタデータ） (2022-02-14T02:58:55Z)
• Ranking Scientific Papers Using Preference Learning [48.78161994501516]
  我々はこれをピアレビューテキストとレビュアースコアに基づく論文ランキング問題とみなした。 ピアレビューに基づいて最終決定を行うための,新しい多面的総合評価フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-09-02T19:41:47Z)
• An Open Review of OpenReview: A Critical Analysis of the Machine Learning Conference Review Process [41.049292105761246]
  我々は、2017年から2020年にかけてICLRに提出された論文の総合的な研究を通じて、レビュープロセスを批判的に分析する。 本研究は, 紙の品質管理においても, 受否決定の制度的偏見が強いことを示唆する。 男女差の証拠は,女性作家が男性作家よりも低得点,受入率の低下,論文1紙あたりの引用率の低下がみられた。
  論文  参考訳（メタデータ） (2020-10-11T02:06:04Z)
• Mitigating Manipulation in Peer Review via Randomized Reviewer Assignments [96.114824979298]
  コンファレンスピアレビューにおける3つの重要な課題は、特定の論文に割り当てられる悪意のある試みであり、"Torpedo reviewing"である。 我々は、これらの課題を共通の傘の下にまとめ、レビュアーの割り当てのための(ランダム化された)アルゴリズムを示すフレームワークを提案する。 我々のアルゴリズムは、悪意のあるレビュアーが希望する論文に割り当てられる確率を50%に抑えつつ、完全な最適類似性の90%以上を割り当てることができます。
  論文  参考訳（メタデータ） (2020-06-29T23:55:53Z)
• Aspect-based Sentiment Analysis of Scientific Reviews [12.472629584751509]
  本研究は,受理論文と受理論文ではアスペクトベース感情の分布が著しく異なることを示す。 第2の目的として、論文を閲覧するレビュアーの間での意見の不一致の程度を定量化する。 また, 審査員と議長との意見の不一致の程度について検討し, 審査員間の意見の不一致が議長との意見の不一致と関係があることを見出した。
  論文  参考訳（メタデータ） (2020-06-05T07:06:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。