論文の概要: What Can We Do to Improve Peer Review in NLP?

• arxiv url: http://arxiv.org/abs/2010.03863v1
• Date: Thu, 8 Oct 2020 09:32:21 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-09 11:03:52.111389
• Title: What Can We Do to Improve Peer Review in NLP?
• Title（参考訳）: NLPにおけるピアレビューを改善するために何ができるか?
• Authors: Anna Rogers, Isabelle Augenstein
• Abstract要約: 問題の一部は、レビュアーとエリアチェアが、リンゴとオレンジの比較を強制する未定義のタスクに直面していることだ、と我々は主張する。 先進的な方法はいくつかあるが、NLPコミュニティにおける一貫した実装のためのインセンティブとメカニズムを作成することが重要な課題である。
• 参考スコア（独自算出の注目度）: 69.11622020605431
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Peer review is our best tool for judging the quality of conference submissions, but it is becoming increasingly spurious. We argue that a part of the problem is that the reviewers and area chairs face a poorly defined task forcing apples-to-oranges comparisons. There are several potential ways forward, but the key difficulty is creating the incentives and mechanisms for their consistent implementation in the NLP community.
• Abstract（参考訳）: ピアレビューは、カンファレンスの応募の質を判断するための最良のツールですが、ますます刺激的になっています。 問題の一部は、レビュアーとエリアチェアが、リンゴとオレンジの比較を強制する未定義の課題に直面していることである。 先進的な方法はいくつかあるが、NLPコミュニティにおける一貫した実装のためのインセンティブとメカニズムを作成することが重要な課題である。

関連論文リスト

• Group Fairness in Peer Review [44.580732477017904]
  本稿では,グループフェアネスの概念であるコア(core)を導入し,すべてのコミュニティ(研究者のサブセット)に対して,大規模なカンファレンスからの撤退の一方的な利益を損なうような扱いをするよう求めている。 我々は、簡単なピアレビューモデルについて研究し、常にコアにレビューの代入が認められることを証明し、そのような代入を見つけるための効率的なアルゴリズムを設計する。
  論文  参考訳（メタデータ） (2024-10-04T14:48:10Z)
• What Can Natural Language Processing Do for Peer Review? [173.8912784451817]
  現代の科学ではピアレビューが広く使われているが、それは難しく、時間がかかり、エラーを起こしやすい。 ピアレビューに関わるアーティファクトは大部分がテキストベースであるため、自然言語処理はレビューを改善する大きな可能性を秘めている。 筆者らは、原稿提出からカメラ対応リビジョンまでの各工程について詳述し、NLP支援の課題と機会について論じる。
  論文  参考訳（メタデータ） (2024-05-10T16:06:43Z)
• When Reviewers Lock Horn: Finding Disagreement in Scientific Peer Reviews [24.875901048855077]
  本稿では,ある記事のレビュアー間での矛盾を自動的に識別する新しいタスクを紹介する。 我々の知識を最大限に活用するために、ピアレビュアー間での意見の不一致を自動的に識別する最初の試みを行う。
  論文  参考訳（メタデータ） (2023-10-28T11:57:51Z)
• PCL: Peer-Contrastive Learning with Diverse Augmentations for Unsupervised Sentence Embeddings [69.87899694963251]
  本稿では,多彩な拡張を伴う新しいピアコントラスト学習(PCL)を提案する。 PCLは、教師なし文の埋め込みのために、グループレベルで様々な対照的な正と負を構成する。 PCLはピア陽性のコントラストとピアネットワークの協調が可能である。
  論文  参考訳（メタデータ） (2022-01-28T13:02:41Z)
• Ranking Scientific Papers Using Preference Learning [48.78161994501516]
  我々はこれをピアレビューテキストとレビュアースコアに基づく論文ランキング問題とみなした。 ピアレビューに基づいて最終決定を行うための,新しい多面的総合評価フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-09-02T19:41:47Z)
• Peer Selection with Noisy Assessments [43.307040330622186]
  現在最も正確なピアレビューアルゴリズムであるPeerNominationをWeightedPeerNominationに拡張します。 重み付け方式により、選択の全体的な精度が大幅に向上できることを解析的に示す。
  論文  参考訳（メタデータ） (2021-07-21T14:47:11Z)
• Confidence-Budget Matching for Sequential Budgeted Learning [69.77435313099366]
  問合せ予算で意思決定問題を定式化する。 我々は,多腕バンディット,線形バンディット,強化学習問題を考察する。 我々は,CBMに基づくアルゴリズムが逆性の存在下で良好に動作することを示す。
  論文  参考訳（メタデータ） (2021-02-05T19:56:31Z)
• Mitigating Manipulation in Peer Review via Randomized Reviewer Assignments [96.114824979298]
  コンファレンスピアレビューにおける3つの重要な課題は、特定の論文に割り当てられる悪意のある試みであり、"Torpedo reviewing"である。 我々は、これらの課題を共通の傘の下にまとめ、レビュアーの割り当てのための(ランダム化された)アルゴリズムを示すフレームワークを提案する。 我々のアルゴリズムは、悪意のあるレビュアーが希望する論文に割り当てられる確率を50%に抑えつつ、完全な最適類似性の90%以上を割り当てることができます。
  論文  参考訳（メタデータ） (2020-06-29T23:55:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。