論文の概要: What Can We Do to Improve Peer Review in NLP?
- arxiv url: http://arxiv.org/abs/2010.03863v1
- Date: Thu, 8 Oct 2020 09:32:21 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-09 11:03:52.111389
- Title: What Can We Do to Improve Peer Review in NLP?
- Title(参考訳): NLPにおけるピアレビューを改善するために何ができるか?
- Authors: Anna Rogers, Isabelle Augenstein
- Abstract要約: 問題の一部は、レビュアーとエリアチェアが、リンゴとオレンジの比較を強制する未定義のタスクに直面していることだ、と我々は主張する。
先進的な方法はいくつかあるが、NLPコミュニティにおける一貫した実装のためのインセンティブとメカニズムを作成することが重要な課題である。
- 参考スコア(独自算出の注目度): 69.11622020605431
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Peer review is our best tool for judging the quality of conference
submissions, but it is becoming increasingly spurious. We argue that a part of
the problem is that the reviewers and area chairs face a poorly defined task
forcing apples-to-oranges comparisons. There are several potential ways
forward, but the key difficulty is creating the incentives and mechanisms for
their consistent implementation in the NLP community.
- Abstract(参考訳): ピアレビューは、カンファレンスの応募の質を判断するための最良のツールですが、ますます刺激的になっています。
問題の一部は、レビュアーとエリアチェアが、リンゴとオレンジの比較を強制する未定義の課題に直面していることである。
先進的な方法はいくつかあるが、NLPコミュニティにおける一貫した実装のためのインセンティブとメカニズムを作成することが重要な課題である。
関連論文リスト
- When Reviewers Lock Horn: Finding Disagreement in Scientific Peer
Reviews [24.875901048855077]
本稿では,ある記事のレビュアー間での矛盾を自動的に識別する新しいタスクを紹介する。
我々の知識を最大限に活用するために、ピアレビュアー間での意見の不一致を自動的に識別する最初の試みを行う。
論文 参考訳(メタデータ) (2023-10-28T11:57:51Z) - Large Language Models are not Fair Evaluators [60.27164804083752]
候補回答の品質ランキングは,文脈の出現順序を変えることで容易にハックできることがわかった。
この操作により、評価結果をスキューし、一方のモデルを他方よりもかなり優れているようにすることができる。
この問題を緩和するための3つのシンプルかつ効果的な戦略を持つフレームワークを提案する。
論文 参考訳(メタデータ) (2023-05-29T07:41:03Z) - What Factors Should Paper-Reviewer Assignments Rely On? Community
Perspectives on Issues and Ideals in Conference Peer-Review [20.8704278772718]
NLPコミュニティの第1回調査の結果を報告する。
我々は,ペーパーリビューアマッチングシステムにおいて,どの要因を考慮すべきかという共通問題と視点を同定する。
論文 参考訳(メタデータ) (2022-05-02T16:07:02Z) - PCL: Peer-Contrastive Learning with Diverse Augmentations for
Unsupervised Sentence Embeddings [69.87899694963251]
本稿では,多彩な拡張を伴う新しいピアコントラスト学習(PCL)を提案する。
PCLは、教師なし文の埋め込みのために、グループレベルで様々な対照的な正と負を構成する。
PCLはピア陽性のコントラストとピアネットワークの協調が可能である。
論文 参考訳(メタデータ) (2022-01-28T13:02:41Z) - Ranking Scientific Papers Using Preference Learning [48.78161994501516]
我々はこれをピアレビューテキストとレビュアースコアに基づく論文ランキング問題とみなした。
ピアレビューに基づいて最終決定を行うための,新しい多面的総合評価フレームワークを提案する。
論文 参考訳(メタデータ) (2021-09-02T19:41:47Z) - Peer Selection with Noisy Assessments [43.307040330622186]
現在最も正確なピアレビューアルゴリズムであるPeerNominationをWeightedPeerNominationに拡張します。
重み付け方式により、選択の全体的な精度が大幅に向上できることを解析的に示す。
論文 参考訳(メタデータ) (2021-07-21T14:47:11Z) - Confidence-Budget Matching for Sequential Budgeted Learning [69.77435313099366]
問合せ予算で意思決定問題を定式化する。
我々は,多腕バンディット,線形バンディット,強化学習問題を考察する。
我々は,CBMに基づくアルゴリズムが逆性の存在下で良好に動作することを示す。
論文 参考訳(メタデータ) (2021-02-05T19:56:31Z) - Mitigating Manipulation in Peer Review via Randomized Reviewer
Assignments [96.114824979298]
コンファレンスピアレビューにおける3つの重要な課題は、特定の論文に割り当てられる悪意のある試みであり、"Torpedo reviewing"である。
我々は、これらの課題を共通の傘の下にまとめ、レビュアーの割り当てのための(ランダム化された)アルゴリズムを示すフレームワークを提案する。
我々のアルゴリズムは、悪意のあるレビュアーが希望する論文に割り当てられる確率を50%に抑えつつ、完全な最適類似性の90%以上を割り当てることができます。
論文 参考訳(メタデータ) (2020-06-29T23:55:53Z) - Systematic Review of Approaches to Improve Peer Assessment at Scale [5.067828201066184]
本稿では, ピアアセスメント(PA)の3つの側面, オートグレーティングとピアアセスメントツール(ピアレビュー/オートグレーティングの実施方法のみに注目します), ローグレビューを扱う戦略, 自然言語処理によるピアレビューの改善について述べる。
論文 参考訳(メタデータ) (2020-01-27T15:59:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。