論文の概要: A Novice-Reviewer Experiment to Address Scarcity of Qualified Reviewers
in Large Conferences
- arxiv url: http://arxiv.org/abs/2011.15050v1
- Date: Mon, 30 Nov 2020 17:48:55 GMT
- ステータス: 処理完了
- システム内更新日: 2021-06-06 14:32:28.971406
- Title: A Novice-Reviewer Experiment to Address Scarcity of Qualified Reviewers
in Large Conferences
- Title（参考訳）: 大規模会議における資格審査員の少人数対応のための初学者実験
- Authors: Ivan Stelmakh, Nihar B. Shah, Aarti Singh, and Hal Daum\'e III
- Abstract要約: 主要なAIカンファレンスから受け取った応募数の増加は、レビュープロセスの持続可能性に挑戦している。
我々は,大規模なカンファレンスにおけるレビュアーの資格不足に着目して,レビュアー採用の問題を考える。
大規模でトップクラスの機械学習カンファレンスであるICML 2020と合わせて、私たちの手順を通じて少数のレビュアーを募集し、ICMLレビュアーの一般人口と比較します。
- 参考スコア（独自算出の注目度）: 35.24369486197371
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Conference peer review constitutes a human-computation process whose
importance cannot be overstated: not only it identifies the best submissions
for acceptance, but, ultimately, it impacts the future of the whole research
area by promoting some ideas and restraining others. A surge in the number of
submissions received by leading AI conferences has challenged the
sustainability of the review process by increasing the burden on the pool of
qualified reviewers which is growing at a much slower rate. In this work, we
consider the problem of reviewer recruiting with a focus on the scarcity of
qualified reviewers in large conferences. Specifically, we design a procedure
for (i) recruiting reviewers from the population not typically covered by major
conferences and (ii) guiding them through the reviewing pipeline. In
conjunction with ICML 2020 -- a large, top-tier machine learning conference --
we recruit a small set of reviewers through our procedure and compare their
performance with the general population of ICML reviewers. Our experiment
reveals that a combination of the recruiting and guiding mechanisms allows for
a principled enhancement of the reviewer pool and results in reviews of
superior quality compared to the conventional pool of reviews as evaluated by
senior members of the program committee (meta-reviewers).
- Abstract（参考訳）: 会議のピアレビューは、重要度が過大評価されない人間の計算プロセスを構成する。それは、受理のための最高の提出を識別するだけでなく、究極的には、いくつかのアイデアを奨励し、他を抑えることによって、研究領域の将来に影響を及ぼす。
主要なaiカンファレンスの応募数の増加は、ずっと遅いペースで成長している資格審査者のプールへの負担を増加させることで、レビュープロセスの持続可能性に異議を唱えている。
本研究では,大規模会議における資格審査者の不足に着目し,レビュアー採用の課題について考察する。
具体的には、(i)主要な会議でカバーされない人々からレビュワーを募集し、(ii)レビュアーパイプラインを通じてレビュアーを導く手順をデザインする。
大規模でトップクラスの機械学習カンファレンスであるICML 2020と合わせて、私たちの手順を通じて少数のレビュアーを募集し、ICMLレビュアーの一般人口とパフォーマンスを比較します。
本実験により,採用・指導機構を組み合わせることで,レビュアプールの原則的強化が可能となり,プログラム委員会(Meta-reviewers)の上級メンバが評価する従来のレビュープールと比較して,優れた品質のレビューが可能になることが明らかになった。
関連論文リスト
- Group Fairness in Peer Review [44.580732477017904]
本稿では,グループフェアネスの概念であるコア(core)を導入し,すべてのコミュニティ(研究者のサブセット)に対して,大規模なカンファレンスからの撤退の一方的な利益を損なうような扱いをするよう求めている。
我々は、簡単なピアレビューモデルについて研究し、常にコアにレビューの代入が認められることを証明し、そのような代入を見つけるための効率的なアルゴリズムを設計する。
論文 参考訳（メタデータ） (2024-10-04T14:48:10Z) - Analysis of the ICML 2023 Ranking Data: Can Authors' Opinions of Their Own Papers Assist Peer Review in Machine Learning? [52.00419656272129]
我々は2023年の国際機械学習会議(ICML)で実験を行った。
我々はそれぞれ2,592件の応募書を含む1,342件のランク付けを受けた。
著者によるランキングを用いて生のレビュースコアを校正するイソトニックメカニズムに注目した。
論文 参考訳（メタデータ） (2024-08-24T01:51:23Z) - Automatic Analysis of Substantiation in Scientific Peer Reviews [24.422667012858298]
SubstanReviewは、ドメインの専門家による注釈付きNLPカンファレンスからの550のレビューで構成されている。
このデータセットに基づいて、ピアレビューにおけるサブスタンレーションのレベルを自動的に解析する引数マイニングシステムを訓練する。
また,近年のNLPカンファレンスにおけるピアレビューの質に関する有意義な洞察を得るために,AsstanReviewデータセットのデータ分析を実施している。
論文 参考訳（メタデータ） (2023-11-20T17:47:37Z) - ChatEval: Towards Better LLM-based Evaluators through Multi-Agent Debate [57.71597869337909]
われわれはChatEvalと呼ばれるマルチエージェントの審判チームを構築し、異なるモデルから生成された応答の品質を自律的に議論し評価する。
分析の結果,ChatEvalは単なるテキストスコアリングを超越し,信頼性評価のための人間模倣評価プロセスを提供することがわかった。
論文 参考訳（メタデータ） (2023-08-14T15:13:04Z) - Consultation Checklists: Standardising the Human Evaluation of Medical
Note Generation [58.54483567073125]
本稿では,コンサルテーションチェックリストの評価を基礎として,客観性向上を目的としたプロトコルを提案する。
このプロトコルを用いた最初の評価研究において,アノテータ間合意の良好なレベルを観察した。
論文 参考訳（メタデータ） (2022-11-17T10:54:28Z) - Ranking Scientific Papers Using Preference Learning [48.78161994501516]
我々はこれをピアレビューテキストとレビュアースコアに基づく論文ランキング問題とみなした。
ピアレビューに基づいて最終決定を行うための,新しい多面的総合評価フレームワークを提案する。
論文 参考訳（メタデータ） (2021-09-02T19:41:47Z) - A Large Scale Randomized Controlled Trial on Herding in Peer-Review
Discussions [33.261698377782075]
我々は、レビュアーや上級意思決定者が議論で提示された最初の議論に不当に影響されるかどうかを理解することを目的としている。
具体的には,論文の結果に対する議論開始者の意見の条件因果効果をテストすることを目的として,ランダム化試験を設計・実施する。
論文 参考訳（メタデータ） (2020-11-30T18:23:07Z) - An Open Review of OpenReview: A Critical Analysis of the Machine
Learning Conference Review Process [41.049292105761246]
我々は、2017年から2020年にかけてICLRに提出された論文の総合的な研究を通じて、レビュープロセスを批判的に分析する。
本研究は, 紙の品質管理においても, 受否決定の制度的偏見が強いことを示唆する。
男女差の証拠は,女性作家が男性作家よりも低得点,受入率の低下,論文1紙あたりの引用率の低下がみられた。
論文 参考訳（メタデータ） (2020-10-11T02:06:04Z) - What Can We Do to Improve Peer Review in NLP? [69.11622020605431]
問題の一部は、レビュアーとエリアチェアが、リンゴとオレンジの比較を強制する未定義のタスクに直面していることだ、と我々は主張する。
先進的な方法はいくつかあるが、NLPコミュニティにおける一貫した実装のためのインセンティブとメカニズムを作成することが重要な課題である。
論文 参考訳（メタデータ） (2020-10-08T09:32:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。