論文の概要: Near-Optimal Reviewer Splitting in Two-Phase Paper Reviewing and Conference Experiment Design

• arxiv url: http://arxiv.org/abs/2108.06371v1
• Date: Fri, 13 Aug 2021 19:29:41 GMT
• ステータス: 処理完了
• システム内更新日: 2021-08-17 14:51:13.226223
• Title: Near-Optimal Reviewer Splitting in Two-Phase Paper Reviewing and Conference Experiment Design
• Title（参考訳）: 2相ペーパーレビューと会議実験設計における準最適レビュア分割
• Authors: Steven Jecmen, Hanrui Zhang, Ryan Liu, Fei Fang, Vincent Conitzer, Nihar B. Shah
• Abstract要約: 総割り当ての類似性を最大化するために、レビュアーを段階または条件に分けるにはどうすればいいのか? 実会議データに関連する複数のデータセットに対して、ランダムに位相/条件を均一に分割することで、オラクルの最適割り当てとほぼ同等の割り当てが可能であることを実証的に示す。
• 参考スコア（独自算出の注目度）: 76.40919326501512
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Many scientific conferences employ a two-phase paper review process, where some papers are assigned additional reviewers after the initial reviews are submitted. Many conferences also design and run experiments on their paper review process, where some papers are assigned reviewers who provide reviews under an experimental condition. In this paper, we consider the question: how should reviewers be divided between phases or conditions in order to maximize total assignment similarity? We make several contributions towards answering this question. First, we prove that when the set of papers requiring additional review is unknown, a simplified variant of this problem is NP-hard. Second, we empirically show that across several datasets pertaining to real conference data, dividing reviewers between phases/conditions uniformly at random allows an assignment that is nearly as good as the oracle optimal assignment. This uniformly random choice is practical for both the two-phase and conference experiment design settings. Third, we provide explanations of this phenomenon by providing theoretical bounds on the suboptimality of this random strategy under certain natural conditions. From these easily-interpretable conditions, we provide actionable insights to conference program chairs about whether a random reviewer split is suitable for their conference.
• Abstract（参考訳）: 多くの科学会議は2段階の論文レビュープロセスを採用しており、いくつかの論文は最初のレビューが提出された後に追加のレビュアーが割り当てられる。 多くのカンファレンスは、論文レビュープロセスで実験を設計し、実行しており、いくつかの論文では、実験条件下でレビューを提供するレビュアーが割り当てられている。 本稿では, 総割り当て類似度を最大化するために, 審査員を段階, 条件に分けるべきかという課題を考察する。 私たちはこの質問に答えるためにいくつかの貢献をしている。 まず、追加のレビューを必要とする論文の集合が未知の場合、この問題の単純化された変種がNPハードであることを証明する。 第二に、実際の会議データに関連する複数のデータセットにおいて、ランダムに位相/条件を均一に分割することで、オラクルの最適割り当てとほぼ同等の割り当てが可能であることを実証的に示す。 この一様ランダムな選択は、二相設計と会議設計の両方に実用的である。 第三に、ある自然条件下でのランダム戦略の最適性に関する理論的境界を提供することにより、この現象を説明する。 このような分かりやすい状況から、ランダムなレビュアー分割が会議に適しているかどうかについて、会議プログラムチェアに実用的な洞察を提供する。

関連論文リスト

• Time to Stop and Think: What kind of research do we want to do? [1.74048653626208]
  本稿では,メタヒューリスティック最適化の分野に焦点をあてる。 私たちの主な目標は、仕事の誠実な批判的な評価の種を縫い合わせることで、個人とコミュニティの両方でリフレクションプロセスを引き起こします。 この文書に含まれるすべての声明は、他人が共有できるかどうかに関わらず、個人的な見解と意見である。
  論文  参考訳（メタデータ） (2024-02-13T08:53:57Z)
• Incremental Extractive Opinion Summarization Using Cover Trees [81.59625423421355]
  オンラインマーケットプレースでは、ユーザレビューは時間とともに蓄積され、意見要約を定期的に更新する必要がある。 本研究では,漸進的な環境下での抽出的意見要約の課題について検討する。 本稿では,CentroidRankの要約をインクリメンタルな設定で正確に計算するアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-01-16T02:00:17Z)
• When Reviewers Lock Horn: Finding Disagreement in Scientific Peer Reviews [24.875901048855077]
  本稿では,ある記事のレビュアー間での矛盾を自動的に識別する新しいタスクを紹介する。 我々の知識を最大限に活用するために、ピアレビュアー間での意見の不一致を自動的に識別する最初の試みを行う。
  論文  参考訳（メタデータ） (2023-10-28T11:57:51Z)
• Scientific Opinion Summarization: Paper Meta-review Generation Dataset, Methods, and Evaluation [55.00687185394986]
  本稿では,論文レビューをメタレビューに合成する,科学的意見要約の課題を提案する。 ORSUMデータセットは、47のカンファレンスから15,062のメタレビューと57,536の論文レビューをカバーしている。 実験の結果,(1)人間による要約は,議論の深みや特定の領域に対するコンセンサスや論争の特定など,必要な基準をすべて満たしていないこと,(2)タスクの分解と反復的自己調整の組み合わせは,意見の強化に強い可能性を示唆している。
  論文  参考訳（メタデータ） (2023-05-24T02:33:35Z)
• Integrating Rankings into Quantized Scores in Peer Review [61.27794774537103]
  ピアレビューでは、レビュアーは通常、論文のスコアを提供するように求められます。 この問題を軽減するため、カンファレンスはレビュアーにレビューした論文のランキングを付加するように求め始めている。 このランキング情報を使用するための標準的な手順はなく、エリアチェアは異なる方法でそれを使用することができる。 我々は、ランキング情報をスコアに組み込むために、原則化されたアプローチを取る。
  論文  参考訳（メタデータ） (2022-04-05T19:39:13Z)
• Ranking Scientific Papers Using Preference Learning [48.78161994501516]
  我々はこれをピアレビューテキストとレビュアースコアに基づく論文ランキング問題とみなした。 ピアレビューに基づいて最終決定を行うための,新しい多面的総合評価フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-09-02T19:41:47Z)
• Mitigating Manipulation in Peer Review via Randomized Reviewer Assignments [96.114824979298]
  コンファレンスピアレビューにおける3つの重要な課題は、特定の論文に割り当てられる悪意のある試みであり、"Torpedo reviewing"である。 我々は、これらの課題を共通の傘の下にまとめ、レビュアーの割り当てのための(ランダム化された)アルゴリズムを示すフレームワークを提案する。 我々のアルゴリズムは、悪意のあるレビュアーが希望する論文に割り当てられる確率を50%に抑えつつ、完全な最適類似性の90%以上を割り当てることができます。
  論文  参考訳（メタデータ） (2020-06-29T23:55:53Z)
• Aspect-based Sentiment Analysis of Scientific Reviews [12.472629584751509]
  本研究は,受理論文と受理論文ではアスペクトベース感情の分布が著しく異なることを示す。 第2の目的として、論文を閲覧するレビュアーの間での意見の不一致の程度を定量化する。 また, 審査員と議長との意見の不一致の程度について検討し, 審査員間の意見の不一致が議長との意見の不一致と関係があることを見出した。
  論文  参考訳（メタデータ） (2020-06-05T07:06:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。