論文の概要: Matching Papers and Reviewers at Large Conferences
- arxiv url: http://arxiv.org/abs/2202.12273v2
- Date: Fri, 25 Feb 2022 20:06:18 GMT
- ステータス: 処理完了
- システム内更新日: 2022-03-01 10:14:28.217188
- Title: Matching Papers and Reviewers at Large Conferences
- Title(参考訳): 大規模会議における論文とレビュアーのマッチング
- Authors: Kevin Leyton-Brown and Mausam and Yatin Nandwani and Hedayat Zarkoob
and Chris Cameron and Neil Newman and Dinesh Raghu
- Abstract要約: 本稿では,AAAI第35回AI会議(AAAI 2021)で最近実施されたレビュアーとペーパーのマッチング手法について検討する。
本手法は,(1)問題のあるマッチングを識別し,レビュア紙スコアを生成するための入力データの収集と処理,(2)優れたレビュア紙マッチングを見つけるための最適化問題の定式化と解決,(3)拒絶される可能性のある論文から決定境界に近い論文へリソースを移行させる新たな2段階レビュープロセスの導入,の3つの要素を有する。
- 参考スコア(独自算出の注目度): 25.79501640609188
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This paper studies a novel reviewer-paper matching approach that was recently
deployed in the 35th AAAI Conference on Artificial Intelligence (AAAI 2021),
and has since been adopted by other conferences including AAAI 2022 and ICML
2022. This approach has three main elements: (1) collecting and processing
input data to identify problematic matches and generate reviewer-paper scores;
(2) formulating and solving an optimization problem to find good reviewer-paper
matchings; and (3) the introduction of a novel, two-phase reviewing process
that shifted reviewing resources away from papers likely to be rejected and
towards papers closer to the decision boundary. This paper also describes an
evaluation of these innovations based on an extensive post-hoc analysis on real
data -- including a comparison with the matching algorithm used in AAAI's
previous (2020) iteration -- and supplements this with additional numerical
experimentation.
- Abstract(参考訳): 本稿では,第35回AAAI AI Conference on Artificial Intelligence (AAAI 2021) に展開され,AAAI 2022 や ICML 2022 など他のカンファレンスにも採用されている,新たなレビュアーペーパーマッチング手法について検討する。
本手法は,(1)問題のあるマッチングを識別し,レビュア紙スコアを生成するための入力データの収集と処理,(2)優れたレビュア紙マッチングを見つけるための最適化問題の定式化と解決,(3)拒絶される可能性のある論文から決定境界に近い論文へリソースを移行させる新たな2段階レビュープロセスの導入,の3つの要素を有する。
本稿では,AAAI の以前の (2020) イテレーションで使用されるマッチングアルゴリズムとの比較を含む,実データに対する広範なポストホック解析に基づくこれらのイノベーションの評価を行い,これを追加の数値実験で補足する。
関連論文リスト
- Has the Machine Learning Review Process Become More Arbitrary as the
Field Has Grown? The NeurIPS 2021 Consistency Experiment [86.77085171670323]
2014年のNeurIPS実験では、2つの独立した委員会によって10%の会議の提出をレビューし、レビュープロセスにおけるランダム性を定量化した。
両委員会が論文の23%の勧告を受理・棄却することに反対し、審査プロセスがランダムに再実行された場合、2014年度の結果と一致して、受理された論文のリストの約半数が変更されることを観察する。
論文 参考訳(メタデータ) (2023-06-05T21:26:12Z) - A Gold Standard Dataset for the Reviewer Assignment Problem [117.59690218507565]
類似度スコア(Similarity score)とは、論文のレビューにおいて、レビュアーの専門知識を数値で見積もるものである。
私たちのデータセットは、58人の研究者による477の自己申告された専門知識スコアで構成されています。
2つの論文をレビュアーに関連付けるタスクは、簡単なケースでは12%~30%、ハードケースでは36%~43%である。
論文 参考訳(メタデータ) (2023-03-23T16:15:03Z) - A Comparison of Approaches for Imbalanced Classification Problems in the
Context of Retrieving Relevant Documents for an Analysis [0.0]
本研究は,クエリ拡張手法,トピックモデルに基づく分類規則,能動的および受動的教師あり学習を比較した。
その結果、ほとんどの研究環境におけるクエリ拡張手法とトピックモデルに基づく分類規則は、検索性能を向上するよりも低下する傾向にあることがわかった。
論文 参考訳(メタデータ) (2022-05-03T16:22:42Z) - Integrating Rankings into Quantized Scores in Peer Review [61.27794774537103]
ピアレビューでは、レビュアーは通常、論文のスコアを提供するように求められます。
この問題を軽減するため、カンファレンスはレビュアーにレビューした論文のランキングを付加するように求め始めている。
このランキング情報を使用するための標準的な手順はなく、エリアチェアは異なる方法でそれを使用することができる。
我々は、ランキング情報をスコアに組み込むために、原則化されたアプローチを取る。
論文 参考訳(メタデータ) (2022-04-05T19:39:13Z) - Tradeoffs in Sentence Selection Techniques for Open-Domain Question
Answering [54.541952928070344]
文選択のためのモデルの2つのグループについて述べる。QAベースのアプローチは、解答候補を特定するための完全なQAシステムを実行し、検索ベースのモデルは、各質問に特に関連する各節の一部を見つける。
非常に軽量なQAモデルは、このタスクではうまく機能するが、検索ベースモデルは高速である。
論文 参考訳(メタデータ) (2020-09-18T23:39:15Z) - A SUPER* Algorithm to Optimize Paper Bidding in Peer Review [39.99497980352629]
本稿では,この目的のために,A*アルゴリズムにインスパイアされたSUPER*というアルゴリズムを提案する。
類似性に関するコミュニティモデルでは、SUPER*がほぼ最適であるのに対して、人気のあるベースラインはかなり最適であることを示す。
ICLR 2018の実際のデータと合成データの実験では、SUPER*が既存のシステムにデプロイされたベースラインを大幅に上回っていることがわかった。
論文 参考訳(メタデータ) (2020-06-27T06:44:49Z) - A Step Towards Interpretable Authorship Verification [0.0]
オーサシップ検証(英: Authorship verification、AV)は、デジタルテキスト法医学の分野における研究分野である。
多くのアプローチでは、文書のトピックに関連するか、影響を受けている機能を活用している。
分類決定における話題に依存しない特徴のみを考慮した代替的なAVアプローチを提案する。
論文 参考訳(メタデータ) (2020-06-22T16:44:26Z) - A Hierarchical Network for Abstractive Meeting Summarization with
Cross-Domain Pretraining [52.11221075687124]
本稿では,会議シナリオに適応する抽象的要約ネットワークを提案する。
提案手法は,長時間の会議記録に対応する階層構造と,話者間の差異を表現する役割ベクトルを設計する。
我々のモデルは、自動測定と人的評価の両方において、過去のアプローチよりも優れています。
論文 参考訳(メタデータ) (2020-04-04T21:00:41Z) - State-of-Art-Reviewing: A Radical Proposal to Improve Scientific
Publication [19.10668029301668]
State-Of-the-Art Review (SOAR)は、ピアレビューの'plug-and-play'代替として機能する新奇なレビューパイプラインである。
私たちのアプローチの核心は、レビュープロセスが多目的で、大規模に分散し、非常に高いレイテンシの最適化である、という解釈です。
論文 参考訳(メタデータ) (2020-03-31T17:58:36Z) - Recognizing Families In the Wild: White Paper for the 4th Edition Data
Challenge [91.55319616114943]
本稿では,Recognizing Families In the Wild(RFIW)評価における支援課題(親族検証,三対象検証,行方不明児の検索・検索)を要約する。
本研究の目的は、2020年のRFIWチャレンジと、将来的な方向性の予測について述べることである。
論文 参考訳(メタデータ) (2020-02-15T02:22:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。