論文の概要: A SUPER* Algorithm to Optimize Paper Bidding in Peer Review
- arxiv url: http://arxiv.org/abs/2007.07079v2
- Date: Fri, 31 Jul 2020 17:47:45 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-16 07:32:16.732513
- Title: A SUPER* Algorithm to Optimize Paper Bidding in Peer Review
- Title（参考訳）: ピアレビューにおける紙入札最適化のためのスーパー*アルゴリズム
- Authors: Tanner Fiez, Nihar B. Shah, Lillian Ratliff
- Abstract要約: 本稿では,この目的のために,A*アルゴリズムにインスパイアされたSUPER*というアルゴリズムを提案する。
類似性に関するコミュニティモデルでは、SUPER*がほぼ最適であるのに対して、人気のあるベースラインはかなり最適であることを示す。
ICLR 2018の実際のデータと合成データの実験では、SUPER*が既存のシステムにデプロイされたベースラインを大幅に上回っていることがわかった。
- 参考スコア（独自算出の注目度）: 39.99497980352629
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: A number of applications involve sequential arrival of users, and require
showing each user an ordering of items. A prime example (which forms the focus
of this paper) is the bidding process in conference peer review where reviewers
enter the system sequentially, each reviewer needs to be shown the list of
submitted papers, and the reviewer then "bids" to review some papers. The order
of the papers shown has a significant impact on the bids due to primacy
effects. In deciding on the ordering of papers to show, there are two competing
goals: (i) obtaining sufficiently many bids for each paper, and (ii) satisfying
reviewers by showing them relevant items. In this paper, we begin by developing
a framework to study this problem in a principled manner. We present an
algorithm called SUPER*, inspired by the A* algorithm, for this goal.
Theoretically, we show a local optimality guarantee of our algorithm and prove
that popular baselines are considerably suboptimal. Moreover, under a community
model for the similarities, we prove that SUPER* is near-optimal whereas the
popular baselines are considerably suboptimal. In experiments on real data from
ICLR 2018 and synthetic data, we find that SUPER* considerably outperforms
baselines deployed in existing systems, consistently reducing the number of
papers with fewer than requisite bids by 50-75% or more, and is also robust to
various real world complexities.
- Abstract（参考訳）: 多くのアプリケーションがユーザのシーケンシャルな到着を伴い、各ユーザにアイテムの順序を示す必要がある。
主な例(この記事の焦点となる)は、レビュー者が順次システムに入り、各レビュアーが提出された論文のリストを表示し、レビュアーがいくつかの論文をレビューするために "bids" する必要があるカンファレンスピアレビューの入札プロセスである。
示されている論文の順序は、プライマシー効果による入札に大きな影響を与える。
表示すべき論文の順序を決定する際、競合する2つの目標がある。
(i)各紙に十分な数の入札を得ること、及び
(二)関連項目を提示して審査員を満足させる。
本稿では,この問題を原則的に研究する枠組みの開発から始める。
この目的のために,A*アルゴリズムにインスパイアされたSUPER*アルゴリズムを提案する。
理論的には、アルゴリズムの局所最適性保証を示し、人気ベースラインがかなり最適であることを示す。
さらに, 類似性に関するコミュニティモデルでは, SUPER* がほぼ最適であるのに対して, 人気ベースラインはかなり最適であることを示す。
ICLR 2018の実際のデータと合成データの実験では、SUPER*は既存のシステムにデプロイされたベースラインをかなり上回り、必要な入札を50～75%以下に減らし、さまざまな現実の複雑さにも堅牢であることがわかった。
関連論文リスト
- Self-Calibrated Listwise Reranking with Large Language Models [137.6557607279876]
大規模言語モデル (LLM) はシーケンシャル・ツー・シーケンス・アプローチによってタスクのランク付けに使用されている。
この階調のパラダイムは、より大きな候補集合を反復的に扱うためにスライディングウインドウ戦略を必要とする。
そこで本稿では,LLMを用いた自己校正リストのランク付け手法を提案する。
論文 参考訳（メタデータ） (2024-11-07T10:31:31Z) - JudgeRank: Leveraging Large Language Models for Reasoning-Intensive Reranking [81.88787401178378]
本稿では,文書関連性を評価する際に,人間の認知過程をエミュレートする新しいエージェント・リランカであるJiceRankを紹介する。
我々は,推論集約型BRIGHTベンチマークを用いて判定Rankを評価し,第1段階の検索手法よりも性能が大幅に向上したことを示す。
さらに、JiceRankは、人気の高いBEIRベンチマークの細調整された最先端リランカと同等に動作し、ゼロショットの一般化能力を検証している。
論文 参考訳（メタデータ） (2024-10-31T18:43:12Z) - Top-Down Partitioning for Efficient List-Wise Ranking [24.600506147325717]
本稿では、ランクを深さkに分割し、文書をトップダウンで処理する新しいアルゴリズムを提案する。
このアルゴリズムは、文書から任意の深さまでを同時に比較できるピボット要素を用いることにより、本質的に並列化可能である。
論文 参考訳（メタデータ） (2024-05-23T14:00:26Z) - A Gold Standard Dataset for the Reviewer Assignment Problem [117.59690218507565]
類似度スコア(Similarity score)とは、論文のレビューにおいて、レビュアーの専門知識を数値で見積もるものである。
私たちのデータセットは、58人の研究者による477の自己申告された専門知識スコアで構成されています。
2つの論文をレビュアーに関連付けるタスクは、簡単なケースでは12%～30%、ハードケースでは36%～43%である。
論文 参考訳（メタデータ） (2023-03-23T16:15:03Z) - Document Provenance and Authentication through Authorship Classification [5.2545206693029884]
本稿では,単一文書と複数文書の分類のためのアンサンブルベースのテキスト処理フレームワークを提案する。
提案するフレームワークには,最先端のテキスト分類アルゴリズムがいくつか組み込まれている。
フレームワークは大規模なベンチマークデータセットで評価される。
論文 参考訳（メタデータ） (2023-03-02T12:26:03Z) - GERE: Generative Evidence Retrieval for Fact Verification [57.78768817972026]
本稿では,ジェネレーション方式で証拠を検索する最初のシステムであるGEREを提案する。
FEVERデータセットの実験結果は、GEREが最先端のベースラインよりも大幅に改善されていることを示している。
論文 参考訳（メタデータ） (2022-04-12T03:49:35Z) - CODER: An efficient framework for improving retrieval through
COntextualized Document Embedding Reranking [11.635294568328625]
本稿では,最小計算コストで広範囲の検索モデルの性能を向上させるためのフレームワークを提案する。
ベース密度検索法により抽出された事前計算された文書表現を利用する。
実行時に第一段階のメソッドの上に無視可能な計算オーバーヘッドを発生させ、最先端の高密度検索手法と簡単に組み合わせられるようにする。
論文 参考訳（メタデータ） (2021-12-16T10:25:26Z) - Ranking Scientific Papers Using Preference Learning [48.78161994501516]
我々はこれをピアレビューテキストとレビュアースコアに基づく論文ランキング問題とみなした。
ピアレビューに基づいて最終決定を行うための,新しい多面的総合評価フレームワークを提案する。
論文 参考訳（メタデータ） (2021-09-02T19:41:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。