論文の概要: Integrating Rankings into Quantized Scores in Peer Review
- arxiv url: http://arxiv.org/abs/2204.03505v1
- Date: Tue, 5 Apr 2022 19:39:13 GMT
- ステータス: 処理完了
- システム内更新日: 2022-04-08 15:21:35.997863
- Title: Integrating Rankings into Quantized Scores in Peer Review
- Title（参考訳）: ピアレビューにおけるランキングの量子スコアへの統合
- Authors: Yusha Liu, Yichong Xu, Nihar B. Shah and Aarti Singh
- Abstract要約: ピアレビューでは、レビュアーは通常、論文のスコアを提供するように求められます。
この問題を軽減するため、カンファレンスはレビュアーにレビューした論文のランキングを付加するように求め始めている。
このランキング情報を使用するための標準的な手順はなく、エリアチェアは異なる方法でそれを使用することができる。
我々は、ランキング情報をスコアに組み込むために、原則化されたアプローチを取る。
- 参考スコア（独自算出の注目度）: 61.27794774537103
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In peer review, reviewers are usually asked to provide scores for the papers.
The scores are then used by Area Chairs or Program Chairs in various ways in
the decision-making process. The scores are usually elicited in a quantized
form to accommodate the limited cognitive ability of humans to describe their
opinions in numerical values. It has been found that the quantized scores
suffer from a large number of ties, thereby leading to a significant loss of
information. To mitigate this issue, conferences have started to ask reviewers
to additionally provide a ranking of the papers they have reviewed. There are
however two key challenges. First, there is no standard procedure for using
this ranking information and Area Chairs may use it in different ways
(including simply ignoring them), thereby leading to arbitrariness in the
peer-review process. Second, there are no suitable interfaces for judicious use
of this data nor methods to incorporate it in existing workflows, thereby
leading to inefficiencies. We take a principled approach to integrate the
ranking information into the scores. The output of our method is an updated
score pertaining to each review that also incorporates the rankings. Our
approach addresses the two aforementioned challenges by: (i) ensuring that
rankings are incorporated into the updates scores in the same manner for all
papers, thereby mitigating arbitrariness, and (ii) allowing to seamlessly use
existing interfaces and workflows designed for scores. We empirically evaluate
our method on synthetic datasets as well as on peer reviews from the ICLR 2017
conference, and find that it reduces the error by approximately 30% as compared
to the best performing baseline on the ICLR 2017 data.
- Abstract（参考訳）: ピアレビューでは、レビュアーは通常、論文のスコアを提供するよう求められる。
スコアは、意思決定過程において、エリアチェアまたはプログラムチェアによって様々な方法で使用される。
スコアは通常、人間の認知能力に制限を課し、数値的な値で意見を記述するために、定量化された形で引き出される。
定量化されたスコアには多くの関連があり、結果としてかなりの情報を失うことが判明している。
この問題を軽減するため、カンファレンスはレビュアーにレビューした論文のランキングを付加するように求め始めている。
しかし、主な課題は2つある。
まず、このランキング情報を使用するための標準的な手順はなく、エリアチェアは(単に無視するなど)異なる方法で使用することができるため、ピアレビュープロセスにおける任意性につながる。
第二に、このデータや既存のワークフローに組み込むメソッドを司法的に使用するのに適したインターフェースは存在しないため、非効率になる。
スコアにランキング情報を統合するための原則的なアプローチを取ります。
本手法のアウトプットは,各レビューに関連する更新スコアであり,ランキングも組み込んだものである。
我々のアプローチは、以下の2つの課題に対処します。
(i)すべての論文の更新スコアにランクが組み込まれていることを保証することにより、任意性を緩和し、
(ii) スコア用に設計された既存のインターフェースとワークフローをシームレスに使用できる。
ICLR 2017 カンファレンスでは,合成データセットとピアレビューの手法を実証的に評価し,ICLR 2017 データの最高のパフォーマンスベースラインと比較して,誤差を約30%削減できることを確認した。
関連論文リスト
- New Directions in Text Classification Research: Maximizing The Performance of Sentiment Classification from Limited Data [0.0]
ベンチマークデータセットは、Kaesang Pangarep氏がPSIの議長として任命した問題に関するデータをトレーニングし、テストするためのものだ。
公式スコアはF1スコアであり、正、負、中立の3つのクラスで精度とリコールのバランスをとる。
スコアリング(ベースラインと最適化)はどちらもSVMメソッドを使用し、従来の機械学習手法では最先端と広く報告されている。
論文 参考訳（メタデータ） (2024-07-08T05:42:29Z) - Learning to Rank when Grades Matter [11.981942948477236]
グレードラベルは、現実世界の学習 to ランクのアプリケーションではユビキタスである。
従来の学習からランクまでの技術は、実際の成績を予測することを無視する。
ランクとグレードの予測を協調的に最適化する多目的定式化を提案する。
論文 参考訳（メタデータ） (2023-06-14T17:30:02Z) - A Gold Standard Dataset for the Reviewer Assignment Problem [117.59690218507565]
類似度スコア(Similarity score)とは、論文のレビューにおいて、レビュアーの専門知識を数値で見積もるものである。
私たちのデータセットは、58人の研究者による477の自己申告された専門知識スコアで構成されています。
2つの論文をレビュアーに関連付けるタスクは、簡単なケースでは12%～30%、ハードケースでは36%～43%である。
論文 参考訳（メタデータ） (2023-03-23T16:15:03Z) - Ranking Scientific Papers Using Preference Learning [48.78161994501516]
我々はこれをピアレビューテキストとレビュアースコアに基づく論文ランキング問題とみなした。
ピアレビューに基づいて最終決定を行うための,新しい多面的総合評価フレームワークを提案する。
論文 参考訳（メタデータ） (2021-09-02T19:41:47Z) - PiRank: Learning To Rank via Differentiable Sorting [85.28916333414145]
ランク付けのための新しい分類可能なサロゲートであるPiRankを提案する。
ピランクは所望の指標をゼロ温度の限界で正確に回収する。
論文 参考訳（メタデータ） (2020-12-12T05:07:36Z) - Debiasing Evaluations That are Biased by Evaluations [32.135315382120154]
我々は、結果に関する情報が利用可能である場合に、評価における結果誘発バイアスを緩和する問題を考察する。
この順序制約の下で正規化最適化問題を解くことでデバイアス化手法を提案する。
また,適切な正規化量を適応的に選択するクロスバリデーション手法も提案する。
論文 参考訳（メタデータ） (2020-12-01T18:20:43Z) - Hierarchical Bi-Directional Self-Attention Networks for Paper Review
Rating Recommendation [81.55533657694016]
本稿では,階層型双方向自己注意ネットワークフレームワーク(HabNet)を提案する。
具体的には、文エンコーダ(レベル1)、レビュー内エンコーダ(レベル2)、レビュー間エンコーダ(レベル3)の3つのレベルで、論文レビューの階層構造を利用する。
我々は、最終的な受理決定を行う上で有用な予測者を特定することができ、また、数値的なレビュー評価とレビュアーが伝えるテキストの感情の不整合を発見するのに役立てることができる。
論文 参考訳（メタデータ） (2020-11-02T08:07:50Z) - Rank over Class: The Untapped Potential of Ranking in Natural Language
Processing [8.637110868126546]
我々は、現在分類を用いて対処されている多くのタスクが、実際には分類モールドに切り替わっていると論じる。
本稿では,一対のテキストシーケンスの表現を生成するトランスフォーマーネットワークからなる新しいエンドツーエンドランキング手法を提案する。
重く歪んだ感情分析データセットの実験では、ランキング結果を分類ラベルに変換すると、最先端のテキスト分類よりも約22%改善する。
論文 参考訳（メタデータ） (2020-09-10T22:18:57Z) - Taking the Counterfactual Online: Efficient and Unbiased Online
Evaluation for Ranking [74.46448041224247]
データロギングのポリシーを最適化する新しいロギング・ポリシ最適化アルゴリズム(LogOpt)を導入する。
LogOptは、ログポリシーに無関係な反ファクト的なアプローチをオンラインアプローチに変換し、アルゴリズムが表示すべきランキングを決定する。
オンライン評価手法として、LogOptは既存のインターリービング方法とは異なり、位置と項目選択バイアスに偏りがないことが証明されている。
論文 参考訳（メタデータ） (2020-07-24T18:05:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。