論文の概要: No Agreement Without Loss: Learning and Social Choice in Peer Review
- arxiv url: http://arxiv.org/abs/2211.02144v1
- Date: Thu, 3 Nov 2022 21:03:23 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-07 16:17:48.165243
- Title: No Agreement Without Loss: Learning and Social Choice in Peer Review
- Title（参考訳）: 損失のない合意なし:ピアレビューにおける学習と社会的選択
- Authors: Pablo Barcel\'o and Mauricio Duarte and Crist\'obal Rojas and Tomasz
Steifer
- Abstract要約: ピアレビューシステムでは、レビュアーは、技術的品質や新規性など、提出の様々な特徴を評価するよう求められることが多い。
各レビュアーは、基準スコア(スコアベクトル)からレコメンデーションまで、独自のマッピングを持っていると仮定できる。
本研究は,多くのレビュアーの合意を適切に把握する手法と戦略の安全性のトレードオフについて検討する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In peer review systems, reviewers are often asked to evaluate various
features of submissions, such as technical quality or novelty. A score is given
to each of the predefined features and based on these the reviewer has to
provide an overall quantitative recommendation. However, reviewers differ in
how much they value different features. It may be assumed that each reviewer
has her own mapping from a set of criteria scores (score vectors) to a
recommendation, and that different reviewers have different mappings in mind.
Recently, Noothigattu, Shah and Procaccia introduced a novel framework for
obtaining an aggregated mapping by means of Empirical Risk Minimization based
on $L(p,q)$ loss functions, and studied its axiomatic properties in the sense
of social choice theory. We provide a body of new results about this framework.
On the one hand we study a trade-off between strategy-proofness and the ability
of the method to properly capture agreements of the majority of reviewers. On
the other hand, we show that dropping a certain unrealistic assumption makes
the previously reported results to be no longer valid. Moreover, in the general
case, strategy-proofness fails dramatically in the sense that a reviewer is
able to make significant changes to the solution in her favor by arbitrarily
small changes to their true beliefs. In particular, no approximate version of
strategy-proofness is possible in this general setting since the method is not
even continuous w.r.t. the data. Finally we propose a modified aggregation
algorithm which is continuous and show that it has good axiomatic properties.
- Abstract（参考訳）: ピアレビューシステムでは、レビュアーは、技術的品質や新規性など、提出の様々な特徴を評価するよう求められることが多い。
事前に定義された特徴ごとにスコアが与えられ、それに基づいてレビュアーは全体的な定量的なレコメンデーションを提供する必要がある。
しかし、レビュアーは機能の価値がどの程度異なるかが異なる。
各レビュアーが基準スコア(スコアベクター)からレコメンデーションまでの独自のマッピングを持ち、異なるレビュアーが異なるマッピングを念頭に置いていると仮定できる。
最近、Noothigattu, Shah and Procacciaは、$L(p,q)$損失関数に基づく経験的リスク最小化により集約されたマッピングを得るための新しい枠組みを導入し、社会選択論の意味でその公理的性質を研究した。
このフレームワークに関する新たな成果を多数提供しています。
一方,本研究では,多くのレビュアーの合意を適切に把握する手法と戦略の安全性のトレードオフについて検討する。
一方,ある非現実的な仮定を外すことで,既に報告された結果がもはや有効ではないことを示す。
さらに、一般的には、レビュアーが真の信念を任意に小さな変更を行うことで、ソリューションに重大な変更を加えることができるという意味で、戦略の保護は劇的に失敗する。
特に、この一般的な設定では、この方法が連続的なw.r.t.データでさえないので、戦略耐性の近似バージョンは不可能である。
最後に, 連続的なアグリゲーションアルゴリズムを提案し, 良好な公理特性を有することを示す。
関連論文リスト
- Diverging Preferences: When do Annotators Disagree and do Models Know? [92.24651142187989]
我々は,4つのハイレベルクラスにまたがる10のカテゴリにまたがる相違点の分類法を開発した。
意見の相違の大部分は、標準的な報酬モデリングアプローチに反対している。
本研究は,選好の変化を識別し,評価とトレーニングへの影響を緩和する手法を開発する。
論文 参考訳（メタデータ） (2024-10-18T17:32:22Z) - GLIMPSE: Pragmatically Informative Multi-Document Summarization for Scholarly Reviews [25.291384842659397]
本稿では,学術レビューの簡潔かつ包括的概要を提供するための要約手法であるsysを紹介する。
従来のコンセンサスに基づく手法とは異なり、sysは共通の意見とユニークな意見の両方をレビューから抽出する。
論文 参考訳（メタデータ） (2024-06-11T15:27:01Z) - Submission-Aware Reviewer Profiling for Reviewer Recommender System [26.382772998002523]
本稿では,潜在的レビュアーが出版する各要約から,研究対象のトピックと,そのトピックを研究対象とする明示的な文脈を学習する手法を提案する。
実験の結果,既存手法と比較して精度が向上した。
この新しいアプローチは、過去2年でトップレベルのカンファレンスで成功している。
論文 参考訳（メタデータ） (2022-11-08T12:18:02Z) - Measuring "Why" in Recommender Systems: a Comprehensive Survey on the
Evaluation of Explainable Recommendation [87.82664566721917]
この調査は、IJCAI、AAAI、TheWebConf、Recsys、UMAP、IUIといったトップレベルのカンファレンスから100以上の論文に基づいています。
論文 参考訳（メタデータ） (2022-02-14T02:58:55Z) - Learning Opinion Summarizers by Selecting Informative Reviews [81.47506952645564]
31,000以上の製品のユーザレビューと組み合わせた大規模な要約データセットを収集し、教師付きトレーニングを可能にします。
多くのレビューの内容は、人間が書いた要約には反映されず、したがってランダムなレビューサブセットで訓練された要約者は幻覚する。
我々は、これらのサブセットで表現された意見を要約し、レビューの情報的サブセットを選択するための共同学習としてタスクを定式化する。
論文 参考訳（メタデータ） (2021-09-09T15:01:43Z) - SIFN: A Sentiment-aware Interactive Fusion Network for Review-based Item
Recommendation [48.1799451277808]
本稿では、レビューに基づく項目推薦のための感性認識型インタラクティブフュージョンネットワーク(SIFN)を提案する。
まず、BERTを介してユーザ/イテムレビューをエンコードし、各レビューのセマンティックな特徴を抽出する軽量な感情学習者を提案する。
そこで我々は,感情学習者が明示的な感情ラベルを用いて感情認識特徴を抽出するための感情予測タスクを提案する。
論文 参考訳（メタデータ） (2021-08-18T08:04:38Z) - Mitigating Manipulation in Peer Review via Randomized Reviewer
Assignments [96.114824979298]
コンファレンスピアレビューにおける3つの重要な課題は、特定の論文に割り当てられる悪意のある試みであり、"Torpedo reviewing"である。
我々は、これらの課題を共通の傘の下にまとめ、レビュアーの割り当てのための(ランダム化された)アルゴリズムを示すフレームワークを提案する。
我々のアルゴリズムは、悪意のあるレビュアーが希望する論文に割り当てられる確率を50%に抑えつつ、完全な最適類似性の90%以上を割り当てることができます。
論文 参考訳（メタデータ） (2020-06-29T23:55:53Z) - Evaluations and Methods for Explanation through Robustness Analysis [117.7235152610957]
分析による特徴に基づく説明の新たな評価基準を確立する。
我々は、緩やかに必要であり、予測に十分である新しい説明を得る。
我々は、現在の予測をターゲットクラスに移動させる一連の特徴を抽出するために、説明を拡張します。
論文 参考訳（メタデータ） (2020-05-31T05:52:05Z) - How Useful are Reviews for Recommendation? A Critical Review and
Potential Improvements [8.471274313213092]
本稿では,レビューテキストを用いてレコメンデーションシステムの改善を目指す,新たな作業体系について検討する。
実験条件やデータ前処理に変化はあるものの, 論文間で結果がコピーされていることから, 報告結果にいくつかの相違点がみられた。
さらなる調査では、リコメンデーションのためのユーザレビューの"重要"に関して、はるかに大きな問題に関する議論が求められている。
論文 参考訳（メタデータ） (2020-05-25T16:30:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。