論文の概要: No Agreement Without Loss: Learning and Social Choice in Peer Review
- arxiv url: http://arxiv.org/abs/2211.02144v2
- Date: Thu, 3 Aug 2023 16:42:56 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-04 17:36:27.091862
- Title: No Agreement Without Loss: Learning and Social Choice in Peer Review
- Title（参考訳）: 損失のない合意なし:ピアレビューにおける学習と社会的選択
- Authors: Pablo Barcel\'o and Mauricio Duarte and Crist\'obal Rojas and Tomasz
Steifer
- Abstract要約: それぞれのレビュアーが、機能セットからレコメンデーションへの独自のマッピングを持っていると仮定してもよいでしょう。
これは、共振バイアス(commensuration bias)として知られる任意の要素を導入する。
Noothigattu, Shah and Procaccia は、ある種の損失関数を最小化することによってレビュアーのマッピングを集約することを提案した。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In peer review systems, reviewers are often asked to evaluate various
features of submissions, such as technical quality or novelty. A score is given
to each of the predefined features and based on these the reviewer has to
provide an overall quantitative recommendation. It may be assumed that each
reviewer has her own mapping from the set of features to a recommendation, and
that different reviewers have different mappings in mind. This introduces an
element of arbitrariness known as commensuration bias. In this paper we discuss
a framework, introduced by Noothigattu, Shah and Procaccia, and then applied by
the organizers of the AAAI 2022 conference. Noothigattu, Shah and Procaccia
proposed to aggregate reviewer's mapping by minimizing certain loss functions,
and studied axiomatic properties of this approach, in the sense of social
choice theory. We challenge several of the results and assumptions used in
their work and report a number of negative results. On the one hand, we study a
trade-off between some of the axioms proposed and the ability of the method to
properly capture agreements of the majority of reviewers. On the other hand, we
show that dropping a certain unrealistic assumption has dramatic effects,
including causing the method to be discontinuous.
- Abstract（参考訳）: ピアレビューシステムでは、レビュアーは、技術的品質や新規性など、提出の様々な特徴を評価するよう求められることが多い。
事前に定義された特徴ごとにスコアが与えられ、それに基づいてレビュアーは全体的な定量的なレコメンデーションを提供する必要がある。
それぞれのレビュアーがそれぞれの機能セットからレビュアーへのマッピングを持ち、異なるレビュアーが異なるマッピングを念頭に置いていると仮定できる。
これは、開始バイアスとして知られる任意性の要素を導入する。
本稿では,Noothigattu,Shah,Procacciaによって導入されたフレームワークについて論じ,その後,AAAI 2022カンファレンスの主催者が適用した。
Noothigattu, Shah and Procaccia は、ある損失関数を最小化することでレビュアーのマッピングを集約することを提案し、社会選択論の意味でこのアプローチの公理的性質を研究した。
彼らの仕事で使われるいくつかの結果と仮定に挑戦し、多くの否定的な結果を報告します。
一方,本稿では,提案する公理のいくつかと,大多数のレビュアーの合意を適切に把握する手法のトレードオフについて検討する。
一方,非現実的な仮定を下げることには劇的な効果があり,その方法が不連続になることも示されている。
関連論文リスト
- Diverging Preferences: When do Annotators Disagree and do Models Know? [92.24651142187989]
我々は,4つのハイレベルクラスにまたがる10のカテゴリにまたがる相違点の分類法を開発した。
意見の相違の大部分は、標準的な報酬モデリングアプローチに反対している。
本研究は,選好の変化を識別し,評価とトレーニングへの影響を緩和する手法を開発する。
論文 参考訳（メタデータ） (2024-10-18T17:32:22Z) - GLIMPSE: Pragmatically Informative Multi-Document Summarization for Scholarly Reviews [25.291384842659397]
本稿では,学術レビューの簡潔かつ包括的概要を提供するための要約手法であるsysを紹介する。
従来のコンセンサスに基づく手法とは異なり、sysは共通の意見とユニークな意見の両方をレビューから抽出する。
論文 参考訳（メタデータ） (2024-06-11T15:27:01Z) - Submission-Aware Reviewer Profiling for Reviewer Recommender System [26.382772998002523]
本稿では,潜在的レビュアーが出版する各要約から,研究対象のトピックと,そのトピックを研究対象とする明示的な文脈を学習する手法を提案する。
実験の結果,既存手法と比較して精度が向上した。
この新しいアプローチは、過去2年でトップレベルのカンファレンスで成功している。
論文 参考訳（メタデータ） (2022-11-08T12:18:02Z) - Measuring "Why" in Recommender Systems: a Comprehensive Survey on the
Evaluation of Explainable Recommendation [87.82664566721917]
この調査は、IJCAI、AAAI、TheWebConf、Recsys、UMAP、IUIといったトップレベルのカンファレンスから100以上の論文に基づいています。
論文 参考訳（メタデータ） (2022-02-14T02:58:55Z) - Learning Opinion Summarizers by Selecting Informative Reviews [81.47506952645564]
31,000以上の製品のユーザレビューと組み合わせた大規模な要約データセットを収集し、教師付きトレーニングを可能にします。
多くのレビューの内容は、人間が書いた要約には反映されず、したがってランダムなレビューサブセットで訓練された要約者は幻覚する。
我々は、これらのサブセットで表現された意見を要約し、レビューの情報的サブセットを選択するための共同学習としてタスクを定式化する。
論文 参考訳（メタデータ） (2021-09-09T15:01:43Z) - SIFN: A Sentiment-aware Interactive Fusion Network for Review-based Item
Recommendation [48.1799451277808]
本稿では、レビューに基づく項目推薦のための感性認識型インタラクティブフュージョンネットワーク(SIFN)を提案する。
まず、BERTを介してユーザ/イテムレビューをエンコードし、各レビューのセマンティックな特徴を抽出する軽量な感情学習者を提案する。
そこで我々は,感情学習者が明示的な感情ラベルを用いて感情認識特徴を抽出するための感情予測タスクを提案する。
論文 参考訳（メタデータ） (2021-08-18T08:04:38Z) - Mitigating Manipulation in Peer Review via Randomized Reviewer
Assignments [96.114824979298]
コンファレンスピアレビューにおける3つの重要な課題は、特定の論文に割り当てられる悪意のある試みであり、"Torpedo reviewing"である。
我々は、これらの課題を共通の傘の下にまとめ、レビュアーの割り当てのための(ランダム化された)アルゴリズムを示すフレームワークを提案する。
我々のアルゴリズムは、悪意のあるレビュアーが希望する論文に割り当てられる確率を50%に抑えつつ、完全な最適類似性の90%以上を割り当てることができます。
論文 参考訳（メタデータ） (2020-06-29T23:55:53Z) - Evaluations and Methods for Explanation through Robustness Analysis [117.7235152610957]
分析による特徴に基づく説明の新たな評価基準を確立する。
我々は、緩やかに必要であり、予測に十分である新しい説明を得る。
我々は、現在の予測をターゲットクラスに移動させる一連の特徴を抽出するために、説明を拡張します。
論文 参考訳（メタデータ） (2020-05-31T05:52:05Z) - How Useful are Reviews for Recommendation? A Critical Review and
Potential Improvements [8.471274313213092]
本稿では,レビューテキストを用いてレコメンデーションシステムの改善を目指す,新たな作業体系について検討する。
実験条件やデータ前処理に変化はあるものの, 論文間で結果がコピーされていることから, 報告結果にいくつかの相違点がみられた。
さらなる調査では、リコメンデーションのためのユーザレビューの"重要"に関して、はるかに大きな問題に関する議論が求められている。
論文 参考訳（メタデータ） (2020-05-25T16:30:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。