論文の概要: The Price of Strategyproofing Peer Assessment
- arxiv url: http://arxiv.org/abs/2201.10631v1
- Date: Tue, 25 Jan 2022 21:16:33 GMT
- ステータス: 処理完了
- システム内更新日: 2022-01-27 14:12:16.868353
- Title: The Price of Strategyproofing Peer Assessment
- Title（参考訳）: 戦略防衛ピアアセスメントの価格
- Authors: Komal Dhull, Steven Jecmen, Pravesh Kothari, Nihar B. Shah
- Abstract要約: 戦略行動は、ある種のピアアセスメントを必要とする様々な現実世界のアプリケーションにおいて、基本的な問題である。
個人の著作は、評価している提出書と競合しているため、自己の提出書の相対的地位を高めるために不当な評価をすることができる。
この問題は一般的に、個人を分割し、異なるサブセットからのみの作業を評価するよう割り当てることによって解決される。
- 参考スコア（独自算出の注目度）: 30.51994705981846
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Strategic behavior is a fundamental problem in a variety of real-world
applications that require some form of peer assessment, such as peer grading of
assignments, grant proposal review, conference peer review, and peer assessment
of employees. Since an individual's own work is in competition with the
submissions they are evaluating, they may provide dishonest evaluations to
increase the relative standing of their own submission. This issue is typically
addressed by partitioning the individuals and assigning them to evaluate the
work of only those from different subsets. Although this method ensures
strategyproofness, each submission may require a different type of expertise
for effective evaluation. In this paper, we focus on finding an assignment of
evaluators to submissions that maximizes assigned expertise subject to the
constraint of strategyproofness. We analyze the price of strategyproofness:
that is, the amount of compromise on the assignment quality required in order
to get strategyproofness. We establish several polynomial-time algorithms for
strategyproof assignment along with assignment-quality guarantees. Finally, we
evaluate the methods on a dataset from conference peer review.
- Abstract（参考訳）: 戦略行動は、課題のピアグレーディング、提案の承認、会議ピアレビュー、従業員のピアアセスメントなど、ある種のピアアセスメントを必要とする様々な現実世界のアプリケーションにおいて、基本的な問題である。
個々の作品が評価している投稿と競合しているため、自身の投稿の相対的な立場を高めるために不正な評価を行うことができる。
この問題は通常、個人を分割し、異なるサブセットの作業のみを評価するよう割り当てることによって解決される。
この方法は戦略の安全性を保証するが、各提案は効果的な評価のために異なる種類の専門知識を必要とする可能性がある。
本稿では,戦略の制約を受ける専門知識を最大限に活用する提案に対する評価者の課題の発見に焦点をあてる。
戦略防御性(strategyproofness)の価格(つまり、戦略防御性を得るために必要とされる割り当て品質の妥協量)を分析する。
そこで我々は, 戦略保証のための多項式時間アルゴリズムと, 割当品質保証手法を提案する。
最後に,コンファレンスピアレビューからデータセット上の手法を評価する。
関連論文リスト
- Are we making progress in unlearning? Findings from the first NeurIPS unlearning competition [70.60872754129832]
アンラーニングに関する最初のNeurIPSコンペティションは、新しいアルゴリズムの開発を刺激しようとした。
世界中から約1200チームが参加した。
トップソリューションを分析し、アンラーニングのベンチマークに関する議論を掘り下げます。
論文 参考訳（メタデータ） (2024-06-13T12:58:00Z) - ChatEval: Towards Better LLM-based Evaluators through Multi-Agent Debate [57.71597869337909]
われわれはChatEvalと呼ばれるマルチエージェントの審判チームを構築し、異なるモデルから生成された応答の品質を自律的に議論し評価する。
分析の結果,ChatEvalは単なるテキストスコアリングを超越し,信頼性評価のための人間模倣評価プロセスを提供することがわかった。
論文 参考訳（メタデータ） (2023-08-14T15:13:04Z) - Provable Benefits of Policy Learning from Human Preferences in
Contextual Bandit Problems [82.92678837778358]
嗜好に基づく手法は、InstructGPTのような経験的応用でかなりの成功を収めている。
フィードバックモデリングにおける人間のバイアスと不確実性がこれらのアプローチの理論的保証にどのように影響するかを示す。
論文 参考訳（メタデータ） (2023-07-24T17:50:24Z) - A Dataset on Malicious Paper Bidding in Peer Review [84.68308372858755]
悪意あるレビュアーは、紙の割り当てを非倫理的に操作するために戦略的に入札した。
この問題を緩和するための方法の作成と評価への重要な障害は、悪意ある紙入札に関する公開データの欠如である。
我々は、参加者に正直に、悪意的に入札するよう指示されたモックカンファレンス活動から収集された、新しいデータセットをリリースする。
論文 参考訳（メタデータ） (2022-06-24T20:23:33Z) - Evaluating Feature Attribution: An Information-Theoretic Perspective [21.101718565039015]
画素摂動に基づく評価戦略の情報理論解析について述べる。
その結果, 異なる評価手法による出力は, 除去画素の形状による情報漏洩の影響を強く受けていることが判明した。
本稿では2つのコントリビューションを提供するRemove and Debias(ROAD)と呼ばれる新しい評価フレームワークを提案する。
論文 参考訳（メタデータ） (2022-02-01T15:00:26Z) - Improving Peer Assessment with Graph Convolutional Networks [2.105564340986074]
ピアアセスメントは専門家による評価ほど正確ではないかもしれない。
まず,様々なピアアセスメント設定を表現可能なマルチリレーショナル重み付きネットワークとして,ピアアセスメントをモデル化する。
本稿では,評価パターンとユーザ動作を学習し,専門家の評価をより正確に予測するグラフ畳み込みネットワークを提案する。
論文 参考訳（メタデータ） (2021-11-04T03:43:09Z) - Catch Me if I Can: Detecting Strategic Behaviour in Peer Assessment [61.24399136715106]
我々は、試験やホームワークの査定や採用・昇進の査定など、様々な査定課題における戦略的行動の課題について考察する。
我々はこのような操作を検出する方法の設計に重点を置いている。
具体的には、エージェントがピアのサブセットを評価し、後に集約されたランキングを最終的な順序付けとして出力する設定について検討する。
論文 参考訳（メタデータ） (2020-10-08T15:08:40Z) - Mitigating Manipulation in Peer Review via Randomized Reviewer
Assignments [96.114824979298]
コンファレンスピアレビューにおける3つの重要な課題は、特定の論文に割り当てられる悪意のある試みであり、"Torpedo reviewing"である。
我々は、これらの課題を共通の傘の下にまとめ、レビュアーの割り当てのための(ランダム化された)アルゴリズムを示すフレームワークを提案する。
我々のアルゴリズムは、悪意のあるレビュアーが希望する論文に割り当てられる確率を50%に抑えつつ、完全な最適類似性の90%以上を割り当てることができます。
論文 参考訳（メタデータ） (2020-06-29T23:55:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。