論文の概要: Peer Selection with Noisy Assessments
- arxiv url: http://arxiv.org/abs/2107.10121v1
- Date: Wed, 21 Jul 2021 14:47:11 GMT
- ステータス: 処理完了
- システム内更新日: 2021-07-22 14:05:52.582051
- Title: Peer Selection with Noisy Assessments
- Title（参考訳）: 雑音評価によるピアセレクション
- Authors: Omer Lev, Nicholas Mattei, Paolo Turrini, Stanislav Zhydkov
- Abstract要約: 現在最も正確なピアレビューアルゴリズムであるPeerNominationをWeightedPeerNominationに拡張します。
重み付け方式により、選択の全体的な精度が大幅に向上できることを解析的に示す。
- 参考スコア（独自算出の注目度）: 43.307040330622186
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In the peer selection problem a group of agents must select a subset of
themselves as winners for, e.g., peer-reviewed grants or prizes. Here, we take
a Condorcet view of this aggregation problem, i.e., that there is a
ground-truth ordering over the agents and we wish to select the best set of
agents, subject to the noisy assessments of the peers. Given this model, some
agents may be unreliable, while others might be self-interested, attempting to
influence the outcome in their favour. In this paper we extend PeerNomination,
the most accurate peer reviewing algorithm to date, into
WeightedPeerNomination, which is able to handle noisy and inaccurate agents. To
do this, we explicitly formulate assessors' reliability weights in a way that
does not violate strategyproofness, and use this information to reweight their
scores. We show analytically that a weighting scheme can improve the overall
accuracy of the selection significantly. Finally, we implement several
instances of reweighting methods and show empirically that our methods are
robust in the face of noisy assessments.
- Abstract（参考訳）: ピア選択問題では、エージェントのグループは自身のサブセットを、例えばピアレビューされた賞や賞の勝者として選ばなければならない。
ここでは,この集約問題に対するコンドルチェットの見解,すなわちエージェントに対する根本的な秩序があり,仲間の騒々しい評価を受けながら,最高のエージェントを選択することを望んでいる。
このモデルを考えると、一部のエージェントは信頼できないかもしれないが、他のエージェントは自己関心を持ち、彼らの好む結果に影響を与えようとする。
本稿では,これまで最も正確なピアレビューアルゴリズムであるpeernominationを,ノイズや不正確なエージェントを処理可能な重み付きpeernominationに拡張する。
これを実現するために,我々は評価者の信頼度重み付けを,戦略保証性に違反しない方法で明示的に定式化し,この情報を用いてスコアの重み付けを行う。
重み付け方式が選択の全体的な精度を大幅に向上できることを分析的に示す。
最後に,重み付け手法の例をいくつか実装し,ノイズ評価に対してロバストな手法であることを実証的に示す。
関連論文リスト
- Multi-Armed Bandits with Abstention [62.749500564313834]
本稿では, 新たな戦略要素である禁忌を取り入れた, 正準多重武装バンディット問題の拡張を提案する。
この強化されたフレームワークでは、エージェントは各タイムステップでアームを選択することだけでなく、観察する前に即時報酬を受け付けないオプションも備えている。
論文 参考訳（メタデータ） (2024-02-23T06:27:12Z) - Eliciting Kemeny Rankings [6.971011179091351]
ケメニーランキングの近似境界は、推定勝利確率に対する信頼区間に依存する。
我々は、ルックアヘッドを用いた複数の適応サンプリング手法を定式化し、どれだけの信頼区間を厳格化できるかを推定する。
論文 参考訳（メタデータ） (2023-12-18T19:14:42Z) - Causal Strategic Learning with Competitive Selection [10.237954203296187]
複数の意思決定者の下で因果戦略学習におけるエージェント選択の問題について検討する。
最適な選択規則は、最適なエージェントを選択することと、エージェントの改善を最大化するためのインセンティブを提供することの間のトレードオフであることを示す。
我々は、真の因果パラメータを回復するために、すべての意思決定者がまとめて採用しなければならない協調プロトコルを提供する。
論文 参考訳（メタデータ） (2023-08-30T18:43:11Z) - Pure Exploration under Mediators' Feedback [63.56002444692792]
マルチアームバンディット(Multi-armed bandits)は、各インタラクションステップにおいて、学習者が腕を選択し、報酬を観察する、シーケンシャルな意思決定フレームワークである。
本稿では,学習者が仲介者の集合にアクセスできるシナリオについて考察する。
本稿では,学習者には仲介者の方針が知られていると仮定して,最適な腕を発見するための逐次的意思決定戦略を提案する。
論文 参考訳（メタデータ） (2023-08-29T18:18:21Z) - Byzantine-Robust Online and Offline Distributed Reinforcement Learning [60.970950468309056]
本稿では,複数のエージェントが環境を探索し,その経験を中央サーバを通じて伝達する分散強化学習環境について考察する。
エージェントの$alpha$-fractionは敵対的であり、任意の偽情報を報告することができる。
我々は、これらの対立エージェントの存在下で、マルコフ決定プロセスの根底にある準最適政策を特定することを模索する。
論文 参考訳（メタデータ） (2022-06-01T00:44:53Z) - Holistic Approach to Measure Sample-level Adversarial Vulnerability and
its Utility in Building Trustworthy Systems [17.707594255626216]
敵対的攻撃は、知覚不能な雑音を伴うイメージを摂動させ、誤ったモデル予測をもたらす。
本稿では,異なる視点を組み合わせることで,サンプルの敵対的脆弱性を定量化するための総合的アプローチを提案する。
サンプルレベルで確実に敵の脆弱性を推定することにより、信頼できるシステムを開発できることを実証する。
論文 参考訳（メタデータ） (2022-05-05T12:36:17Z) - Trustworthy Preference Completion in Social Choice [36.91054060923998]
すべての選択肢に対して線形順序を与えるようにエージェントに頼むのは非現実的であり、これらの部分的なランク付けは選好完了を行う必要がある。
信頼ベースのアンカー-kNNアルゴリズムは、信頼指向のケンダル-トー距離を持つエージェントの最も信頼できる隣人を見つけるために提案される。
最初の$k$信頼に値する隣接エージェントに対する特定の共通投票ルールは、確実性と紛争に基づいて、信頼に値する選好完了を行うために適用することができる。
論文 参考訳（メタデータ） (2020-12-14T03:03:13Z) - Optimal Off-Policy Evaluation from Multiple Logging Policies [77.62012545592233]
我々は,複数のロギングポリシからオフ政治評価を行い,それぞれが一定のサイズ,すなわち階層化サンプリングのデータセットを生成する。
複数ロガーのOPE推定器は,任意のインスタンス,すなわち効率のよいインスタンスに対して最小分散である。
論文 参考訳（メタデータ） (2020-10-21T13:43:48Z) - Mitigating Manipulation in Peer Review via Randomized Reviewer
Assignments [96.114824979298]
コンファレンスピアレビューにおける3つの重要な課題は、特定の論文に割り当てられる悪意のある試みであり、"Torpedo reviewing"である。
我々は、これらの課題を共通の傘の下にまとめ、レビュアーの割り当てのための(ランダム化された)アルゴリズムを示すフレームワークを提案する。
我々のアルゴリズムは、悪意のあるレビュアーが希望する論文に割り当てられる確率を50%に抑えつつ、完全な最適類似性の90%以上を割り当てることができます。
論文 参考訳（メタデータ） (2020-06-29T23:55:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。