論文の概要: Debiasing Evaluations That are Biased by Evaluations

• arxiv url: http://arxiv.org/abs/2012.00714v1
• Date: Tue, 1 Dec 2020 18:20:43 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-30 19:56:43.892148
• Title: Debiasing Evaluations That are Biased by Evaluations
• Title（参考訳）: 評価によってバイアスを受ける評価
• Authors: Jingyan Wang, Ivan Stelmakh, Yuting Wei, Nihar B. Shah
• Abstract要約: 我々は、結果に関する情報が利用可能である場合に、評価における結果誘発バイアスを緩和する問題を考察する。 この順序制約の下で正規化最適化問題を解くことでデバイアス化手法を提案する。 また,適切な正規化量を適応的に選択するクロスバリデーション手法も提案する。
• 参考スコア（独自算出の注目度）: 32.135315382120154
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: It is common to evaluate a set of items by soliciting people to rate them. For example, universities ask students to rate the teaching quality of their instructors, and conference organizers ask authors of submissions to evaluate the quality of the reviews. However, in these applications, students often give a higher rating to a course if they receive higher grades in a course, and authors often give a higher rating to the reviews if their papers are accepted to the conference. In this work, we call these external factors the "outcome" experienced by people, and consider the problem of mitigating these outcome-induced biases in the given ratings when some information about the outcome is available. We formulate the information about the outcome as a known partial ordering on the bias. We propose a debiasing method by solving a regularized optimization problem under this ordering constraint, and also provide a carefully designed cross-validation method that adaptively chooses the appropriate amount of regularization. We provide theoretical guarantees on the performance of our algorithm, as well as experimental evaluations.
• Abstract（参考訳）: 評価を依頼することで、一連の項目を評価するのが一般的である。 例えば、大学は生徒にインストラクタの教育品質の評価を依頼し、会議の主催者はレビューの質を評価するために投稿の著者に依頼する。 しかし、これらのアプリケーションでは、学生はコースの成績が上がればコースに高い評価を与えることが多く、論文がカンファレンスに受理された場合、レビューに高い評価を与えることが多い。 本研究では,これらの外部要因を,人々が経験する「アウトカム」と呼び,結果に関する情報が得られれば,与えられた評価でこれらの結果に誘発されるバイアスを緩和する問題を考察する。 結果に関する情報を偏見に基づく既知の部分順序として定式化する。 この順序付け制約の下で正規化最適化問題を解くことでデバイアス化法を提案し、また適切な正規化量を適応的に選択するクロスバリデーション法を提案する。 我々は,提案アルゴリズムの性能に関する理論的保証と実験評価を提供する。

関連論文リスト

• Analytical and Empirical Study of Herding Effects in Recommendation Systems [72.6693986712978]
  評価アグリゲーションルールとショートリストされた代表レビューを用いて製品評価を管理する方法について検討する。 本稿では,Amazon と TripAdvisor の収束速度を向上させるために,適切な信頼度評価アグリゲーションルールが有効であることを示す。
  論文  参考訳（メタデータ） (2024-08-20T14:29:23Z)
• Fighting Sampling Bias: A Framework for Training and Evaluating Credit Scoring Models [2.918530881730374]
  本稿では,サンプリングバイアスがモデルトレーニングおよび評価に与える影響について考察する。 スコアカード評価のためのバイアス認識型自己学習と拒絶推論フレームワークを提案する。 その結果,ベイズ評価を用いて受入率を決定する場合,利益率が約8%向上することが示唆された。
  論文  参考訳（メタデータ） (2024-07-17T20:59:54Z)
• Take Care of Your Prompt Bias! Investigating and Mitigating Prompt Bias in Factual Knowledge Extraction [56.17020601803071]
  近年の研究では、事前学習言語モデル(PLM)が、事実知識抽出において「急激なバイアス」に悩まされていることが示されている。 本稿では,突発バイアスを徹底的に調査し緩和することにより,既存のベンチマークの信頼性を向上させることを目的とする。
  論文  参考訳（メタデータ） (2024-03-15T02:04:35Z)
• A Dataset on Malicious Paper Bidding in Peer Review [84.68308372858755]
  悪意あるレビュアーは、紙の割り当てを非倫理的に操作するために戦略的に入札した。 この問題を緩和するための方法の作成と評価への重要な障害は、悪意ある紙入札に関する公開データの欠如である。 我々は、参加者に正直に、悪意的に入札するよう指示されたモックカンファレンス活動から収集された、新しいデータセットをリリースする。
  論文  参考訳（メタデータ） (2022-06-24T20:23:33Z)
• Integrating Rankings into Quantized Scores in Peer Review [61.27794774537103]
  ピアレビューでは、レビュアーは通常、論文のスコアを提供するように求められます。 この問題を軽減するため、カンファレンスはレビュアーにレビューした論文のランキングを付加するように求め始めている。 このランキング情報を使用するための標準的な手順はなく、エリアチェアは異なる方法でそれを使用することができる。 我々は、ランキング情報をスコアに組み込むために、原則化されたアプローチを取る。
  論文  参考訳（メタデータ） (2022-04-05T19:39:13Z)
• Correcting the User Feedback-Loop Bias for Recommendation Systems [34.44834423714441]
  本稿では,レコメンデーションシステムにおいて,ユーザのフィードバックループバイアスを修正するための系統的かつ動的手法を提案する。 本手法は,各ユーザの動的評価履歴の埋め込みを学習するためのディープラーニングコンポーネントを含む。 実世界のレコメンデーションシステムにおけるユーザフィードバックループバイアスの存在を実証的に検証した。
  論文  参考訳（メタデータ） (2021-09-13T15:02:55Z)
• Ranking Scientific Papers Using Preference Learning [48.78161994501516]
  我々はこれをピアレビューテキストとレビュアースコアに基づく論文ランキング問題とみなした。 ピアレビューに基づいて最終決定を行うための,新しい多面的総合評価フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-09-02T19:41:47Z)
• Prior and Prejudice: The Novice Reviewers' Bias against Resubmissions in Conference Peer Review [35.24369486197371]
  現代の機械学習とコンピュータサイエンスのカンファレンスは、ピアレビューの品質に挑戦する応募の数が急増している。 いくつかのカンファレンスは、著者が論文の以前の提出履歴を宣言するよう促したり、要求したりし始めた。 本研究は、レビュー対象の提出が以前、類似の会場で拒否されたという知識から生じる偏見について検討する。
  論文  参考訳（メタデータ） (2020-11-30T09:35:37Z)
• Mitigating Manipulation in Peer Review via Randomized Reviewer Assignments [96.114824979298]
  コンファレンスピアレビューにおける3つの重要な課題は、特定の論文に割り当てられる悪意のある試みであり、"Torpedo reviewing"である。 我々は、これらの課題を共通の傘の下にまとめ、レビュアーの割り当てのための(ランダム化された)アルゴリズムを示すフレームワークを提案する。 我々のアルゴリズムは、悪意のあるレビュアーが希望する論文に割り当てられる確率を50%に抑えつつ、完全な最適類似性の90%以上を割り当てることができます。
  論文  参考訳（メタデータ） (2020-06-29T23:55:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。