論文の概要: Modeling and Correcting Bias in Sequential Evaluation
- arxiv url: http://arxiv.org/abs/2205.01607v3
- Date: Thu, 16 Nov 2023 19:44:01 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-22 21:13:45.020222
- Title: Modeling and Correcting Bias in Sequential Evaluation
- Title（参考訳）: 逐次評価におけるバイアスのモデル化と補正
- Authors: Jingyan Wang and Ashwin Pananjady
- Abstract要約: 逐次評価の問題は、評価者が連続して候補者を観察し、これらの候補者にオンラインで不可解な方法でスコアを割り当てることである。
このような環境下での逐次バイアスを研究してきた心理学文献に触発され,評価者の評価過程の自然なモデルを提案する。
クラウドソーシング実験を行い、モデルの様々な側面を実証する。
- 参考スコア（独自算出の注目度）: 10.852140754372193
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We consider the problem of sequential evaluation, in which an evaluator
observes candidates in a sequence and assigns scores to these candidates in an
online, irrevocable fashion. Motivated by the psychology literature that has
studied sequential bias in such settings -- namely, dependencies between the
evaluation outcome and the order in which the candidates appear -- we propose a
natural model for the evaluator's rating process that captures the lack of
calibration inherent to such a task. We conduct crowdsourcing experiments to
demonstrate various facets of our model. We then proceed to study how to
correct sequential bias under our model by posing this as a statistical
inference problem. We propose a near-linear time, online algorithm for this
task and prove guarantees in terms of two canonical ranking metrics. We also
prove that our algorithm is information theoretically optimal, by establishing
matching lower bounds in both metrics. Finally, we perform a host of numerical
experiments to show that our algorithm often outperforms the de facto method of
using the rankings induced by the reported scores, both in simulation and on
the crowdsourcing data that we collected.
- Abstract（参考訳）: 本研究では, 逐次評価の問題点について考察し, 評価者が複数の候補を連続的に観察し, それらの候補に得点を割り当てる手法を提案する。
このような状況における逐次バイアス、すなわち、評価結果と候補者が現れる順序の依存関係を研究する心理学文献に動機づけられた我々は、そのような課題に固有の校正の欠如を捉えた評価者の評価過程の自然なモデルを提案する。
クラウドソーシング実験を行い,モデルのさまざまな側面を実証する。
そして、これを統計的推論問題として、モデルの下でシーケンシャルバイアスを補正する方法を研究する。
本稿では,この課題に対する近似時間オンラインアルゴリズムを提案し,2つの正準ランキング指標による保証を証明する。
また,両指標の一致した下界を確立することにより,アルゴリズムが理論的に最適であることを示す。
最後に,シミュレーションとクラウドソーシングデータの両方において,報告されたスコアによって引き起こされるランキングを用いたデファクト手法よりもアルゴリズムが優れていることを示すために,数値実験を多数実施した。
関連論文リスト
- Bipartite Ranking Fairness through a Model Agnostic Ordering Adjustment [54.179859639868646]
本稿では,二部類ランキングにおける公平性を実現するためのモデルに依存しない後処理フレームワークxOrderを提案する。
xOrderは、教師なしおよび教師なしの公正度メトリックを含む、さまざまな分類モデルとランキングフェアネスメトリクスと互換性がある。
提案アルゴリズムを,4つのベンチマークデータセットと2つの実世界の患者電子健康記録リポジトリ上で評価した。
論文 参考訳（メタデータ） (2023-07-27T07:42:44Z) - In Search of Insights, Not Magic Bullets: Towards Demystification of the
Model Selection Dilemma in Heterogeneous Treatment Effect Estimation [92.51773744318119]
本稿では,異なるモデル選択基準の長所と短所を実験的に検討する。
選択戦略,候補推定器,比較に用いるデータの間には,複雑な相互作用があることを強調した。
論文 参考訳（メタデータ） (2023-02-06T16:55:37Z) - Revisiting Long-tailed Image Classification: Survey and Benchmarks with
New Evaluation Metrics [88.39382177059747]
メトリクスのコーパスは、長い尾の分布で学習するアルゴリズムの正確性、堅牢性、およびバウンダリを測定するために設計されている。
ベンチマークに基づいて,CIFAR10およびCIFAR100データセット上での既存手法の性能を再評価する。
論文 参考訳（メタデータ） (2023-02-03T02:40:54Z) - Online Statistical Inference for Matrix Contextual Bandit [3.465827582464433]
文脈的帯域幅は、文脈情報と歴史的フィードバックデータに基づく逐次的意思決定に広く利用されている。
我々は、両方のバイアス源を同時に扱うために、新しいオンライン二重バイアス推論手法を導入する。
提案手法は, 新たに開発された低ランク勾配勾配推定器とその非漸近収束結果に基づく。
論文 参考訳（メタデータ） (2022-12-21T22:03:06Z) - On Modality Bias Recognition and Reduction [70.69194431713825]
マルチモーダル分類の文脈におけるモダリティバイアス問題について検討する。
本稿では,各ラベルの特徴空間を適応的に学習するプラグアンドプレイ損失関数法を提案する。
本手法は, ベースラインに比べ, 顕著な性能向上を実現している。
論文 参考訳（メタデータ） (2022-02-25T13:47:09Z) - Enhancing Counterfactual Classification via Self-Training [9.484178349784264]
本研究では, 擬似ラベルによるランダム化試行をシミュレートするために, 観測データ中の有限未確認動作に対して, カテゴリ値で結果を示唆する自己学習アルゴリズムを提案する。
提案アルゴリズムは,合成データセットと実データセットの両方において有効であることを示す。
論文 参考訳（メタデータ） (2021-12-08T18:42:58Z) - Learning to Rank Anomalies: Scalar Performance Criteria and Maximization
of Two-Sample Rank Statistics [0.0]
本稿では,観測結果の異常度を反映した特徴空間上で定義されたデータ駆動スコアリング関数を提案する。
このスコアリング関数は、よく設計された二項分類問題を通じて学習される。
本稿では,予備的な数値実験による方法論について解説する。
論文 参考訳（メタデータ） (2021-09-20T14:45:56Z) - Towards Model-Agnostic Post-Hoc Adjustment for Balancing Ranking
Fairness and Algorithm Utility [54.179859639868646]
Bipartiteランキングは、ラベル付きデータから正の個人よりも上位の個人をランク付けするスコアリング機能を学ぶことを目的としている。
学習したスコアリング機能が、異なる保護グループ間で体系的な格差を引き起こすのではないかという懸念が高まっている。
本稿では、二部構成のランキングシナリオにおいて、それらのバランスをとるためのモデル後処理フレームワークを提案する。
論文 参考訳（メタデータ） (2020-06-15T10:08:39Z) - Evaluating Text Coherence at Sentence and Paragraph Levels [17.99797111176988]
本稿では,既存の文順序付け手法の段落順序付けタスクへの適応について検討する。
また、ミニデータセットとノイズの多いデータセットを人工的に作成することで、既存のモデルの学習性と堅牢性を比較する。
我々は、リカレントグラフニューラルネットワークに基づくモデルがコヒーレンスモデリングの最適選択であると結論付けている。
論文 参考訳（メタデータ） (2020-06-05T03:31:49Z) - Document Ranking with a Pretrained Sequence-to-Sequence Model [56.44269917346376]
関連ラベルを「ターゲット語」として生成するためにシーケンス・ツー・シーケンス・モデルをどのように訓練するかを示す。
提案手法は,データポーラ方式におけるエンコーダのみのモデルよりも大幅に優れている。
論文 参考訳（メタデータ） (2020-03-14T22:29:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。