論文の概要: Debias Can be Unreliable: Mitigating Bias Issue in Evaluating Debiasing Recommendation

• arxiv url: http://arxiv.org/abs/2409.04810v1
• Date: Sat, 07 Sep 2024 12:42:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-10 16:25:14.601120
• Title: Debias Can be Unreliable: Mitigating Bias Issue in Evaluating Debiasing Recommendation
• Title（参考訳）: デビアは信頼できない。デビアの勧告の評価でバイアスの問題が軽減される
• Authors: Chengbing Wang, Wentao Shi, Jizhi Zhang, Wenjie Wang, Hang Pan, Fuli Feng,
• Abstract要約: 従来の評価手法は、ランダムに出力されたデータセットには適さない。 本稿では、ランダムに出力されたデータセットの利用を調整し、真のリコール性能を不偏に推定するUnbiased Recall Evaluationスキームを提案する。
• 参考スコア（独自算出の注目度）: 34.19561411584444
• License:
• Abstract: Recent work has improved recommendation models remarkably by equipping them with debiasing methods. Due to the unavailability of fully-exposed datasets, most existing approaches resort to randomly-exposed datasets as a proxy for evaluating debiased models, employing traditional evaluation scheme to represent the recommendation performance. However, in this study, we reveal that traditional evaluation scheme is not suitable for randomly-exposed datasets, leading to inconsistency between the Recall performance obtained using randomly-exposed datasets and that obtained using fully-exposed datasets. Such inconsistency indicates the potential unreliability of experiment conclusions on previous debiasing techniques and calls for unbiased Recall evaluation using randomly-exposed datasets. To bridge the gap, we propose the Unbiased Recall Evaluation (URE) scheme, which adjusts the utilization of randomly-exposed datasets to unbiasedly estimate the true Recall performance on fully-exposed datasets. We provide theoretical evidence to demonstrate the rationality of URE and perform extensive experiments on real-world datasets to validate its soundness.
• Abstract（参考訳）: 近年の研究では、デバイアス法を取り入れたレコメンデーションモデルを著しく改善している。 完全公開データセットが利用できないため、既存のアプローチのほとんどは、非バイアスモデルを評価するためのプロキシとして、ランダムに公開データセットを採用し、レコメンデーションパフォーマンスを表現するために従来の評価スキームを使用している。 しかし,本研究では,従来の評価手法が無作為なデータセットには適さないことを明らかにするとともに,無作為なデータセットを用いて得られたリコール性能と完全公開データセットを用いて得られたリコール性能との間に矛盾が生じていることを明らかにする。 このような不整合性は、過去のデバイアスング手法の実験結果の潜在的不確実性を示し、ランダムに露呈されたデータセットを用いたアンバイアスドリコール評価を要求する。 このギャップを埋めるために、ランダムに出力されたデータセットの利用を調整するUnbiased Recall Evaluation (URE) スキームを提案し、完全に出力されたデータセット上で真のリコール性能を不偏に推定する。 我々は,UREの合理性を示す理論的証拠を提供し,その健全性を検証するために実世界のデータセットに対して広範な実験を行う。

関連論文リスト

• OffsetBias: Leveraging Debiased Data for Tuning Evaluators [1.5790747258969664]
  様々な判断モデルに固有の6種類のバイアスを定性的に同定する。 データセットの微調整は、バイアスに対する判断モデルの堅牢性を大幅に向上させる。
  論文  参考訳（メタデータ） (2024-07-09T05:16:22Z)
• Debiased Recommendation with Noisy Feedback [41.38490962524047]
  収集データ中のMNARとOMEから予測モデルの非バイアス学習に対する交差点脅威について検討する。 まず, OME-EIB, OME-IPS, OME-DR推定器を設計する。
  論文  参考訳（メタデータ） (2024-06-24T23:42:18Z)
• Towards Real World Debiasing: A Fine-grained Analysis On Spurious Correlation [17.080528126651977]
  既存のベンチマークと実世界のデータセットのバイアス分布を再検討し、データセットバイアスを分析するためのきめ細かいフレームワークを提案する。 その結果,既存の手法では現実のバイアスに対処できないことがわかった。 本稿では,Debias in Destruction (DiD) という,既存のデバイアス法に容易に適用可能な,シンプルかつ効果的なアプローチを提案する。
  論文  参考訳（メタデータ） (2024-05-24T06:06:41Z)
• Balancing Unobserved Confounding with a Few Unbiased Ratings in Debiased Recommendations [4.960902915238239]
  本稿では,既存のデバイアス法に適用可能な理論的に保証されたモデル非依存バランス手法を提案する。 提案手法では, バイアスデータを用いて学習したモデルパラメータを補正し, バイアスデータのバランス係数を適応的に学習することで, バイアスデータを完全に活用する。
  論文  参考訳（メタデータ） (2023-04-17T08:56:55Z)
• Uncertainty-Aware Instance Reweighting for Off-Policy Learning [63.31923483172859]
  本研究では,不確実性を考慮した逆確率スコア推定器 (UIPS) を提案する。 実世界の3つのレコメンデーションデータセットを用いた実験結果から,提案したUIPS推定器の有効サンプル効率が示された。
  論文  参考訳（メタデータ） (2023-03-11T11:42:26Z)
• Rethinking Missing Data: Aleatoric Uncertainty-Aware Recommendation [59.500347564280204]
  本稿では, Aleatoric Uncertainty-aware Recommendation (AUR) フレームワークを提案する。 AURは、新しい不確実性推定器と通常のレコメンデータモデルで構成されている。 誤ラベルの可能性がペアの可能性を反映しているため、AURは不確実性に応じてレコメンデーションを行う。
  論文  参考訳（メタデータ） (2022-09-22T04:32:51Z)
• AutoDebias: Learning to Debias for Recommendation [43.84313723394282]
  今回提案するtextitAotoDebiasは、他の(小さな)均一なデータセットを利用してデバイアスパラメータを最適化する。 我々は、AutoDebiasの一般化を導き、適切なデバイアス戦略を得る能力を証明する。
  論文  参考訳（メタデータ） (2021-05-10T08:03:48Z)
• Reliable Evaluations for Natural Language Inference based on a Unified Cross-dataset Benchmark [54.782397511033345]
  クラウドソースの自然言語推論(NLI)データセットは、アノテーションアーティファクトのような重大なバイアスに悩まされる可能性がある。 14のNLIデータセットと9つの広く使用されているニューラルネットワークベースのNLIモデルを再評価した、新しいクロスデータセットベンチマークを提案する。 提案した評価手法と実験ベースラインは,将来信頼性の高いNLI研究を刺激する基盤となる可能性がある。
  論文  参考訳（メタデータ） (2020-10-15T11:50:12Z)
• Towards Debiasing NLU Models from Unknown Biases [70.31427277842239]
  NLUモデルは、しばしばバイアスを利用して、意図したタスクを適切に学習することなく、データセット固有の高いパフォーマンスを達成する。 本稿では、モデルがバイアスを事前に知ることなく、主にバイアスを利用するのを防ぐ自己バイアスフレームワークを提案する。
  論文  参考訳（メタデータ） (2020-09-25T15:49:39Z)
• Identifying Statistical Bias in Dataset Replication [102.92137353938388]
  モデルが(11-14%) の精度低下を示すImageNetデータセットの再現について検討した。 同定された統計バイアスを補正した後、推定3.6%のpm 1.5%の当初の11.7%のpm 1.0%の精度低下しか記録されていない。
  論文  参考訳（メタデータ） (2020-05-19T17:48:32Z)
• Adversarial Filters of Dataset Biases [96.090959788952]
  大規模なニューラルモデルでは、言語とビジョンベンチマークで人間レベルのパフォーマンスが実証されている。 それらの性能は、敵対的またはアウト・オブ・ディストリビューションのサンプルで著しく低下する。 このようなデータセットバイアスを逆フィルタするAFLiteを提案する。
  論文  参考訳（メタデータ） (2020-02-10T21:59:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。