論文の概要: Measuring and Addressing Indexical Bias in Information Retrieval

• arxiv url: http://arxiv.org/abs/2406.04298v1
• Date: Thu, 6 Jun 2024 17:42:37 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-07 13:30:41.747431
• Title: Measuring and Addressing Indexical Bias in Information Retrieval
• Title（参考訳）: 情報検索における指標バイアスの測定と対応
• Authors: Caleb Ziems, William Held, Jane Dwivedi-Yu, Diyi Yang,
• Abstract要約: PAIRフレームワークは、ランキングドキュメンテーションやIRシステム全体の自動バイアス監査をサポートする。 DUOを導入した後、我々は32kの合成と4.7kの天然文書からなる新しいコーパスで8つのIRシステムの広範な評価を行った。 人間の行動学的研究は、私たちのアプローチを検証し、私たちのバイアスメトリクスが、いつ、どのように指標バイアスが読者の意見を変えるかを予測するのに役立ちます。
• 参考スコア（独自算出の注目度）: 69.7897730778898
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Information Retrieval (IR) systems are designed to deliver relevant content, but traditional systems may not optimize rankings for fairness, neutrality, or the balance of ideas. Consequently, IR can often introduce indexical biases, or biases in the positional order of documents. Although indexical bias can demonstrably affect people's opinion, voting patterns, and other behaviors, these issues remain understudied as the field lacks reliable metrics and procedures for automatically measuring indexical bias. Towards this end, we introduce the PAIR framework, which supports automatic bias audits for ranked documents or entire IR systems. After introducing DUO, the first general-purpose automatic bias metric, we run an extensive evaluation of 8 IR systems on a new corpus of 32k synthetic and 4.7k natural documents, with 4k queries spanning 1.4k controversial issue topics. A human behavioral study validates our approach, showing that our bias metric can help predict when and how indexical bias will shift a reader's opinion.
• Abstract（参考訳）: 情報検索(IR)システムは関連コンテンツを提供するように設計されているが、従来のシステムは公平性、中立性、アイデアのバランスのランク付けを最適化するものではない。 その結果、IRは文書の位置順にインデックスバイアスやバイアスを導入できる。 指標バイアスは、人々の意見、投票パターン、その他の行動に明白に影響を及ぼす可能性があるが、これらの問題は、指標バイアスを自動的に測定する信頼性のある指標や手順が欠如しているため、未検討のままである。 この目的のために、ランキングドキュメンテーションやIRシステム全体の自動バイアス監査をサポートするPAIRフレームワークを導入する。 最初の汎用的自動バイアス測定であるDUOを導入し、新たに32kの合成と4.7kの天然文書のコーパスで8つのIRシステムの広範囲な評価を行い、4kのクエリが1.4kの議論のある問題トピックにまたがった。 人間の行動学的研究は、私たちのアプローチを検証し、私たちのバイアスメトリクスが、いつ、どのように指標バイアスが読者の意見を変えるかを予測するのに役立ちます。

関連論文リスト

• Eliminating Position Bias of Language Models: A Mechanistic Approach [119.34143323054143]
  位置バイアスは現代言語モデル (LM) の一般的な問題であることが証明されている。 我々の力学解析は、ほぼ全ての最先端のLMで使われている2つのコンポーネント(因果的注意と相対的位置エンコーディング)に位置バイアスが関係している。 位置バイアスを排除することによって、LM-as-a-judge、検索強化QA、分子生成、数学推論など、下流タスクのパフォーマンスと信頼性が向上する。
  論文  参考訳（メタデータ） (2024-07-01T09:06:57Z)
• Take Care of Your Prompt Bias! Investigating and Mitigating Prompt Bias in Factual Knowledge Extraction [56.17020601803071]
  近年の研究では、事前学習言語モデル(PLM)が、事実知識抽出において「急激なバイアス」に悩まされていることが示されている。 本稿では,突発バイアスを徹底的に調査し緩和することにより,既存のベンチマークの信頼性を向上させることを目的とする。
  論文  参考訳（メタデータ） (2024-03-15T02:04:35Z)
• Metrics for popularity bias in dynamic recommender systems [0.0]
  バイアスドレコメンデーションは個人、敏感なユーザーグループ、社会に悪影響を及ぼす可能性のある決定につながる可能性がある。 本稿では,RecSysモデルの出力から直接発生する人気バイアスの定量化に着目する。 RescSysにおける人気バイアスを時間とともに定量化するための4つの指標が提案されている。
  論文  参考訳（メタデータ） (2023-10-12T16:15:30Z)
• Investigating Bias with a Synthetic Data Generator: Empirical Evidence and Philosophical Interpretation [66.64736150040093]
  機械学習の応用は、私たちの社会でますます広まりつつある。 リスクは、データに埋め込まれたバイアスを体系的に広めることである。 本稿では,特定の種類のバイアスとその組み合わせで合成データを生成するフレームワークを導入することにより,バイアスを分析することを提案する。
  論文  参考訳（メタデータ） (2022-09-13T11:18:50Z)
• How Gender Debiasing Affects Internal Model Representations, and Why It Matters [26.993273464725995]
  内因性バイアスは、標準のWEAT測定値よりもデバイアスの指標として優れていることを示す。 当社のフレームワークは,NLPモデルのバイアスを包括的に把握し,より情報のある方法でNLPシステムのデプロイに適用することができる。
  論文  参考訳（メタデータ） (2022-04-14T08:54:15Z)
• The SAME score: Improved cosine based bias score for word embeddings [49.75878234192369]
  埋め込みにおけるセマンティックバイアスのための新しいバイアススコアであるPetを紹介した。 本研究は,下水道作業における意味バイアスを測定し,社会的バイアスの潜在的な原因を特定することができることを示す。
  論文  参考訳（メタデータ） (2022-03-28T09:28:13Z)
• Information-Theoretic Bias Reduction via Causal View of Spurious Correlation [71.9123886505321]
  本稿では,スプリアス相関の因果的解釈による情報理論バイアス測定手法を提案する。 本稿では,バイアス正規化損失を含むアルゴリズムバイアスに対する新しいデバイアスフレームワークを提案する。 提案したバイアス測定とデバイアス法は、多様な現実シナリオで検証される。
  論文  参考訳（メタデータ） (2022-01-10T01:19:31Z)
• Unbiased Pairwise Learning to Rank in Recommender Systems [4.058828240864671]
  アルゴリズムをランク付けする偏見のない学習は、候補をアピールし、既に単一の分類ラベルを持つ多くのアプリケーションに適用されている。 本稿では,この課題に対処するための新しい非バイアス付きLTRアルゴリズムを提案する。 パブリックベンチマークデータセットと内部ライブトラフィックを用いた実験結果から,分類ラベルと連続ラベルのいずれにおいても提案手法の優れた結果が得られた。
  論文  参考訳（メタデータ） (2021-11-25T06:04:59Z)
• Towards Automatic Bias Detection in Knowledge Graphs [5.402498799294428]
  本稿では,数値バイアス指標に基づいて,知識グラフの埋め込みにおけるバイアスを識別するフレームワークについて述べる。 本稿では,職業予測の課題に対する3つの異なるバイアス尺度を用いて,この枠組みを説明する。 バイアスを負った関係は、その後の偏見を判断するために意思決定者に渡される。
  論文  参考訳（メタデータ） (2021-09-19T03:58:25Z)
• Uncovering Latent Biases in Text: Method and Application to Peer Review [38.726731935235584]
  本稿では,サブグループメンバーシップ指標の可視性に起因するテキストのバイアスを定量化する新しいフレームワークを提案する。 評価された機械学習会議からのピアレビューのテキストにおけるバイアスの定量化に,我々のフレームワークを適用した。
  論文  参考訳（メタデータ） (2020-10-29T01:24:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。