論文の概要: Generative AI Search Engines as Arbiters of Public Knowledge: An Audit of Bias and Authority

• arxiv url: http://arxiv.org/abs/2405.14034v1
• Date: Wed, 22 May 2024 22:09:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-11 00:01:59.151906
• Title: Generative AI Search Engines as Arbiters of Public Knowledge: An Audit of Bias and Authority
• Title（参考訳）: 公開知識の仲介者としてのジェネレーティブAI検索エンジン:バイアスと権限の監査
• Authors: Alice Li, Luanne Sinnamon,
• Abstract要約: 本稿では, 生成型AIシステム(ChatGPT, Bing Chat, Perplexity)の監査研究について報告する。 7日間に4つのトピックに対する48の真正クエリを用いてシステム応答を収集し,感情分析,帰納的符号化,ソース分類を用いて分析した。 その結果,これらのシステムにまたがるシステム応答の性質を概観し,クエリとトピックに基づく感情バイアスの証拠と,情報源における商業的および地理的バイアスの証拠を提供する。
• 参考スコア（独自算出の注目度）: 2.860575804107195
• License:
• Abstract: This paper reports on an audit study of generative AI systems (ChatGPT, Bing Chat, and Perplexity) which investigates how these new search engines construct responses and establish authority for topics of public importance. We collected system responses using a set of 48 authentic queries for 4 topics over a 7-day period and analyzed the data using sentiment analysis, inductive coding and source classification. Results provide an overview of the nature of system responses across these systems and provide evidence of sentiment bias based on the queries and topics, and commercial and geographic bias in sources. The quality of sources used to support claims is uneven, relying heavily on News and Media, Business and Digital Media websites. Implications for system users emphasize the need to critically examine Generative AI system outputs when making decisions related to public interest and personal well-being.
• Abstract（参考訳）: 本稿では、これらの新検索エンジンがどのように応答を構築し、公共の重要事項に関する権限を確立するかを調査する、生成型AIシステム(ChatGPT、Bing Chat、Perplexity)の監査研究について報告する。 7日間に4つのトピックに対する48の真正クエリを用いてシステム応答を収集し,感情分析,帰納的符号化,ソース分類を用いて分析した。 その結果,これらのシステムにまたがるシステム応答の性質を概観し,クエリとトピックに基づく感情バイアスの証拠と,情報源における商業的および地理的バイアスの証拠を提供する。 クレームをサポートするために使用されるソースの品質は不均一であり、News and Media、Business and Digital Mediaのウェブサイトに大きく依存している。 システムユーザにとっての意味は、公共の関心や個人の幸福に関する決定を行う際に、生成的AIシステムのアウトプットを批判的に調べる必要性を強調している。

関連論文リスト

• Do RAG Systems Cover What Matters? Evaluating and Optimizing Responses with Sub-Question Coverage [74.70255719194819]
  サブクエストカバレッジに基づく新しいフレームワークを導入し、RAGシステムが質問の異なる面にどのように対処するかを計測する。 このフレームワークを使用して、You.com、Perplexity AI、Bing Chatの3つの商用生成応答エンジンを評価します。 すべての回答エンジンは、バックグラウンドやフォローアップよりも、コアサブクエストを頻繁にカバーしていますが、コアサブクエストの約50%を見逃しています。
  論文  参考訳（メタデータ） (2024-10-20T22:59:34Z)
• Web Retrieval Agents for Evidence-Based Misinformation Detection [12.807650005708911]
  本稿では,誤情報検出のためのエージェントベース自動事実チェック手法を提案する。 検索にインターネットにアクセスできない強力なLLMエージェントとオンライン検索エージェントを組み合わせることで,各ツールを独立して使用する場合よりも優れた結果が得られることを示す。
  論文  参考訳（メタデータ） (2024-08-15T15:13:16Z)
• Measuring and Addressing Indexical Bias in Information Retrieval [69.7897730778898]
  PAIRフレームワークは、ランキングドキュメンテーションやIRシステム全体の自動バイアス監査をサポートする。 DUOを導入した後、我々は32kの合成と4.7kの天然文書からなる新しいコーパスで8つのIRシステムの広範な評価を行った。 人間の行動学的研究は、私たちのアプローチを検証し、私たちのバイアスメトリクスが、いつ、どのように指標バイアスが読者の意見を変えるかを予測するのに役立ちます。
  論文  参考訳（メタデータ） (2024-06-06T17:42:37Z)
• ExpertQA: Expert-Curated Questions and Attributed Answers [51.68314045809179]
  我々は,様々な属性と事実の軸に沿って,いくつかの代表システムからの応答を人為的に評価する。 我々は32分野にわたる484人の被験者から専門家による質問を収集し、同じ専門家に自身の質問に対する反応を評価する。 分析の結果は,32分野にまたがる2177の質問と,回答の検証とクレームの属性を備えた高品質な長文QAデータセットであるExpertQAである。
  論文  参考訳（メタデータ） (2023-09-14T16:54:34Z)
• Evaluating Verifiability in Generative Search Engines [70.59477647085387]
  生成検索エンジンは、インラインの引用とともに、ユーザークエリへの応答を直接生成する。 我々は,一般的な4つの生成検索エンジンの評価を行う。 既存の生成検索エンジンからの応答は流動的であり、情報的に見えるが、しばしばサポートされていない文や不正確な引用を含んでいる。
  論文  参考訳（メタデータ） (2023-04-19T17:56:12Z)
• Towards Corpus-Scale Discovery of Selection Biases in News Coverage: Comparing What Sources Say About Entities as a Start [65.28355014154549]
  本稿では,大規模ニュースコーパスにおけるニュースコンテンツから直接メディア選択バイアスのパターンを発見するために,スケーラブルなNLPシステムを構築する上での課題について検討する。 我々は,世界519のニュースソースから180万件のニュース記事のコーパスであるNELA-2020のケーススタディを通じて,フレームワークの能力を示す。
  論文  参考訳（メタデータ） (2023-04-06T23:36:45Z)
• Search-Engine-augmented Dialogue Response Generation with Cheaply Supervised Query Production [98.98161995555485]
  応答生成のために,任意の検索エンジンから膨大な動的情報にアクセス可能な対話モデルを提案する。 コアモジュールとして、クエリプロデューサを使用して、対話コンテキストからクエリを生成して、検索エンジンと対話する。 R@1とR@5のレートを62.4%と74.8%で達成できることを示す実験を行った。
  論文  参考訳（メタデータ） (2023-02-16T01:58:10Z)
• "There Is Not Enough Information": On the Effects of Explanations on Perceptions of Informational Fairness and Trustworthiness in Automated Decision-Making [0.0]
  自動意思決定システム(ADS)は、連続的な意思決定にますます利用されている。 我々は,情報の公平さに対する人々の認識を評価するために,人間による研究を行う。 定性的フィードバックの包括的分析は、説明のために人々のデシラタに光を当てる。
  論文  参考訳（メタデータ） (2022-05-11T20:06:03Z)
• Proposing an Interactive Audit Pipeline for Visual Privacy Research [0.0]
  我々は、システムにおけるバイアスと公平性の問題を発見し、責任ある人間対ループの必要性を主張し、有害な社会的影響を持つ研究課題を探求する必要性を反映するために公正性を利用することについて議論する。 私たちの目標は、視覚的プライバシとバイアスの問題に対して、機械学習パイプラインの体系的な分析を提供することです。
  論文  参考訳（メタデータ） (2021-11-07T01:51:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。