論文の概要: Can Users Detect Biases or Factual Errors in Generated Responses in Conversational Information-Seeking?

• arxiv url: http://arxiv.org/abs/2410.21529v1
• Date: Mon, 28 Oct 2024 20:55:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-10 11:30:32.966749
• Title: Can Users Detect Biases or Factual Errors in Generated Responses in Conversational Information-Seeking?
• Title（参考訳）: 対話型情報探索における応答生成におけるバイアスや誤検出の可能性
• Authors: Weronika Łajewska, Krisztian Balog, Damiano Spina, Johanne Trippas,
• Abstract要約: 対話型情報検索システムにおける応答生成の限界について検討する。 本研究は,問合せ応答性の問題と応答不完全性の課題に対処する。 分析の結果,クエリ応答性よりも応答不完全性の検出が容易であることが判明した。
• 参考スコア（独自算出の注目度）: 13.790574266700006
• License:
• Abstract: Information-seeking dialogues span a wide range of questions, from simple factoid to complex queries that require exploring multiple facets and viewpoints. When performing exploratory searches in unfamiliar domains, users may lack background knowledge and struggle to verify the system-provided information, making them vulnerable to misinformation. We investigate the limitations of response generation in conversational information-seeking systems, highlighting potential inaccuracies, pitfalls, and biases in the responses. The study addresses the problem of query answerability and the challenge of response incompleteness. Our user studies explore how these issues impact user experience, focusing on users' ability to identify biased, incorrect, or incomplete responses. We design two crowdsourcing tasks to assess user experience with different system response variants, highlighting critical issues to be addressed in future conversational information-seeking research. Our analysis reveals that it is easier for users to detect response incompleteness than query answerability and user satisfaction is mostly associated with response diversity, not factual correctness.
• Abstract（参考訳）: 情報探索対話は、単純なファクトイドから、複数の面と視点を探索する必要がある複雑なクエリまで、幅広い質問にまたがる。 不慣れなドメインで探索探索を行う場合、ユーザはバックグラウンドの知識を欠き、システムが提供する情報を検証するのに苦労し、誤った情報に対して脆弱になる可能性がある。 本稿では,会話情報検索システムにおける応答生成の限界について検討し,潜在的な不正確性,落とし穴,応答の偏りを明らかにする。 本研究は,問合せ応答性の問題と応答不完全性の課題に対処する。 私たちのユーザ調査は、これらの問題がユーザエクスペリエンスにどのように影響するかを調査し、バイアス、不正、あるいは不完全な応答を識別するユーザの能力に焦点を当てています。 2つのクラウドソーシングタスクを設計し、異なるシステム応答変異を用いたユーザエクスペリエンスの評価を行い、今後の会話情報検索研究において対処すべき重要な課題を強調した。 分析の結果,質問応答性よりも応答不完全性を検知しやすく,ユーザの満足度は応答の多様性に大きく関連していることが判明した。

関連論文リスト

• Open Domain Question Answering with Conflicting Contexts [55.739842087655774]
  あいまいでオープンなドメインの質問の25%は、Google Searchを使って検索すると、コンフリクトのあるコンテキストにつながります。 我々はアノテータに正しい回答の選択についての説明を依頼する。
  論文  参考訳（メタデータ） (2024-10-16T07:24:28Z)
• CLARINET: Augmenting Language Models to Ask Clarification Questions for Retrieval [52.134133938779776]
  CLARINETは,回答が正しい候補の確実性を最大化する質問を選択することで,情報的明確化を問うシステムである。 提案手法は,大規模言語モデル(LLM)を検索分布の条件付きで拡張し,各ターンで真の候補のランクを最大化する問題を生成する。
  論文  参考訳（メタデータ） (2024-04-28T18:21:31Z)
• PAQA: Toward ProActive Open-Retrieval Question Answering [34.883834970415734]
  本研究の目的は、ユーザクエリとドキュメントの両方に存在する固有の曖昧さを考慮し、関連性のある明確な質問を生成するという課題に取り組むことである。 本稿では,既存のAmbiNQデータセットの拡張であるPAQAを提案する。 次に,様々なモデルの評価を行い,経路探索があいまいさの検出と明瞭な質問の生成にどのように影響するかを評価する。
  論文  参考訳（メタデータ） (2024-02-26T14:40:34Z)
• Asking Multimodal Clarifying Questions in Mixed-Initiative Conversational Search [89.1772985740272]
  混合開始型会話検索システムでは、質問を明確にすることで、意図を単一のクエリで表現するのに苦労するユーザを支援する。 マルチモーダル情報が関係するシナリオでは、非テクスチャ情報を用いることで、明確化のプロセスを改善することができると仮定する。 質問を明確にする4k以上のマルチモーダルを含むMelonというデータセットを収集し、14k以上の画像で濃縮する。 クエリの明確化フェーズにおけるマルチモーダルコンテンツの重要性を理解するために,いくつかの解析を行った。
  論文  参考訳（メタデータ） (2024-02-12T16:04:01Z)
• Social Commonsense-Guided Search Query Generation for Open-Domain Knowledge-Powered Conversations [66.16863141262506]
  本稿では,ソーシャルコモンセンスによってガイドされたインターネット検索クエリ生成に焦点を当てた新しいアプローチを提案する。 提案フレームワークは,トピックトラッキング,コモンセンス応答生成,命令駆動クエリ生成を統合することで,受動的ユーザインタラクションに対処する。
  論文  参考訳（メタデータ） (2023-10-22T16:14:56Z)
• ExpertQA: Expert-Curated Questions and Attributed Answers [51.68314045809179]
  我々は,様々な属性と事実の軸に沿って,いくつかの代表システムからの応答を人為的に評価する。 我々は32分野にわたる484人の被験者から専門家による質問を収集し、同じ専門家に自身の質問に対する反応を評価する。 分析の結果は,32分野にまたがる2177の質問と,回答の検証とクレームの属性を備えた高品質な長文QAデータセットであるExpertQAである。
  論文  参考訳（メタデータ） (2023-09-14T16:54:34Z)
• Continually Improving Extractive QA via Human Feedback [59.49549491725224]
  本研究では,人間のフィードバックによる抽出質問応答(QA)システムの改善を継続的に進める。 多様な設定の下で何千ものユーザインタラクションを含む実験を行い、時間とともにフィードバックからの学習の理解を広げます。
  論文  参考訳（メタデータ） (2023-05-21T14:35:32Z)
• Interactive Question Answering Systems: Literature Review [17.033640293433397]
  対話型質問応答(Interactive Question answering)は、質問応答と対話システムの交差点に存在する、最近提案され、ますます人気が高まっているソリューションである。 ユーザがより多くの質問をできるようにすることで、インタラクティブな質問応答によって、ユーザはシステムと動的に対話し、より正確な結果を受け取ることができる。 本調査は,現在の文献で広く普及している対話型質問応答法の概要を概説する。
  論文  参考訳（メタデータ） (2022-09-04T13:46:54Z)
• Multi-stage Clarification in Conversational AI: The case of Question-Answering Dialogue Systems [0.27998963147546135]
  対話型質問応答や会話型検索など,様々な情報検索タスクにおいて,明確化の解決が重要な役割を担っている。 そこで本稿では,質問応答対話システムのコンテキストにおいて,質問の明確化とクエリ選択を促すための多段階的明確化機構を提案する。 提案手法は,ユーザエクスペリエンス全体の改善と,競合するベースラインを2つのデータセットで比較する。
  論文  参考訳（メタデータ） (2021-10-28T15:45:44Z)
• An Empirical Study of Clarifying Question-Based Systems [15.767515065224016]
  実験システムをデプロイしてオンライン実験を行い、プロダクトリポジトリに対して明確な質問をすることでユーザと対話する。 暗黙的なインタラクション行動データと,ユーザからの明示的なフィードバックの両方を収集する。 (a)ユーザは,多くの明確な質問(平均11～21件)に回答する意思がありますが,それ以上は多くありません。
  論文  参考訳（メタデータ） (2020-08-01T15:10:11Z)
• Review-guided Helpful Answer Identification in E-commerce [38.276241153439955]
  製品固有のコミュニティ質問応答プラットフォームは、潜在的な顧客の懸念に対処するのに大いに役立ちます。 このようなプラットフォーム上でユーザが提供する回答は、その品質に大きく違いがあります。 コミュニティからのヘルプフルネスの投票は、回答の全体的な品質を示すことができるが、しばしば欠落している。
  論文  参考訳（メタデータ） (2020-03-13T11:34:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。