論文の概要: Trust Me on This: A User Study of Trustworthiness for RAG Responses

• arxiv url: http://arxiv.org/abs/2601.14460v1
• Date: Tue, 20 Jan 2026 20:30:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-22 21:27:50.145986
• Title: Trust Me on This: A User Study of Trustworthiness for RAG Responses
• Title（参考訳）: Trust Me on This: A User Study of Trustworthiness for RAG Responses
• Authors: Weronika Łajewska, Krisztian Balog,
• Abstract要約: 本研究では,検索強化生成システムからの応答において,異なるタイプの説明がユーザ信頼にどのような影響を及ぼすかを検討する。 ユーザの判断は、応答の明確性、行動可能性、およびそれ自身の事前知識にも大きく影響される。
• 参考スコア（独自算出の注目度）: 15.029309551125962
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The integration of generative AI into information access systems often presents users with synthesized answers that lack transparency. This study investigates how different types of explanations can influence user trust in responses from retrieval-augmented generation systems. We conducted a controlled, two-stage user study where participants chose the more trustworthy response from a pair-one objectively higher quality than the other-both with and without one of three explanation types: (1) source attribution, (2) factual grounding, and (3) information coverage. Our results show that while explanations significantly guide users toward selecting higher quality responses, trust is not dictated by objective quality alone: Users' judgments are also heavily influenced by response clarity, actionability, and their own prior knowledge.
• Abstract（参考訳）: 生成AIを情報アクセスシステムに統合することは、透明性に欠ける合成された回答をユーザに提示することが多い。 本研究では,検索強化生成システムからの応答において,異なるタイプの説明がユーザ信頼にどのような影響を及ぼすかを検討する。 被験者は,(1)情報源帰属,(2)事実的根拠,(3)情報カバレッジの3つの説明型のうちの1つで,他の2つよりも客観的に高い品質の対1から,より信頼性の高い回答を選択する2段階のユーザスタディを行った。 以上の結果から,より高品質な回答を選択するための説明がユーザを指導する一方で,信頼は客観的な品質のみによって判断されるのではなく,ユーザの判断は,応答の明確性や行動可能性,およびそれ以前の知識に大きく影響されていることが示唆された。

関連論文リスト

• "Even explanations will not help in trusting [this] fundamentally biased system": A Predictive Policing Case-Study [8.240854389254222]
  リスクの高いドメインにおけるAIシステムの使用は、ユーザを過度に信頼させるか、不適切な信頼または過度に信頼させる可能性がある。 過去の研究によると、AIシステムが提供する説明は、いつシステムを信頼すべきか、信頼すべきでないかをユーザーの理解を高めることができる。 本研究では,AIに基づく予測ポーリングの適切な信頼を確立する上で,さまざまな説明タイプとユーザ専門知識が与える影響について検討する。
  論文  参考訳（メタデータ） (2025-04-15T09:43:48Z)
• Fostering Appropriate Reliance on Large Language Models: The Role of Explanations, Sources, and Inconsistencies [66.30619782227173]
  大規模言語モデル(LLMs)は、流動的で説得力のある誤った応答を生成することができる。 ユーザの信頼を形作るLCM応答のいくつかの特徴を同定する。 説明は正しい応答と誤応答の両方に依存することが判明した。 情報源が提供された場合や説明が矛盾している場合の誤った応答への依存度は低い。
  論文  参考訳（メタデータ） (2025-02-12T16:35:41Z)
• Do RAG Systems Cover What Matters? Evaluating and Optimizing Responses with Sub-Question Coverage [74.70255719194819]
  サブクエストカバレッジに基づく新しいフレームワークを導入し、RAGシステムが質問の異なる面にどのように対処するかを計測する。 このフレームワークを使用して、You.com、Perplexity AI、Bing Chatの3つの商用生成応答エンジンを評価します。 すべての回答エンジンは、バックグラウンドやフォローアップよりも、コアサブクエストを頻繁にカバーしていますが、コアサブクエストの約50%を見逃しています。
  論文  参考訳（メタデータ） (2024-10-20T22:59:34Z)
• Creating Healthy Friction: Determining Stakeholder Requirements of Job Recommendation Explanations [2.373992571236766]
  本研究では,現実的なタスクベースの複合設計ユーザスタディを用いて,説明可能なジョブレコメンデーションシステムの評価を行う。 実際の説明を利害関係者に提供することは意思決定のスピードと正確さを著しく向上させるものではない。
  論文  参考訳（メタデータ） (2024-09-24T11:03:17Z)
• Why Would You Suggest That? Human Trust in Language Model Responses [0.3749861135832073]
  フレーミングと説明の存在がユーザ信頼とモデルパフォーマンスにどのように影響するかを分析する。 今後の研究は、人間と機械のチームリングシステムにおける信頼度の評価を、より深く掘り下げることを目的としている。
  論文  参考訳（メタデータ） (2024-06-04T06:57:47Z)
• Explainability for Transparent Conversational Information-Seeking [13.790574266700006]
  本研究は,反応を説明する様々な方法について考察する。 本研究は,説明タイプ,品質,提示モードの透過性を探索することにより,システム生成応答とユーザが検証可能な応答とのギャップを埋めることを目的とする。
  論文  参考訳（メタデータ） (2024-05-06T09:25:14Z)
• Rethinking the Evaluation of Dialogue Systems: Effects of User Feedback on Crowdworkers and LLMs [57.16442740983528]
  アドホック検索では、評価は暗黙のフィードバックを含むユーザーの行動に大きく依存する。 アノテータの会話知覚におけるターン評価におけるユーザフィードバックの役割はほとんど研究されていない。 本稿では,タスク指向対話システム(TDS)の評価が,ターンのフォローアップ発話を通じて提供されるユーザフィードバック,明示的あるいは暗黙的な評価にどのように影響するかに注目した。
  論文  参考訳（メタデータ） (2024-04-19T16:45:50Z)
• RELIC: Investigating Large Language Model Responses using Self-Consistency [58.63436505595177]
  LLM(Large Language Models)は、フィクションと事実を混同し、幻覚として知られる非事実コンテンツを生成することで有名である。 本稿では,ユーザが生成したテキストの信頼性を把握できる対話型システムを提案する。
  論文  参考訳（メタデータ） (2023-11-28T14:55:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。