論文の概要: Citations and Trust in LLM Generated Responses

• arxiv url: http://arxiv.org/abs/2501.01303v1
• Date: Thu, 02 Jan 2025 15:32:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-05 17:16:43.437341
• Title: Citations and Trust in LLM Generated Responses
• Title（参考訳）: LLM生成反応の循環と信頼
• Authors: Yifan Ding, Matthew Facciani, Amrit Poudel, Ellen Joyce, Salvador Aguinaga, Balaji Veeramani, Sanmitra Bhattacharya, Tim Weninger,
• Abstract要約: 信頼は引用の存在と相関し、逆に引用をチェックすることに関係していると予測される。 我々は、この仮説を、商用AIを用いて生成されたテキスト応答を示すライブ質問応答実験で検証した。 その結果,引用が無作為であった場合でも,信頼度は著しく上昇した。
• 参考スコア（独自算出の注目度）: 6.69021669849899
• License:
• Abstract: Question answering systems are rapidly advancing, but their opaque nature may impact user trust. We explored trust through an anti-monitoring framework, where trust is predicted to be correlated with presence of citations and inversely related to checking citations. We tested this hypothesis with a live question-answering experiment that presented text responses generated using a commercial Chatbot along with varying citations (zero, one, or five), both relevant and random, and recorded if participants checked the citations and their self-reported trust in the generated responses. We found a significant increase in trust when citations were present, a result that held true even when the citations were random; we also found a significant decrease in trust when participants checked the citations. These results highlight the importance of citations in enhancing trust in AI-generated content.
• Abstract（参考訳）: 質問応答システムは急速に進歩しているが、不透明な性質はユーザーの信頼に影響を及ぼす可能性がある。 我々は、信頼が引用の存在と相関し、逆に引用のチェックと関連していると予測される、アンチモニタリングの枠組みを通じて信頼を探究した。 この仮説を,市販のチャットボットを用いて生成したテキスト応答と,関連性およびランダム性の両方の異なる引用(0,1,5)を用いて実感実験により検証した。 その結果,引用が無作為であった場合においても信頼度は有意に増加し,また,参加者が引用を確認した場合の信頼度も著しく低下した。 これらの結果は、AI生成コンテンツに対する信頼を高めるための引用の重要性を強調している。

関連論文リスト

• Facilitating Human-LLM Collaboration through Factuality Scores and Source Attributions [35.48507905027844]
  人間はますます大きな言語モデル(LLM)に依存している LLMは「幻覚」としても知られる不正確な情報や偽の情報を生成する可能性がある。
  論文  参考訳（メタデータ） (2024-05-30T19:23:14Z)
• Verifiable by Design: Aligning Language Models to Quote from Pre-Training Data [48.409306245463]
  事前学習データにおいて,信頼された情報源から動詞句を引用するモデルを構築した。 Quote-Tuningの中核は、信頼されたコーパスに対するテキストを効率的に検証する高速なメンバシップ推論機能である。 実験により、Quote-Tuningは、ベースモデルと比較して高品質なドキュメントからの動詞の引用を最大130%増加させることが示された。
  論文  参考訳（メタデータ） (2024-04-05T02:27:09Z)
• TrustScore: Reference-Free Evaluation of LLM Response Trustworthiness [58.721012475577716]
  大規模言語モデル(LLM)は、様々な領域にまたがる印象的な能力を示しており、その実践的応用が急増している。 本稿では,行動整合性の概念に基づくフレームワークであるTrustScoreを紹介する。
  論文  参考訳（メタデータ） (2024-02-19T21:12:14Z)
• RELIC: Investigating Large Language Model Responses using Self-Consistency [58.63436505595177]
  LLM(Large Language Models)は、フィクションと事実を混同し、幻覚として知られる非事実コンテンツを生成することで有名である。 本稿では,ユーザが生成したテキストの信頼性を把握できる対話型システムを提案する。
  論文  参考訳（メタデータ） (2023-11-28T14:55:52Z)
• Do You Trust ChatGPT? -- Perceived Credibility of Human and AI-Generated Content [0.8602553195689513]
  本稿では,人文作家が生み出すコンテンツの信頼性と,大規模言語モデルが生み出すコンテンツの信頼性について考察する。 驚いたことに、私たちの結果は、ユーザインターフェースのプレゼンテーションに関わらず、参加者は同様の信頼性のレベルを考慮しがちであることを示した。 参加者はまた、人間とAIが生成したコンテンツの間の能力と信頼性に関する異なる認識を報告していない。
  論文  参考訳（メタデータ） (2023-09-05T18:29:29Z)
• The Dangers of trusting Stochastic Parrots: Faithfulness and Trust in Open-domain Conversational Question Answering [20.439568097395995]
  語彙アライメントなど,ある種の高度な言語対話行動を示すタスクベースシステムは,実際より好まれ,信頼されている。 この結果から,不誠実な応答を提供しながらユーザの入力を傍受することで,信頼に値するシステムの可能性を強調した。
  論文  参考訳（メタデータ） (2023-05-25T22:54:13Z)
• Evaluating Verifiability in Generative Search Engines [70.59477647085387]
  生成検索エンジンは、インラインの引用とともに、ユーザークエリへの応答を直接生成する。 我々は,一般的な4つの生成検索エンジンの評価を行う。 既存の生成検索エンジンからの応答は流動的であり、情報的に見えるが、しばしばサポートされていない文や不正確な引用を含んでいる。
  論文  参考訳（メタデータ） (2023-04-19T17:56:12Z)
• Towards generating citation sentences for multiple references with intent control [86.53829532976303]
  We build a novel generation model with the Fusion-in-Decoder approach to handlee with multiple long inputs。 実験により,提案手法は引用文を生成するためのより包括的な特徴を提供することが示された。
  論文  参考訳（メタデータ） (2021-12-02T15:32:24Z)
• Correcting Exposure Bias for Link Recommendation [31.799185352323807]
  露出バイアスは、ユーザーが特定の関連項目に体系的に過小評価されているときに生じる。 このバイアスを軽減するために、既知の露光確率を利用する推定器を提案する。 我々の手法は、推奨論文の研究分野においてより多様性をもたらす。
  論文  参考訳（メタデータ） (2021-06-13T16:51:41Z)
• How Much Can We Really Trust You? Towards Simple, Interpretable Trust Quantification Metrics for Deep Neural Networks [94.65749466106664]
  我々は思考実験を行い、信頼と信頼に関する2つの重要な疑問を探求する。 我々は、一連の質問に答える際の行動に基づいて、ディープニューラルネットワークの全体的な信頼性を評価するための一連のメトリクスを紹介します。 提案されたメトリクスは必ずしも完璧ではありませんが、よりよいメトリクスに向かって会話を推し進めることが望まれています。
  論文  参考訳（メタデータ） (2020-09-12T17:37:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。