論文の概要: Fakes of Varying Shades: How Warning Affects Human Perception and Engagement Regarding LLM Hallucinations

• arxiv url: http://arxiv.org/abs/2404.03745v1
• Date: Thu, 4 Apr 2024 18:34:32 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-08 17:35:40.876269
• Title: Fakes of Varying Shades: How Warning Affects Human Perception and Engagement Regarding LLM Hallucinations
• Title（参考訳）: バリアリングシェードのフェイク:LLMの幻覚に対する人間の知覚とエンゲージメントの警告がいかに影響するか
• Authors: Mahjabin Nahar, Haeseung Seo, Eun-Ju Lee, Aiping Xiong, Dongwon Lee,
• Abstract要約: 大規模言語モデル(LLM)は、不正確で架空のコンテンツを生成する能力に関する懸念を引き起こしている。 本研究の目的は,幻覚の程度を体系的に変化させることで,幻覚の人間の知覚を理解することである。 我々は,警告が真の内容の正しさに悪影響を及ぼすことなく,幻覚検出を改善することを観察した。
• 参考スコア（独自算出の注目度）: 9.740345290187307
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The widespread adoption and transformative effects of large language models (LLMs) have sparked concerns regarding their capacity to produce inaccurate and fictitious content, referred to as `hallucinations'. Given the potential risks associated with hallucinations, humans should be able to identify them. This research aims to understand the human perception of LLM hallucinations by systematically varying the degree of hallucination (genuine, minor hallucination, major hallucination) and examining its interaction with warning (i.e., a warning of potential inaccuracies: absent vs. present). Participants (N=419) from Prolific rated the perceived accuracy and engaged with content (e.g., like, dislike, share) in a Q/A format. Results indicate that humans rank content as truthful in the order genuine > minor hallucination > major hallucination and user engagement behaviors mirror this pattern. More importantly, we observed that warning improves hallucination detection without significantly affecting the perceived truthfulness of genuine content. We conclude by offering insights for future tools to aid human detection of hallucinations.
• Abstract（参考訳）: 大規模言語モデル(LLM)の普及と変革的効果は、不正確で架空のコンテンツを制作する能力に関する懸念を引き起こしている。 幻覚に関連する潜在的なリスクを考えると、人間はそれらを特定することができるはずだ。 本研究の目的は, 幻覚の程度(幻覚, 軽幻覚, 大幻覚)を体系的に変化させ, 警告との相互作用(すなわち, 潜在的な不正確さの警告: 現在と現在)を調べることで, LLM幻覚の人間の知覚を理解することである。 Prolificの参加者(N=419)は、知覚された正確さを評価し、Q/Aフォーマットでコンテンツ(例えば、好き嫌い、共有)に関わった。 以上の結果から,人間は本質的な幻覚<小幻覚><大幻覚とユーザエンゲージメント行動が,このパターンを反映していることが示唆された。 さらに,警告は真の内容の正しさに悪影響を及ぼすことなく,幻覚検出を改善することを観察した。 我々は、幻覚の人的検出を支援するための将来のツールに関する洞察を提供することで、結論付ける。

関連論文リスト

• On Large Language Models' Hallucination with Regard to Known Facts [74.96789694959894]
  大規模な言語モデルはファクトイドの質問に答えることに成功したが、幻覚を起こす傾向がある。 正しい解答知識を持つLLMの現象を推論力学の観点から検討する。 我々の研究は、LLMの幻覚が既知の事実について、そしてより重要なのは、幻覚を正確に予測する理由を理解することに光を当てた。
  論文  参考訳（メタデータ） (2024-03-29T06:48:30Z)
• Hal-Eval: A Universal and Fine-grained Hallucination Evaluation Framework for Large Vision Language Models [35.45859414670449]
  我々は,新しいカテゴリーであるイベント幻覚(Event Hallucination)を特徴とする,幻覚の洗練された分類を導入した。 次に,多種多様な幻覚からなる微粒な幻覚データの生成とフィルタリングに高度LLMを利用する。 提案するベンチマークでは,広帯域の幻覚に対処するLVLMの能力を顕著に評価している。
  論文  参考訳（メタデータ） (2024-02-24T05:14:52Z)
• A Survey on Hallucination in Large Vision-Language Models [18.540878498840435]
  LVLM(Large Vision-Language Models)は、実践的な実装の可能性から、AIの世界において注目を集めている。 しかし,「幻覚」は,現実の視覚的内容とそれに対応するテキスト生成のミスアライメントが,LVLMを活用する上で大きな課題となる。 我々は,LVLM関連幻覚を解明し,今後の緩和を促進するために検討する。
  論文  参考訳（メタデータ） (2024-02-01T00:33:21Z)
• Fine-grained Hallucination Detection and Editing for Language Models [109.56911670376932]
  大規模言語モデル(LM)は、しばしば幻覚と呼ばれる事実的誤りを引き起こす傾向にある。 我々は,幻覚の包括的分類を導入し,幻覚が多様な形態で現れることを議論する。 本稿では, 幻覚自動検出のための新しいタスクを提案し, 新たな評価ベンチマークであるFavaBenchを構築した。
  論文  参考訳（メタデータ） (2024-01-12T19:02:48Z)
• The Dawn After the Dark: An Empirical Study on Factuality Hallucination in Large Language Models [134.6697160940223]
  幻覚は、大きな言語モデルの信頼できるデプロイには大きな課題となります。 幻覚(検出)の検出方法、LLMが幻覚(ソース)をなぜ検出するのか、そしてそれを緩和するために何ができるか、という3つの重要な疑問がよく研究されるべきである。 本研究は, 幻覚検出, 発生源, 緩和の3つの側面に着目した, LLM幻覚の系統的研究である。
  論文  参考訳（メタデータ） (2024-01-06T12:40:45Z)
• On Early Detection of Hallucinations in Factual Question Answering [4.76359068115052]
  幻覚は依然として ユーザーの信頼を得るための大きな障害です 本研究では、モデル生成に関連するアーティファクトが、生成が幻覚を含むことを示すヒントを提供することができるかどうかを探索する。 以上の結果から,これらのアーティファクトの分布は,ハロゲン化世代と非ハロゲン化世代の違いが示唆された。
  論文  参考訳（メタデータ） (2023-12-19T14:35:04Z)
• HalluciDoctor: Mitigating Hallucinatory Toxicity in Visual Instruction Data [102.56792377624927]
  機械生成データに固有の幻覚は未発見のままである。 本稿では,クロスチェックパラダイムに基づく新しい幻覚検出・除去フレームワークであるHaluciDoctorを提案する。 LLaVAに比べて44.6%の幻覚を緩和し,競争性能を維持した。
  論文  参考訳（メタデータ） (2023-11-22T04:52:58Z)
• Evaluation and Analysis of Hallucination in Large Vision-Language Models [49.19829480199372]
  LVLM(Large Vision-Language Models)は近年大きな成功を収めている。 LVLMは今でも幻覚に悩まされている。 幻覚とは、視覚入力に存在しないLVLMの応答の情報を指す。
  論文  参考訳（メタデータ） (2023-08-29T08:51:24Z)
• HaluEval: A Large-Scale Hallucination Evaluation Benchmark for Large Language Models [146.87696738011712]
  大型言語モデル(LLM)は幻覚を生成する傾向があり、すなわち、ソースと矛盾したり、事実の知識によって検証できないコンテンツである。 言語モデル(HaluEval)のための幻覚評価ベンチマーク(Halucination Evaluation benchmark)を導入する。
  論文  参考訳（メタデータ） (2023-05-19T15:36:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。