論文の概要: Catch Me if You Search: When Contextual Web Search Results Affect the Detection of Hallucinations
- arxiv url: http://arxiv.org/abs/2504.01153v3
- Date: Tue, 06 May 2025 17:40:04 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-05-07 14:45:09.303195
- Title: Catch Me if You Search: When Contextual Web Search Results Affect the Detection of Hallucinations
- Title（参考訳）: 検索してみる: コンテキストWeb検索結果が幻覚の検出に影響を及ぼすとき
- Authors: Mahjabin Nahar, Eun-Ju Lee, Jin Won Park, Dongwon Lee,
- Abstract要約: 近年,ウェブ検索の結果を大規模言語モデル (LLM) に統合することで,人々が生成したコンテンツの検証に利用するかどうかが疑問視されている。
本研究は,LLM生成コンテンツの参加者の認識精度に及ぼす検索結果提供の影響について検討した。
- 参考スコア（独自算出の注目度）: 5.916307923025106
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: While we increasingly rely on large language models (LLMs) for various tasks, these models are known to produce inaccurate content or `hallucinations' with potentially disastrous consequences. The recent integration of web search results into LLMs prompts the question of whether people utilize them to verify the generated content, thereby accurately detecting hallucinations. An online experiment (N = 560) investigated how the provision of search results, either static (i.e., fixed search results provided by LLM) or dynamic (i.e., participant-led searches), affects participants' perceived accuracy of LLM-generated content (i.e., genuine, minor hallucination, major hallucination), self-confidence in accuracy ratings, as well as their overall evaluation of the LLM, as compared to the control condition (i.e., no search results). Results showed that participants in both static and dynamic conditions (vs. control) rated hallucinated content to be less accurate and perceived the LLM more negatively. However, those in the dynamic condition rated genuine content as more accurate and demonstrated greater overall self-confidence in their assessments than those in the static search or control conditions. We highlighted practical implications of incorporating web search functionality into LLMs in real-world contexts.
- Abstract（参考訳）: さまざまなタスクにおいて,大規模言語モデル (LLM) をますます頼りにしていますが,これらのモデルは不正確な内容や,潜在的に破滅的な結果をもたらすような‘幻覚’を生み出すことが知られています。
近年, Web 検索結果を LLM に統合したことにより, 生成したコンテンツの検証に利用しているかという疑問が提起され, 幻覚を的確に検出する。
オンライン実験(N = 560)では、静的(すなわち、LLMが提供する固定的な検索結果)または動的(すなわち、参加者主導の検索)の検索結果の提供が、LLM生成したコンテンツの参加者の認識された精度(すなわち、真の、小さな幻覚、大きな幻覚)、精度評価における自信、およびLLMの全体的な評価(すなわち、検索条件)にどのように影響するかを検討した。
その結果、静的および動的条件(vs. 制御)の参加者は、幻覚内容がより正確でなく、LLMをより否定的に知覚することが判明した。
しかし, 動的条件下では, 実内容の精度が向上し, 静的探索や制御条件よりも総合的な自己自信が向上した。
実世界の文脈におけるLLMにWeb検索機能を組み込むことの実践的意義を強調した。
関連論文リスト
- Triggering Hallucinations in LLMs: A Quantitative Study of Prompt-Induced Hallucination in Large Language Models [0.0]
大規模言語モデル(LLM)における幻覚は、現実世界のアプリケーションにまたがる課題が増えていることを示している。
幻覚を系統的に引き起こし定量化するプロンプトベースのフレームワークを提案する。
論文 参考訳（メタデータ） (2025-05-01T14:33:47Z) - HalluLens: LLM Hallucination Benchmark [49.170128733508335]
大規模言語モデル(LLM)は、しばしばユーザ入力やトレーニングデータから逸脱する応答を生成する。
本稿では,新たな内因性評価タスクと既存内因性評価タスクを併用した総合幻覚ベンチマークを提案する。
論文 参考訳（メタデータ） (2025-04-24T13:40:27Z) - Why and How LLMs Hallucinate: Connecting the Dots with Subsequence Associations [82.42811602081692]
本稿では,幻覚を体系的に追跡・理解するサブシーケンス・アソシエーション・フレームワークを提案する。
主要な洞察は、支配的な幻覚協会が忠実なものを上回るときに生じる幻覚である。
ランダムな入力コンテキストにおける幻覚の確率を解析することにより因果列を同定するトレースアルゴリズムを提案する。
論文 参考訳（メタデータ） (2025-04-17T06:34:45Z) - Can Your Uncertainty Scores Detect Hallucinated Entity? [14.432545893757677]
本稿では,エンティティレベルで幻覚を注釈する新たなデータセットであるHaluEntityを提案する。
このデータセットに基づいて、17の近代LCMにおける不確実性に基づく幻覚検出手法を評価する。
実験の結果,個々のトークン確率に着目した不確実性推定手法は幻覚を過度に予測する傾向があることがわかった。
論文 参考訳（メタデータ） (2025-02-17T16:01:41Z) - Valuable Hallucinations: Realizable Non-realistic Propositions [2.451326684641447]
本稿では,大規模言語モデル(LLM)における価値幻覚の形式的定義について紹介する。
特定の種類の幻覚が特定の文脈で提供できる潜在的な価値に焦点を当てる。
本稿では,Qwen2.5モデルとHaluQAデータセットを用いて,幻覚の制御と最適化を促進させるReActを用いて実験を行った。
論文 参考訳（メタデータ） (2025-02-16T12:59:11Z) - Mitigating Entity-Level Hallucination in Large Language Models [11.872916697604278]
本稿では,大規模言語モデル(LLM)における幻覚の検出・緩和手法として,幻覚検出(DRAD)に基づく動的検索拡張を提案する。
実験の結果,LDMにおける幻覚の検出と緩和の両面において,DRADは優れた性能を示した。
論文 参考訳（メタデータ） (2024-07-12T16:47:34Z) - ANAH-v2: Scaling Analytical Hallucination Annotation of Large Language Models [65.12177400764506]
大規模言語モデル (LLM) は、様々な領域や広範囲のアプリケーションにまたがる、長い形式の質問応答タスクにおいて幻覚を示す。
現在の幻覚検出と緩和データセットはドメインやサイズによって制限されている。
本稿では,幻覚アノテーションデータセットを同時に,段階的にスケールアップする反復的自己学習フレームワークを提案する。
論文 参考訳（メタデータ） (2024-07-05T17:56:38Z) - Fakes of Varying Shades: How Warning Affects Human Perception and Engagement Regarding LLM Hallucinations [9.740345290187307]
本研究の目的は,幻覚の程度を体系的に変化させることで,幻覚の人間の知覚を理解することである。
その結果,真の内容の正しさに悪影響を及ぼすことなく,覚醒検出の精度が向上することが確認された。
論文 参考訳（メタデータ） (2024-04-04T18:34:32Z) - Retrieve Only When It Needs: Adaptive Retrieval Augmentation for Hallucination Mitigation in Large Language Models [68.91592125175787]
幻覚は、大規模言語モデル(LLM)の実践的実装において重要な課題となる。
本稿では,幻覚に対処するための選択的検索拡張プロセスにより,Lowenを改良する新しいアプローチを提案する。
論文 参考訳（メタデータ） (2024-02-16T11:55:40Z) - Fine-grained Hallucination Detection and Editing for Language Models [109.56911670376932]
大規模言語モデル(LM)は、しばしば幻覚と呼ばれる事実的誤りを引き起こす傾向にある。
我々は,幻覚の包括的分類を導入し,幻覚が多様な形態で現れることを議論する。
本稿では, 幻覚自動検出のための新しいタスクを提案し, 新たな評価ベンチマークであるFavaBenchを構築した。
論文 参考訳（メタデータ） (2024-01-12T19:02:48Z) - HalluciDoctor: Mitigating Hallucinatory Toxicity in Visual Instruction Data [102.56792377624927]
機械生成データに固有の幻覚は未発見のままである。
本稿では,クロスチェックパラダイムに基づく新しい幻覚検出・除去フレームワークであるHaluciDoctorを提案する。
LLaVAに比べて44.6%の幻覚を緩和し,競争性能を維持した。
論文 参考訳（メタデータ） (2023-11-22T04:52:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。