論文の概要: Triggering Hallucinations in LLMs: A Quantitative Study of Prompt-Induced Hallucination in Large Language Models

• arxiv url: http://arxiv.org/abs/2505.00557v1
• Date: Thu, 01 May 2025 14:33:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-02 19:15:55.330433
• Title: Triggering Hallucinations in LLMs: A Quantitative Study of Prompt-Induced Hallucination in Large Language Models
• Title（参考訳）: LLMにおけるトリガー幻覚:大規模言語モデルにおけるプロンプト誘発幻覚の定量的研究
• Authors: Makoto Sato,
• Abstract要約: 大規模言語モデル(LLM)における幻覚は、現実世界のアプリケーションにまたがる課題が増えていることを示している。 幻覚を系統的に引き起こし定量化するプロンプトベースのフレームワークを提案する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Hallucinations in large language models (LLMs) present a growing challenge across real-world applications, from healthcare to law, where factual reliability is essential. Despite advances in alignment and instruction tuning, LLMs can still generate outputs that are fluent yet fundamentally untrue. Understanding the cognitive dynamics that underlie these hallucinations remains an open problem. In this study, we propose a prompt-based framework to systematically trigger and quantify hallucination: a Hallucination-Inducing Prompt (HIP), which synthetically fuses semantically distant concepts (e.g., periodic table of elements and tarot divination) in a misleading way, and a Hallucination Quantifying Prompt (HQP), which scores the plausibility, confidence, and coherence of the output. Controlled experiments across multiple LLMs revealed that HIPs consistently produced less coherent and more hallucinated responses than their null-fusion controls. These effects varied across models, with reasoning-oriented LLMs showing distinct profiles from general-purpose ones. Our framework provides a reproducible testbed for studying hallucination vulnerability, and opens the door to developing safer, more introspective LLMs that can detect and self-regulate the onset of conceptual instability.
• Abstract（参考訳）: 大規模言語モデル(LLM)における幻覚は、医療から法律まで、現実のアプリケーションにおいて、現実の信頼性が不可欠であるような課題が増えていることを示している。 アライメントとインストラクションチューニングの進歩にもかかわらず、LLMはいまだに流動的で基本的には非現実的な出力を生成することができる。 これらの幻覚を補う認知力学を理解することは、依然として未解決の問題である。 本研究では, 意味論的に離れた概念(例えば, 元素の周期表, タロット占い表)をミスリード的に融合させるHIP(Halucination-Inducing Prompt)と, 出力の妥当性, 信頼性, コヒーレンスを評価するHalucination Quantifying Prompt(HQP)とを系統的にトリガーし, 定量化する手法を提案する。 複数のLSMで制御された実験により、HIPはヌル融合制御よりも一貫してコヒーレントで幻覚的な反応を生じないことが明らかとなった。 これらの効果はモデルによって異なり、推論指向のLLMは汎用のLLMとは異なるプロファイルを示す。 我々のフレームワークは,幻覚の脆弱性を研究するための再現性テストベッドを提供し,概念的不安定の発症を検出・自己制御できる,より安全で内省的なLCMを開発するための扉を開く。

関連論文リスト

• HalluLens: LLM Hallucination Benchmark [49.170128733508335]
  大規模言語モデル(LLM)は、しばしばユーザ入力やトレーニングデータから逸脱する応答を生成する。 本稿では,新たな内因性評価タスクと既存内因性評価タスクを併用した総合幻覚ベンチマークを提案する。
  論文  参考訳（メタデータ） (2025-04-24T13:40:27Z)
• HalluShift: Measuring Distribution Shifts towards Hallucination Detection in LLMs [14.005452985740849]
  大規模言語モデル(LLM)は、最近、与えられたプロンプトに対する革新的な応答を生成できるため、広く注目を集めている。 本研究では,LLMの内部動態から幻覚が生じると仮定する。 本研究では,内部状態空間における分布変化を解析するための革新的アプローチであるHaluShiftを導入する。
  論文  参考訳（メタデータ） (2025-04-13T08:35:22Z)
• Combating Multimodal LLM Hallucination via Bottom-Up Holistic Reasoning [151.4060202671114]
  マルチモーダル大規模言語モデル(MLLM)は、視覚言語タスクを前進させる前例のない能力を示した。 本稿では,MLLMにおける幻覚に対処するためのボトムアップ推論フレームワークを提案する。 本フレームワークは、認識レベル情報と認知レベルコモンセンス知識を検証・統合することにより、視覚とテキストの両方の入力における潜在的な問題に体系的に対処する。
  論文  参考訳（メタデータ） (2024-12-15T09:10:46Z)
• Hallucination Detection: Robustly Discerning Reliable Answers in Large Language Models [70.19081534515371]
  大規模言語モデル(LLM)は様々な自然言語処理タスクで広く採用されている。 それらは、入力源から逸脱する不信または矛盾したコンテンツを生成し、深刻な結果をもたらす。 本稿では,LLMの生成した回答の幻覚を効果的に検出するために,RelDという頑健な識別器を提案する。
  論文  参考訳（メタデータ） (2024-07-04T18:47:42Z)
• Exploring and Evaluating Hallucinations in LLM-Powered Code Generation [14.438161741833687]
  LLM(Large Language Models)は、ユーザの意図から逸脱した出力を生成し、内部的不整合を示すか、事実的知識と不整合を示す。 既存の研究は主に、自然言語生成の分野における幻覚の投資に重点を置いている。 我々は,LLM生成コードのテーマ解析を行い,その内に存在する幻覚を要約し,分類する。 幻覚認識におけるLLMの性能評価のためのベンチマークであるHaluCodeを提案する。
  論文  参考訳（メタデータ） (2024-04-01T07:31:45Z)
• Retrieve Only When It Needs: Adaptive Retrieval Augmentation for Hallucination Mitigation in Large Language Models [68.91592125175787]
  幻覚は、大規模言語モデル(LLM)の実践的実装において重要な課題となる。 本稿では,幻覚に対処するための選択的検索拡張プロセスにより,Lowenを改良する新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2024-02-16T11:55:40Z)
• The Dawn After the Dark: An Empirical Study on Factuality Hallucination in Large Language Models [134.6697160940223]
  幻覚は、大きな言語モデルの信頼できるデプロイには大きな課題となります。 幻覚(検出)の検出方法、LLMが幻覚(ソース)をなぜ検出するのか、そしてそれを緩和するために何ができるか、という3つの重要な疑問がよく研究されるべきである。 本研究は, 幻覚検出, 発生源, 緩和の3つの側面に着目した, LLM幻覚の系統的研究である。
  論文  参考訳（メタデータ） (2024-01-06T12:40:45Z)
• A Survey on Hallucination in Large Language Models: Principles, Taxonomy, Challenges, and Open Questions [40.79317187623401]
  大規模言語モデル(LLM)の出現は、自然言語処理(NLP)において大きなブレークスルーとなった。 LLMは幻覚を起こす傾向があり、可視だが非現実的な内容を生成する。 この現象は、実世界の情報検索システムにおけるLCMの信頼性に対する重大な懸念を引き起こす。
  論文  参考訳（メタデータ） (2023-11-09T09:25:37Z)
• Siren's Song in the AI Ocean: A Survey on Hallucination in Large Language Models [116.01843550398183]
  大規模言語モデル(LLM)は、様々な下流タスクで顕著な機能を示している。 LLMは時折、ユーザ入力から分岐するコンテンツを生成し、以前生成されたコンテキストと矛盾する。
  論文  参考訳（メタデータ） (2023-09-03T16:56:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。