論文の概要: Exploring and Mitigating Fawning Hallucinations in Large Language Models
- arxiv url: http://arxiv.org/abs/2509.00869v1
- Date: Sun, 31 Aug 2025 14:29:54 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-09-04 15:17:03.437426
- Title: Exploring and Mitigating Fawning Hallucinations in Large Language Models
- Title(参考訳): 大規模言語モデルにおけるfawning Hallucinationの探索と緩和
- Authors: Zixuan Shangguan, Yanjie Dong, Lanjun Wang, Xiaoyi Fan, Victor C. M. Leung, Xiping Hu,
- Abstract要約: 各種自然言語処理タスクにおけるハエの幻覚の分析を行う。
我々は、フェニング・ハロシン化緩和のための、いわゆるコントラストデコーディング手法をカスタマイズする。
- 参考スコア(独自算出の注目度): 52.444712272909435
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large language models (LLMs) have demonstrated exceptional proficiency in language understanding. However, when LLMs align their outputs with deceptive and/or misleading prompts, the generated responses could deviate from the de facto information. Such observations are known as fawning hallucinations, where the model prioritizes alignment with the input's implied perspective over accuracy and truthfulness. In this work, we analyze fawning hallucinations in various natural language processing tasks and tailor the so-termed contrastive decoding method for fawning-hallucination mitigation. Specifically, we design two paradigms to generate corresponding deceptive and/or misleading inputs for the consistent fawning hallucinations induction. Then, we propose the collaborative contrastive decoding (CCD) to handle the fawning hallucinations across different tasks in LLMs. By contrasting the deviation in output distribution between induced and transformed neutral inputs, the proposed CCD can reduce reliance on deceptive and/or misleading information without requiring additional training. Extensive experiments demonstrate that the proposed CCD can effectively mitigate fawning hallucinations and improve the factuality of the generated responses over various tasks.
- Abstract(参考訳): 大規模言語モデル(LLM)は、言語理解において非常に優れた能力を示している。
しかし、LCMが出力を偽りや誤解を招くプロンプトと一致させると、生成された応答はデファクト情報から逸脱する可能性がある。
このような観察はfawning Hallucinationsと呼ばれ、モデルが正確さと真理性よりも入力の暗黙の視点との整合を優先する。
本研究では,様々な自然言語処理タスクにおけるfawning Hallucinationを分析し,fawning-hallucinationの緩和のためのコントラスト復号法をカスタマイズする。
具体的には、2つのパラダイムを設計し、一貫したfawning Hallucinationインジェクションに対して、それに対応する偽りの入力および/または誤解を招く入力を生成する。
そこで本研究では,LLM における様々なタスクにまたがる幻覚を扱うために,協調的コントラスト復号法 (CCD) を提案する。
誘導された中性入力と変換された中性入力の出力分布のずれを対照的に、提案したCCDは、追加のトレーニングを必要とせず、偽情報および/または誤誘導情報への依存を減らすことができる。
広汎な実験により、提案したCCDは、ハエの幻覚を効果的に軽減し、様々なタスクにおいて生成された反応の事実性を改善することができることが示された。
関連論文リスト
- Counterfactual Probing for Hallucination Detection and Mitigation in Large Language Models [0.0]
本研究では,大規模言語モデルにおける幻覚の検出と緩和のための新しいアプローチである,対物探索を提案する。
提案手法は, 疑わしいが微妙な事実誤りを含む反事実文を動的に生成し, これらの摂動に対するモデルの感度を評価する。
論文 参考訳(メタデータ) (2025-08-03T17:29:48Z) - Why and How LLMs Hallucinate: Connecting the Dots with Subsequence Associations [82.42811602081692]
本稿では,幻覚を体系的に追跡・理解するサブシーケンス・アソシエーション・フレームワークを提案する。
主要な洞察は、支配的な幻覚協会が忠実なものを上回るときに生じる幻覚である。
ランダムな入力コンテキストにおける幻覚の確率を解析することにより因果列を同定するトレースアルゴリズムを提案する。
論文 参考訳(メタデータ) (2025-04-17T06:34:45Z) - Mitigating Object Hallucination in MLLMs via Data-augmented Phrase-level Alignment [52.43197107069751]
MLLM(Multimodal Large Language Models)はしばしば幻覚と呼ばれる事実的不正確な情報を生成する。
そこで,本研究では,MLLMの命令調整による幻覚の緩和に応用可能な新しい損失であるData-augmented Phrase-level Alignment(DPA)を提案する。
論文 参考訳(メタデータ) (2024-05-28T23:36:00Z) - Alleviating Hallucinations in Large Vision-Language Models through Hallucination-Induced Optimization [123.54980913741828]
大規模ビジュアル言語モデル(LVLM)は、マルチモーダルデータの理解において、例外的な能力を示した。
彼らは必然的に幻覚に悩まされ、生成されたテキストと対応するイメージを切断する。
現在の視覚的コントラスト復号法のほとんどは、視覚的不確実性情報を導入して幻覚を緩和しようとするものである。
しかし、彼らは幻覚トークンを正確に誘導するのに苦労し、幻覚を緩和する効果を著しく制限した。
論文 参考訳(メタデータ) (2024-05-24T08:46:31Z) - Mitigating Hallucinations in Large Vision-Language Models with Instruction Contrastive Decoding [25.489832294197797]
本稿では,LVLM推論における幻覚の低減を目的とした,命令コントラストデコーディング(ICD)手法を提案する。
本手法は,マルチモーダル核融合モジュールにおいて,外乱指示が幻覚を著しく悪化させるという観察に着想を得たものである。
論文 参考訳(メタデータ) (2024-03-27T16:04:47Z) - Alleviating Hallucinations of Large Language Models through Induced
Hallucinations [67.35512483340837]
大規模言語モデル(LLM)は、不正確な情報や製造された情報を含む応答を生成するために観察されている。
幻覚を緩和するための単純なtextitInduce-then-Contrast Decoding (ICD) 戦略を提案する。
論文 参考訳(メタデータ) (2023-12-25T12:32:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。