Fugu-MT 論文翻訳(概要): Whispers that Shake Foundations: Analyzing and Mitigating False Premise Hallucinations in Large Language Models

論文の概要: Whispers that Shake Foundations: Analyzing and Mitigating False Premise Hallucinations in Large Language Models

arxiv url: http://arxiv.org/abs/2402.19103v1
Date: Thu, 29 Feb 2024 12:35:45 GMT
ステータス: 処理完了
システム内更新日: 2024-03-01 14:53:19.858213
Title: Whispers that Shake Foundations: Analyzing and Mitigating False Premise Hallucinations in Large Language Models
Title（参考訳）: ファンデーションを揺さぶるウィスパー:大規模言語モデルにおける虚偽の幻覚の分析と緩和
Authors: Hongbang Yuan, Pengfei Cao, Zhuoran Jin, Yubo Chen, Daojian Zeng, Kang Liu, Jun Zhao
Abstract要約: 大規模言語モデル(LLM)は、誤った前提問題に直面した時に幻覚テキストを生成する。疑似前提幻覚を緩和するための新しい効果的な方法であるtextbfFAITH(textbfFalse premises textbfAttention head constratextbfIining for mitextbfTigating textbfHallucinations)を提案する。
参考スコア（独自算出の注目度）: 20.025123325871835
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Large Language Models (LLMs) have shown impressive capabilities but still suffer from the issue of hallucinations. A significant type of this issue is the false premise hallucination, which we define as the phenomenon when LLMs generate hallucinated text when confronted with false premise questions. In this paper, we perform a comprehensive analysis of the false premise hallucination and elucidate its internal working mechanism: a small subset of attention heads (which we designate as false premise heads) disturb the knowledge extraction process, leading to the occurrence of false premise hallucination. Based on our analysis, we propose \textbf{FAITH} (\textbf{F}alse premise \textbf{A}ttention head constra\textbf{I}ining for mi\textbf{T}igating \textbf{H}allucinations), a novel and effective method to mitigate false premise hallucinations. It constrains the false premise attention heads during the model inference process. Impressively, extensive experiments demonstrate that constraining only approximately $1\%$ of the attention heads in the model yields a notable increase of nearly $20\%$ of model performance.
Abstract（参考訳）: 大きな言語モデル(LLM)は印象的な能力を示しているが、幻覚の問題を抱えている。この問題の重要なタイプは偽前提幻覚(false premises hallucination)であり、これはllmが偽前提問題に直面した時に幻覚テキストを生成する現象であると定義している。本稿では,偽の前提幻覚の包括的分析を行い,その内部動作機構を解明する。注意ヘッドのごく一部(偽の前提頭部と指定する)が知識抽出過程を阻害し,偽の前提幻覚の発生を導く。本分析に基づき,mi\textbf{T}igating \textbf{H}allucinationsに対して, 偽前提幻覚を緩和するための新規かつ効果的な方法である, \textbf{F}alse premises \textbf{A}ttention head constra\textbf{I}iningを提案する。モデル推論プロセス中に誤った前提の注意の頭を制約します。印象的なことに、モデル内の注意点の約1\%$の制約が、モデル性能の約20\%$の顕著な増加をもたらすことを、広範な実験が示している。

関連論文リスト

Investigating and Mitigating Object Hallucinations in Pretrained Vision-Language (CLIP) Models [22.42712853647949]
本稿では,CLIPモデル内での物体幻覚問題について詳細に検討する。孤立しても、CLIPモデルは対象の幻覚に傾向があり、幻覚問題は単に視覚と言語モダリティの相互作用によるものではないことを示唆する。拡張モデルは視覚エンコーダとして利用でき、LVLMにおける物体幻覚の問題を効果的に緩和できることを示す。
論文参考訳（メタデータ） (2024-10-04T06:24:49Z)
Does Object Grounding Really Reduce Hallucination of Large Vision-Language Models? [53.89380284760555]
大型視覚言語モデル(LVLM)は、画像に見つからない概念に言及するキャプションを生成する。これらの幻覚は、LVLMの信頼性を損なうものであり、ユビキタス採用の主な障害であることは間違いない。最近の研究は、画像領域やオブジェクトをテキストスパンに明示的にアライメントする、接地目的の追加は、LVLM幻覚の量を減らすことを示唆している。
論文参考訳（メタデータ） (2024-06-20T16:56:11Z)
Detecting and Mitigating Hallucination in Large Vision Language Models via Fine-Grained AI Feedback [48.065569871444275]
我々は,LVLM(Large Vision Language Models)における幻覚の検出と緩和について,きめ細かいAIフィードバックを用いて提案する。プロプライエタリモデルによる小型幻覚アノテーションデータセットを生成する。そこで本研究では,幻覚緩和モデルの訓練のための選好データセットを自動構築する検出テーマ書き換えパイプラインを提案する。
論文参考訳（メタデータ） (2024-04-22T14:46:10Z)
On Large Language Models' Hallucination with Regard to Known Facts [74.96789694959894]
大規模な言語モデルはファクトイドの質問に答えることに成功したが、幻覚を起こす傾向がある。正しい解答知識を持つLLMの現象を推論力学の観点から検討する。我々の研究は、LLMの幻覚が既知の事実について、そしてより重要なのは、幻覚を正確に予測する理由を理解することに光を当てた。
論文参考訳（メタデータ） (2024-03-29T06:48:30Z)
Mechanistic Understanding and Mitigation of Language Model Non-Factual Hallucinations [42.46721214112836]
State-of-the-art Language Model (LM) は、世界の知識と混同する非現実的な幻覚を生じることがある。我々は、主観的関係クエリを用いた診断データセットを作成し、内部モデル表現による幻覚の追跡に解釈可能性手法を適用した。
論文参考訳（メタデータ） (2024-03-27T00:23:03Z)
The Dawn After the Dark: An Empirical Study on Factuality Hallucination in Large Language Models [134.6697160940223]
幻覚は、大きな言語モデルの信頼できるデプロイには大きな課題となります。幻覚(検出)の検出方法、LLMが幻覚(ソース)をなぜ検出するのか、そしてそれを緩和するために何ができるか、という3つの重要な疑問がよく研究されるべきである。本研究は, 幻覚検出, 発生源, 緩和の3つの側面に着目した, LLM幻覚の系統的研究である。
論文参考訳（メタデータ） (2024-01-06T12:40:45Z)
Alleviating Hallucinations of Large Language Models through Induced Hallucinations [67.35512483340837]
大規模言語モデル(LLM)は、不正確な情報や製造された情報を含む応答を生成するために観察されている。幻覚を緩和するための単純なtextitInduce-then-Contrast Decoding (ICD) 戦略を提案する。
論文参考訳（メタデータ） (2023-12-25T12:32:49Z)
On Early Detection of Hallucinations in Factual Question Answering [4.76359068115052]
幻覚は依然としてユーザーの信頼を得るための大きな障害です本研究では、モデル生成に関連するアーティファクトが、生成が幻覚を含むことを示すヒントを提供することができるかどうかを探索する。以上の結果から,これらのアーティファクトの分布は,ハロゲン化世代と非ハロゲン化世代の違いが示唆された。
論文参考訳（メタデータ） (2023-12-19T14:35:04Z)
LLM Lies: Hallucinations are not Bugs, but Features as Adversarial Examples [17.012156573134067]
ランダムなトークンからなる非意味なプロンプトは、幻覚に反応するために大きな言語モデルを引き出すことができることを示す。我々は, 自動幻覚トリガー法を, 対向的にテキスト幻覚攻撃として定式化する。私たちのコードはGitHubでリリースされています。
論文参考訳（メタデータ） (2023-10-02T17:01:56Z)
HaluEval: A Large-Scale Hallucination Evaluation Benchmark for Large Language Models [146.87696738011712]
大型言語モデル(LLM)は幻覚を生成する傾向があり、すなわち、ソースと矛盾したり、事実の知識によって検証できないコンテンツである。言語モデル(HaluEval)のための幻覚評価ベンチマーク(Halucination Evaluation benchmark)を導入する。
論文参考訳（メタデータ） (2023-05-19T15:36:27Z)
Inspecting the Factuality of Hallucinated Entities in Abstractive Summarization [36.052622624166894]
State-of-the-art abstractive summarization system(最先端の抽象的な要約システム)は、しばしば、源文から直接推測できない内容(Emphhallucination)を生成する。本研究では,実体の非現実的幻覚から事実を分離する新たな検出手法を提案する。
論文参考訳（メタデータ） (2021-08-30T15:40:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。