論文の概要: LLM Lies: Hallucinations are not Bugs, but Features as Adversarial Examples

• arxiv url: http://arxiv.org/abs/2310.01469v3
• Date: Sun, 4 Aug 2024 16:26:14 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-07 00:15:47.692217
• Title: LLM Lies: Hallucinations are not Bugs, but Features as Adversarial Examples
• Title（参考訳）: LLMの嘘:幻覚はバグではなく、逆の例としての特徴
• Authors: Jia-Yu Yao, Kun-Peng Ning, Zhen-Hui Liu, Mu-Nan Ning, Yu-Yang Liu, Li Yuan,
• Abstract要約: ランダムなトークンからなる非意味なプロンプトは、幻覚に反応するために大きな言語モデルを引き出すことができることを示す。 我々は, 自動幻覚トリガー法を, 対向的にテキスト幻覚攻撃として定式化する。 私たちのコードはGitHubでリリースされています。
• 参考スコア（独自算出の注目度）: 17.012156573134067
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large Language Models (LLMs), including GPT-3.5, LLaMA, and PaLM, seem to be knowledgeable and able to adapt to many tasks. However, we still cannot completely trust their answers, since LLMs suffer from \textbf{hallucination}\textemdash fabricating non-existent facts, deceiving users with or without their awareness. However, the reasons for their existence and pervasiveness remain unclear. In this paper, we demonstrate that nonsensical prompts composed of random tokens can also elicit the LLMs to respond with hallucinations. Moreover, we provide both theoretical and experimental evidence that transformers can be manipulated to produce specific pre-define tokens by perturbing its input sequence. This phenomenon forces us to revisit that \emph{hallucination may be another view of adversarial examples}, and it shares similar characteristics with conventional adversarial examples as a basic property of LLMs. Therefore, we formalize an automatic hallucination triggering method as the \textit{hallucination attack} in an adversarial way. Finally, we explore the basic properties of attacked adversarial prompts and propose a simple yet effective defense strategy. Our code is released on GitHub\footnote{https://github.com/PKU-YuanGroup/Hallucination-Attack}.
• Abstract（参考訳）: GPT-3.5、LLaMA、PaLMを含む大規模言語モデル(LLM)は知識があり、多くのタスクに適応できるようである。 しかし, LLMは, 既知事実を偽造し, 利用者の意識を損なう, という問題に悩まされているため, 回答を完全には信頼できない。 しかし、その存在と普及の理由は不明である。 本稿では,無作為なトークンからなる非意味なプロンプトがLLMを幻覚に反応させることを実証する。 さらに、入力シーケンスを摂動することで、トランスフォーマーを操作して特定のプリデフィントークンを生成するという理論的および実験的証拠を提供する。 この現象は、 \emph{hallucination may be another view of adversarial examples} を再考させ、LLMの基本的な性質として従来の逆例と類似した特徴を共有している。 そこで本稿では, 自動幻覚トリガー法を, 対角的に「textit{hallucination attack}」として定式化する。 最後に、攻撃された敵のプロンプトの基本的特性について検討し、シンプルで効果的な防衛戦略を提案する。 私たちのコードはGitHub\footnote{https://github.com/PKU-YuanGroup/Hallucination-Attack}でリリースされています。

関連論文リスト

• DecoPrompt : Decoding Prompts Reduces Hallucinations when Large Language Models Meet False Premises [28.72485319617863]
  幻覚を緩和する新しいプロンプトアルゴリズムDecoPromptを提案する。 DecoPrompt は LLM を利用して偽前提のプロンプトを "デコード" する。 2つのデータセットで実験を行い、DecoPromptは異なるLLMから出力された幻覚を効果的に低減できることを示した。
  論文  参考訳（メタデータ） (2024-11-12T00:48:01Z)
• Does Object Grounding Really Reduce Hallucination of Large Vision-Language Models? [53.89380284760555]
  大型視覚言語モデル(LVLM)は、画像に見つからない概念に言及するキャプションを生成する。 これらの幻覚は、LVLMの信頼性を損なうものであり、ユビキタス採用の主な障害であることは間違いない。 最近の研究は、画像領域やオブジェクトをテキストスパンに明示的にアライメントする、接地目的の追加は、LVLM幻覚の量を減らすことを示唆している。
  論文  参考訳（メタデータ） (2024-06-20T16:56:11Z)
• Whispers that Shake Foundations: Analyzing and Mitigating False Premise Hallucinations in Large Language Models [20.025123325871835]
  大規模言語モデル(LLM)は、誤った前提問題に直面した時に幻覚テキストを生成する。 疑似前提幻覚を緩和するための新しい効果的な方法であるtextbfFAITH(textbfFalse premises textbfAttention head constratextbfIining for mitextbfTigating textbfHallucinations)を提案する。
  論文  参考訳（メタデータ） (2024-02-29T12:35:45Z)
• Skip \n: A Simple Method to Reduce Hallucination in Large Vision-Language Models [36.41071419735876]
  大規模視覚言語モデル(LVLM)における段落ブレーク(nn)に関連する意味的シフトバイアスを同定する。 この偏見から、「nn」に続く内容が、幻覚的記述の少ない先行内容と明らかに異なるべきであると推測するモデルが導かれる。 生成した記述に「nn」を意図的に挿入すると、より幻覚が引き起こされる。
  論文  参考訳（メタデータ） (2024-02-02T12:02:46Z)
• The Dawn After the Dark: An Empirical Study on Factuality Hallucination in Large Language Models [134.6697160940223]
  幻覚は、大きな言語モデルの信頼できるデプロイには大きな課題となります。 幻覚(検出)の検出方法、LLMが幻覚(ソース)をなぜ検出するのか、そしてそれを緩和するために何ができるか、という3つの重要な疑問がよく研究されるべきである。 本研究は, 幻覚検出, 発生源, 緩和の3つの側面に着目した, LLM幻覚の系統的研究である。
  論文  参考訳（メタデータ） (2024-01-06T12:40:45Z)
• Alleviating Hallucinations of Large Language Models through Induced Hallucinations [67.35512483340837]
  大規模言語モデル(LLM)は、不正確な情報や製造された情報を含む応答を生成するために観察されている。 幻覚を緩和するための単純なtextitInduce-then-Contrast Decoding (ICD) 戦略を提案する。
  論文  参考訳（メタデータ） (2023-12-25T12:32:49Z)
• OPERA: Alleviating Hallucination in Multi-Modal Large Language Models via Over-Trust Penalty and Retrospection-Allocation [124.9008419182485]
  OPERA(Over-trust PenaltyとRetrospection-Allocation戦略に基づく新しいMLLM復号法)を提案する。 私たちのアプローチは、ほとんどの幻覚は自己注意行列の知識集約パターンと密接に結びついているという興味深い観察から始まります。 この観察に基づいて、OPERAは、ビーム探索復号時にモデルロジットにペナルティ項を導入し、オーバートラスト問題を緩和する。
  論文  参考訳（メタデータ） (2023-11-29T18:57:07Z)
• HaluEval: A Large-Scale Hallucination Evaluation Benchmark for Large Language Models [146.87696738011712]
  大型言語モデル(LLM)は幻覚を生成する傾向があり、すなわち、ソースと矛盾したり、事実の知識によって検証できないコンテンツである。 言語モデル(HaluEval)のための幻覚評価ベンチマーク(Halucination Evaluation benchmark)を導入する。
  論文  参考訳（メタデータ） (2023-05-19T15:36:27Z)
• Evaluating Object Hallucination in Large Vision-Language Models [122.40337582958453]
  本研究は,大規模視覚言語モデル(LVLM)の物体幻覚に関する最初の体系的研究である。 LVLMは、記述中の対象画像と矛盾しないオブジェクトを生成する傾向がある。 対象の幻覚を評価するために,POPEと呼ばれるポーリングに基づくクエリ手法を提案する。
  論文  参考訳（メタデータ） (2023-05-17T16:34:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。