論文の概要: LLM Lies: Hallucinations are not Bugs, but Features as Adversarial Examples

• arxiv url: http://arxiv.org/abs/2310.01469v2
• Date: Wed, 4 Oct 2023 17:53:49 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-05 10:30:42.505146
• Title: LLM Lies: Hallucinations are not Bugs, but Features as Adversarial Examples
• Title（参考訳）: LLMの嘘:幻覚はバグではなく、逆の例としての特徴
• Authors: Jia-Yu Yao, Kun-Peng Ning, Zhen-Hui Liu, Mu-Nan Ning, Li Yuan
• Abstract要約: ランダムなトークンからなるナンセンスなプロンプトは、幻覚に反応するLLMも引き起こせることを示す。 この現象は、幻覚が敵の例の別の見方であるかもしれないことを再考させる。 本研究では,幻覚攻撃として自動幻覚誘発法を対角的に定式化する。
• 参考スコア（独自算出の注目度）: 15.528923770249774
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large Language Models (LLMs), including GPT-3.5, LLaMA, and PaLM, seem to be knowledgeable and able to adapt to many tasks. However, we still can not completely trust their answer, since LLMs suffer from hallucination--fabricating non-existent facts to cheat users without perception. And the reasons for their existence and pervasiveness remain unclear. In this paper, we demonstrate that non-sense prompts composed of random tokens can also elicit the LLMs to respond with hallucinations. This phenomenon forces us to revisit that hallucination may be another view of adversarial examples, and it shares similar features with conventional adversarial examples as the basic feature of LLMs. Therefore, we formalize an automatic hallucination triggering method as the hallucination attack in an adversarial way. Finally, we explore basic feature of attacked adversarial prompts and propose a simple yet effective defense strategy. Our code is released on GitHub.
• Abstract（参考訳）: GPT-3.5、LLaMA、PaLMを含む大規模言語モデル(LLM)は知識があり、多くのタスクに適応できるようである。 しかし、LLMは幻覚に苦しむため、ユーザを疑うために既存の事実を偽造するので、まだその答えを完全には信用できない。 そして、その存在と普及の理由は不明である。 本稿では,ランダムトークンからなる非センスプロンプトが,幻覚で応答するllmを誘発できることを実証する。 この現象は、幻覚は敵の例の別の見方であり、従来の敵の例と類似した特徴をLLMの基本的特徴として共有する。 そこで我々は,幻覚攻撃として自動幻覚誘発法を対角的に定式化する。 最後に、攻撃された敵のプロンプトの基本的特徴について検討し、シンプルで効果的な防衛戦略を提案する。 私たちのコードはGitHubでリリースされています。

関連論文リスト

• WildHallucinations: Evaluating Long-form Factuality in LLMs with Real-World Entity Queries [64.239202960816]
  事実性を評価するベンチマークであるWildHallucinationsを紹介する。 それは、大きな言語モデルに、ユーザーとチャットボットの会話から抽出されたエンティティに関する情報を生成するよう促すことによって実現している。 我々は15個のLDMから7,919個のエンティティ上で118,785世代を評価した。
  論文  参考訳（メタデータ） (2024-07-24T17:59:05Z)
• Look Within, Why LLMs Hallucinate: A Causal Perspective [16.874588396996764]
  大規模言語モデル(LLM)は、生成人工知能のマイルストーンであり、テキスト理解と生成タスクにおいて大きな成功を収めている。 LLMは深刻な幻覚障害に悩まされ、LLMの実用化に重大な課題が生じた。 LLMの自己注意層に介入し,その構造とサイズをそのまま維持する手法を提案する。
  論文  参考訳（メタデータ） (2024-07-14T10:47:44Z)
• Does Object Grounding Really Reduce Hallucination of Large Vision-Language Models? [53.89380284760555]
  大型視覚言語モデル(LVLM)は、画像に見つからない概念に言及するキャプションを生成する。 これらの幻覚は、LVLMの信頼性を損なうものであり、ユビキタス採用の主な障害であることは間違いない。 最近の研究は、画像領域やオブジェクトをテキストスパンに明示的にアライメントする、接地目的の追加は、LVLM幻覚の量を減らすことを示唆している。
  論文  参考訳（メタデータ） (2024-06-20T16:56:11Z)
• Do LLMs Know about Hallucination? An Empirical Investigation of LLM's Hidden States [19.343629282494774]
  大きな言語モデル(LLM)は、現実ではない答えを補うことができ、幻覚として知られている。 本研究の目的は, LLM が幻覚をどの程度認識しているか, どのように, どの程度の程度で確認することである。
  論文  参考訳（メタデータ） (2024-02-15T06:14:55Z)
• Hallucination is Inevitable: An Innate Limitation of Large Language Models [3.8711997449980844]
  大規模言語モデルでは幻覚を除去することは不可能である。 フォーマルな世界は現実の世界の一部であり、より複雑であるため、幻覚は現実世界のLLMにも必然的である。
  論文  参考訳（メタデータ） (2024-01-22T10:26:14Z)
• The Dawn After the Dark: An Empirical Study on Factuality Hallucination in Large Language Models [134.6697160940223]
  幻覚は、大きな言語モデルの信頼できるデプロイには大きな課題となります。 幻覚(検出)の検出方法、LLMが幻覚(ソース)をなぜ検出するのか、そしてそれを緩和するために何ができるか、という3つの重要な疑問がよく研究されるべきである。 本研究は, 幻覚検出, 発生源, 緩和の3つの側面に着目した, LLM幻覚の系統的研究である。
  論文  参考訳（メタデータ） (2024-01-06T12:40:45Z)
• Alleviating Hallucinations of Large Language Models through Induced Hallucinations [67.35512483340837]
  大規模言語モデル(LLM)は、不正確な情報や製造された情報を含む応答を生成するために観察されている。 幻覚を緩和するための単純なtextitInduce-then-Contrast Decoding (ICD) 戦略を提案する。
  論文  参考訳（メタデータ） (2023-12-25T12:32:49Z)
• HaluEval: A Large-Scale Hallucination Evaluation Benchmark for Large Language Models [146.87696738011712]
  大型言語モデル(LLM)は幻覚を生成する傾向があり、すなわち、ソースと矛盾したり、事実の知識によって検証できないコンテンツである。 言語モデル(HaluEval)のための幻覚評価ベンチマーク(Halucination Evaluation benchmark)を導入する。
  論文  参考訳（メタデータ） (2023-05-19T15:36:27Z)
• Evaluating Object Hallucination in Large Vision-Language Models [122.40337582958453]
  本研究は,大規模視覚言語モデル(LVLM)の物体幻覚に関する最初の体系的研究である。 LVLMは、記述中の対象画像と矛盾しないオブジェクトを生成する傾向がある。 対象の幻覚を評価するために,POPEと呼ばれるポーリングに基づくクエリ手法を提案する。
  論文  参考訳（メタデータ） (2023-05-17T16:34:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。