論文の概要: Hallucination is Inevitable: An Innate Limitation of Large Language Models

• arxiv url: http://arxiv.org/abs/2401.11817v1
• Date: Mon, 22 Jan 2024 10:26:14 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-23 14:33:06.599102
• Title: Hallucination is Inevitable: An Innate Limitation of Large Language Models
• Title（参考訳）: 幻覚は必然的:大規模言語モデルの自然限界
• Authors: Ziwei Xu, Sanjay Jain, Mohan Kankanhalli
• Abstract要約: 大規模言語モデルでは幻覚を除去することは不可能である。 フォーマルな世界は現実の世界の一部であり、より複雑であるため、幻覚は現実世界のLLMにも必然的である。
• 参考スコア（独自算出の注目度）: 3.8711997449980844
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Hallucination has been widely recognized to be a significant drawback for large language models (LLMs). There have been many works that attempt to reduce the extent of hallucination. These efforts have mostly been empirical so far, which cannot answer the fundamental question whether it can be completely eliminated. In this paper, we formalize the problem and show that it is impossible to eliminate hallucination in LLMs. Specifically, we define a formal world where hallucination is defined as inconsistencies between a computable LLM and a computable ground truth function. By employing results from learning theory, we show that LLMs cannot learn all of the computable functions and will therefore always hallucinate. Since the formal world is a part of the real world which is much more complicated, hallucinations are also inevitable for real world LLMs. Furthermore, for real world LLMs constrained by provable time complexity, we describe the hallucination-prone tasks and empirically validate our claims. Finally, using the formal world framework, we discuss the possible mechanisms and efficacies of existing hallucination mitigators as well as the practical implications on the safe deployment of LLMs.
• Abstract（参考訳）: 幻覚は大きな言語モデル(LLM)にとって大きな欠点であると広く認識されている。 幻覚の程度を減少させようとする多くの作品がある。 これらの取り組みは、主に経験的であり、完全に排除できるかどうかという根本的な疑問に答えることはできない。 本稿では,この問題を形式化し,LLMの幻覚を除去することは不可能であることを示す。 具体的には、幻覚を計算可能なLLMと計算可能な基底真理関数の不整合として定義する形式的世界を定義する。 学習理論の結果を用いることで、llmは全ての計算可能関数を学習できず、従って常に幻覚を呈することを示した。 フォーマルな世界は現実の世界の一部であり、より複雑であるため、幻覚は現実世界のLLMにも必然的である。 さらに, 時間複雑性の証明によって制約される実世界のllmに対して, 幻覚的課題を記述し, 経験的検証を行う。 最後に, 正規世界フレームワークを用いて, 既存の幻覚緩和剤のメカニズムと有効性について考察するとともに, LLMの安全な展開における実用的意義について考察する。

関連論文リスト

• LLMs Will Always Hallucinate, and We Need to Live With This [1.3810901729134184]
  この研究は、言語モデルにおける幻覚は時折エラーであるだけでなく、これらのシステムの必然的な特徴であると主張している。 したがって、アーキテクチャの改善、データセットの強化、ファクトチェックメカニズムを通じてそれらを取り除くことは不可能である。
  論文  参考訳（メタデータ） (2024-09-09T16:01:58Z)
• WildHallucinations: Evaluating Long-form Factuality in LLMs with Real-World Entity Queries [64.239202960816]
  事実性を評価するベンチマークであるWildHallucinationsを紹介する。 それは、大きな言語モデルに、ユーザーとチャットボットの会話から抽出されたエンティティに関する情報を生成するよう促すことによって実現している。 我々は15個のLDMから7,919個のエンティティ上で118,785世代を評価した。
  論文  参考訳（メタデータ） (2024-07-24T17:59:05Z)
• Banishing LLM Hallucinations Requires Rethinking Generalization [2.0155206466638016]
  大きな言語モデル(LLM)は、強力なチャット、コーディング、推論能力にもかかわらず、しばしば幻覚する。 大規模メモリエキスパート(MoME)を付加したLCMは、乱数の大きなデータセットを容易に記憶できることを示す。 われわれの研究結果は、幻覚を除去する第1世代モデル、Lamini-1を設計し、事実を数百万のメモリ専門家の膨大な混在に保存する。
  論文  参考訳（メタデータ） (2024-06-25T15:31:01Z)
• Does Object Grounding Really Reduce Hallucination of Large Vision-Language Models? [53.89380284760555]
  大型視覚言語モデル(LVLM)は、画像に見つからない概念に言及するキャプションを生成する。 これらの幻覚は、LVLMの信頼性を損なうものであり、ユビキタス採用の主な障害であることは間違いない。 最近の研究は、画像領域やオブジェクトをテキストスパンに明示的にアライメントする、接地目的の追加は、LVLM幻覚の量を減らすことを示唆している。
  論文  参考訳（メタデータ） (2024-06-20T16:56:11Z)
• Do LLMs Know about Hallucination? An Empirical Investigation of LLM's Hidden States [19.343629282494774]
  大きな言語モデル(LLM)は、現実ではない答えを補うことができ、幻覚として知られている。 本研究の目的は, LLM が幻覚をどの程度認識しているか, どのように, どの程度の程度で確認することである。
  論文  参考訳（メタデータ） (2024-02-15T06:14:55Z)
• Hallucination Detection and Hallucination Mitigation: An Investigation [13.941799495842776]
  大規模言語モデル(LLM)は、過去2年間に様々なアプリケーションで顕著な成功を収めてきた。 本報告は,幻覚検出と幻覚軽減の両面において,現在の文献を包括的にレビューすることを目的としている。
  論文  参考訳（メタデータ） (2024-01-16T13:36:07Z)
• The Dawn After the Dark: An Empirical Study on Factuality Hallucination in Large Language Models [134.6697160940223]
  幻覚は、大きな言語モデルの信頼できるデプロイには大きな課題となります。 幻覚(検出)の検出方法、LLMが幻覚(ソース)をなぜ検出するのか、そしてそれを緩和するために何ができるか、という3つの重要な疑問がよく研究されるべきである。 本研究は, 幻覚検出, 発生源, 緩和の3つの側面に着目した, LLM幻覚の系統的研究である。
  論文  参考訳（メタデータ） (2024-01-06T12:40:45Z)
• Analyzing and Mitigating Object Hallucination in Large Vision-Language Models [110.12460299261531]
  大規模視覚言語モデル(LVLM)は、人間の言語で視覚情報を理解する際、顕著な能力を示した。 LVLMは依然として物体幻覚に悩まされており、画像に実際に存在しない物体を含む記述を生成するという問題である。 そこで我々は,LVLMの幻覚を再現するアルゴリズム LVLM Hallucination Revisor (LURE) を提案する。
  論文  参考訳（メタデータ） (2023-10-01T18:10:53Z)
• Siren's Song in the AI Ocean: A Survey on Hallucination in Large Language Models [116.01843550398183]
  大規模言語モデル(LLM)は、様々な下流タスクで顕著な機能を示している。 LLMは時折、ユーザ入力から分岐するコンテンツを生成し、以前生成されたコンテキストと矛盾する。
  論文  参考訳（メタデータ） (2023-09-03T16:56:48Z)
• Evaluation and Analysis of Hallucination in Large Vision-Language Models [49.19829480199372]
  LVLM(Large Vision-Language Models)は近年大きな成功を収めている。 LVLMは今でも幻覚に悩まされている。 幻覚とは、視覚入力に存在しないLVLMの応答の情報を指す。
  論文  参考訳（メタデータ） (2023-08-29T08:51:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。