論文の概要: Banishing LLM Hallucinations Requires Rethinking Generalization

• arxiv url: http://arxiv.org/abs/2406.17642v1
• Date: Tue, 25 Jun 2024 15:31:01 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-26 13:51:04.519360
• Title: Banishing LLM Hallucinations Requires Rethinking Generalization
• Title（参考訳）: LLMの幻覚の禁止は、一般化を再考する必要がある
• Authors: Johnny Li, Saksham Consul, Eda Zhou, James Wong, Naila Farooqui, Yuxin Ye, Nithyashree Manohar, Zhuxiaona Wei, Tian Wu, Ben Echols, Sharon Zhou, Gregory Diamos,
• Abstract要約: 大きな言語モデル(LLM)は、強力なチャット、コーディング、推論能力にもかかわらず、しばしば幻覚する。 大規模メモリエキスパート(MoME)を付加したLCMは、乱数の大きなデータセットを容易に記憶できることを示す。 われわれの研究結果は、幻覚を除去する第1世代モデル、Lamini-1を設計し、事実を数百万のメモリ専門家の膨大な混在に保存する。
• 参考スコア（独自算出の注目度）: 2.0155206466638016
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Despite their powerful chat, coding, and reasoning abilities, Large Language Models (LLMs) frequently hallucinate. Conventional wisdom suggests that hallucinations are a consequence of a balance between creativity and factuality, which can be mitigated, but not eliminated, by grounding the LLM in external knowledge sources. Through extensive systematic experiments, we show that these traditional approaches fail to explain why LLMs hallucinate in practice. Specifically, we show that LLMs augmented with a massive Mixture of Memory Experts (MoME) can easily memorize large datasets of random numbers. We corroborate these experimental findings with a theoretical construction showing that simple neural networks trained to predict the next token hallucinate when the training loss is above a threshold as it usually does in practice when training on internet scale data. We interpret our findings by comparing against traditional retrieval methods for mitigating hallucinations. We use our findings to design a first generation model for removing hallucinations -- Lamini-1 -- that stores facts in a massive mixture of millions of memory experts that are retrieved dynamically.
• Abstract（参考訳）: 強力なチャット、コーディング、推論能力にもかかわらず、LLM(Large Language Models)はしばしば幻覚を呈する。 従来の知恵は、幻覚は創造性と事実性のバランスの結果であり、外的知識源に LLM を根ざすことによって緩和されるが、排除されないことを示唆している。 大規模な系統的な実験を通して、これらの従来のアプローチは、LCMが実際に幻覚する理由を説明するのに失敗していることを示す。 具体的には,大規模メモリエキスパート(MoME)を付加したLCMが,乱数の大きなデータセットを容易に記憶できることを示す。 これらの実験結果は,インターネットスケールデータを用いたトレーニングを行う場合のように,トレーニング損失がしきい値を超える場合,次のトークンの幻覚を予測するためにトレーニングされた単純なニューラルネットワークが,通常ならば次のトークンの幻覚を予測できることを示す理論的構築と相関する。 本研究は,幻覚を緩和するための従来の検索手法と比較することにより,これらの知見を解釈する。 われわれはこの発見を利用して、幻覚を取り除く第1世代モデル、Lamini-1を設計した。

関連論文リスト

• Generation Constraint Scaling Can Mitigate Hallucination [29.25122358598193]
  大型言語モデル(LLM)における幻覚は重要な課題である。 メモリ拡張LDMデコーダにおける生成を制約する読み出しベクトルを単純にスケーリングすることで、幻覚の緩和をトレーニング不要な方法で実現できることを実証的に示す。 本手法は、ウィキペディア風のバイオグラフィーエントリを生成するタスクにおいて、最先端のLLM編集方法よりも優れた幾何学的インスピレーションを与える。
  論文  参考訳（メタデータ） (2024-07-23T23:58:19Z)
• Does Object Grounding Really Reduce Hallucination of Large Vision-Language Models? [53.89380284760555]
  大型視覚言語モデル(LVLM)は、画像に見つからない概念に言及するキャプションを生成する。 これらの幻覚は、LVLMの信頼性を損なうものであり、ユビキタス採用の主な障害であることは間違いない。 最近の研究は、画像領域やオブジェクトをテキストスパンに明示的にアライメントする、接地目的の追加は、LVLM幻覚の量を減らすことを示唆している。
  論文  参考訳（メタデータ） (2024-06-20T16:56:11Z)
• On Large Language Models' Hallucination with Regard to Known Facts [74.96789694959894]
  大規模な言語モデルはファクトイドの質問に答えることに成功したが、幻覚を起こす傾向がある。 正しい解答知識を持つLLMの現象を推論力学の観点から検討する。 我々の研究は、LLMの幻覚が既知の事実について、そしてより重要なのは、幻覚を正確に予測する理由を理解することに光を当てた。
  論文  参考訳（メタデータ） (2024-03-29T06:48:30Z)
• The Dawn After the Dark: An Empirical Study on Factuality Hallucination in Large Language Models [134.6697160940223]
  幻覚は、大きな言語モデルの信頼できるデプロイには大きな課題となります。 幻覚(検出)の検出方法、LLMが幻覚(ソース)をなぜ検出するのか、そしてそれを緩和するために何ができるか、という3つの重要な疑問がよく研究されるべきである。 本研究は, 幻覚検出, 発生源, 緩和の3つの側面に着目した, LLM幻覚の系統的研究である。
  論文  参考訳（メタデータ） (2024-01-06T12:40:45Z)
• Alleviating Hallucinations of Large Language Models through Induced Hallucinations [67.35512483340837]
  大規模言語モデル(LLM)は、不正確な情報や製造された情報を含む応答を生成するために観察されている。 幻覚を緩和するための単純なtextitInduce-then-Contrast Decoding (ICD) 戦略を提案する。
  論文  参考訳（メタデータ） (2023-12-25T12:32:49Z)
• HalluciDoctor: Mitigating Hallucinatory Toxicity in Visual Instruction Data [102.56792377624927]
  機械生成データに固有の幻覚は未発見のままである。 本稿では,クロスチェックパラダイムに基づく新しい幻覚検出・除去フレームワークであるHaluciDoctorを提案する。 LLaVAに比べて44.6%の幻覚を緩和し,競争性能を維持した。
  論文  参考訳（メタデータ） (2023-11-22T04:52:58Z)
• A Survey on Hallucination in Large Language Models: Principles, Taxonomy, Challenges, and Open Questions [40.79317187623401]
  大規模言語モデル(LLM)の出現は、自然言語処理(NLP)において大きなブレークスルーとなった。 LLMは幻覚を起こす傾向があり、可視だが非現実的な内容を生成する。 この現象は、実世界の情報検索システムにおけるLCMの信頼性に対する重大な懸念を引き起こす。
  論文  参考訳（メタデータ） (2023-11-09T09:25:37Z)
• HaluEval: A Large-Scale Hallucination Evaluation Benchmark for Large Language Models [146.87696738011712]
  大型言語モデル(LLM)は幻覚を生成する傾向があり、すなわち、ソースと矛盾したり、事実の知識によって検証できないコンテンツである。 言語モデル(HaluEval)のための幻覚評価ベンチマーク(Halucination Evaluation benchmark)を導入する。
  論文  参考訳（メタデータ） (2023-05-19T15:36:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。