論文の概要: A Comprehensive Survey of Hallucination Mitigation Techniques in Large Language Models

• arxiv url: http://arxiv.org/abs/2401.01313v1
• Date: Tue, 2 Jan 2024 17:56:30 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-03 13:11:53.795102
• Title: A Comprehensive Survey of Hallucination Mitigation Techniques in Large Language Models
• Title（参考訳）: 大規模言語モデルにおける幻覚緩和手法に関する包括的調査
• Authors: S.M Towhidul Islam Tonmoy, S M Mehedi Zaman, Vinija Jain, Anku Rani, Vipula Rawte, Aman Chadha, Amitava Das
• Abstract要約: 大きな言語モデル(LLM)は、人間のようなテキストを書く能力の進歩を続けている。 重要な課題は、事実に見えるが根拠のないコンテンツを生み出すことを幻覚させる傾向にある。 本稿では,LLMにおける幻覚を緩和するために開発された32以上の技術について調査する。
• 参考スコア（独自算出の注目度）: 7.705767540805267
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: As Large Language Models (LLMs) continue to advance in their ability to write human-like text, a key challenge remains around their tendency to hallucinate generating content that appears factual but is ungrounded. This issue of hallucination is arguably the biggest hindrance to safely deploying these powerful LLMs into real-world production systems that impact people's lives. The journey toward widespread adoption of LLMs in practical settings heavily relies on addressing and mitigating hallucinations. Unlike traditional AI systems focused on limited tasks, LLMs have been exposed to vast amounts of online text data during training. While this allows them to display impressive language fluency, it also means they are capable of extrapolating information from the biases in training data, misinterpreting ambiguous prompts, or modifying the information to align superficially with the input. This becomes hugely alarming when we rely on language generation capabilities for sensitive applications, such as summarizing medical records, financial analysis reports, etc. This paper presents a comprehensive survey of over 32 techniques developed to mitigate hallucination in LLMs. Notable among these are Retrieval Augmented Generation (Lewis et al, 2021), Knowledge Retrieval (Varshney et al,2023), CoNLI (Lei et al, 2023), and CoVe (Dhuliawala et al, 2023). Furthermore, we introduce a detailed taxonomy categorizing these methods based on various parameters, such as dataset utilization, common tasks, feedback mechanisms, and retriever types. This classification helps distinguish the diverse approaches specifically designed to tackle hallucination issues in LLMs. Additionally, we analyze the challenges and limitations inherent in these techniques, providing a solid foundation for future research in addressing hallucinations and related phenomena within the realm of LLMs.
• Abstract（参考訳）: 大きな言語モデル (LLMs) は、人間のような文章を書く能力が向上し続けているため、現実的に見えるが根拠のないコンテンツを生み出す傾向に重要な課題が残っている。 この幻覚の問題は、人々の生活に影響を及ぼす現実世界のプロダクションシステムにこれらの強力なLSMを安全に配置する上で、おそらく最大の障害である。 実践環境でのllmの普及に向けた旅は、幻覚の対処と緩和に大きく依存している。 限られたタスクに焦点を当てた従来のAIシステムとは異なり、LLMはトレーニング中に大量のオンラインテキストデータにさらされている。 これにより、印象的な言語流感を表現できる一方で、トレーニングデータのバイアスから情報を外挿したり、曖昧なプロンプトを誤解釈したり、情報を入力と表面的に整合させることもできる。 医療記録の要約や財務分析レポートなど、センシティブなアプリケーションに言語生成機能に頼ると、これは非常に不安になります。 本稿では, llmsの幻覚を緩和するために開発された32以上の手法の包括的調査を行った。 中でも有名なものは、Retrieval Augmented Generation (Lewis et al, 2021), Knowledge Retrieval (Varshney et al, 2023), CoNLI (Lei et al, 2023), CoVe (Dhuliawala et al, 2023)である。 さらに,これらの手法をデータセットの利用,共通タスク,フィードバック機構,レトリバータイプなどのパラメータに基づいて分類する詳細な分類法を提案する。 この分類は、LLMの幻覚問題に取り組むために特別に設計された様々なアプローチを区別するのに役立つ。 さらに,これらの技術に固有の課題や限界を分析し,LLMの領域における幻覚や関連する現象に対処する上で,今後の研究の基盤となる。

関連論文リスト

• Knowledge Graphs, Large Language Models, and Hallucinations: An NLP Perspective [5.769786334333616]
  大規模言語モデル(LLM)は、自動テキスト生成や質問応答などを含む自然言語処理(NLP)ベースのアプリケーションに革命をもたらした。 幻覚では、モデルがもっともらしい音を出すが、実際には正しくない反応を生成する。 本稿では,現状のデータセットやベンチマーク,知識統合や幻覚評価の手法など,これらのオープンな課題について論じる。
  論文  参考訳（メタデータ） (2024-11-21T16:09:05Z)
• Investigating the Role of Prompting and External Tools in Hallucination Rates of Large Language Models [0.0]
  LLM(Large Language Models)は、人間の可読テキストの広範なコーパスに基づいて訓練された強力な計算モデルであり、汎用的な言語理解と生成を可能にする。 これらの成功にもかかわらず、LLMは幻覚と呼ばれる不正確さをしばしば生み出す。 本稿では,LLMにおける幻覚の低減を目的とした,異なるプロンプト戦略とフレームワークの実証評価を行う。
  論文  参考訳（メタデータ） (2024-10-25T08:34:53Z)
• Hallucination Detection: Robustly Discerning Reliable Answers in Large Language Models [70.19081534515371]
  大規模言語モデル(LLM)は様々な自然言語処理タスクで広く採用されている。 それらは、入力源から逸脱する不信または矛盾したコンテンツを生成し、深刻な結果をもたらす。 本稿では,LLMの生成した回答の幻覚を効果的に検出するために,RelDという頑健な識別器を提案する。
  論文  参考訳（メタデータ） (2024-07-04T18:47:42Z)
• Retrieve Only When It Needs: Adaptive Retrieval Augmentation for Hallucination Mitigation in Large Language Models [68.91592125175787]
  幻覚は、大規模言語モデル(LLM)の実践的実装において重要な課題となる。 本稿では,幻覚に対処するための選択的検索拡張プロセスにより,Lowenを改良する新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2024-02-16T11:55:40Z)
• Enhancing Uncertainty-Based Hallucination Detection with Stronger Focus [99.33091772494751]
  大規模言語モデル(LLM)は、様々な分野にわたる印象的なパフォーマンスで大きな人気を集めている。 LLMは、ユーザの期待を満たさない非現実的あるいは非感覚的なアウトプットを幻覚させる傾向がある。 LLMにおける幻覚を検出するための新しい基準のない不確実性に基づく手法を提案する。
  論文  参考訳（メタデータ） (2023-11-22T08:39:17Z)
• Insights into Classifying and Mitigating LLMs' Hallucinations [48.04565928175536]
  本稿では,AI幻覚の根本原因を解明し,人工知能におけるその意義を明らかにする。 我々は,大規模な言語モデルの全体的な信頼性を高めることを目的として,幻覚を緩和するための潜在的戦略を探究する。
  論文  参考訳（メタデータ） (2023-11-14T12:30:28Z)
• A Survey on Hallucination in Large Language Models: Principles, Taxonomy, Challenges, and Open Questions [40.79317187623401]
  大規模言語モデル(LLM)の出現は、自然言語処理(NLP)において大きなブレークスルーとなった。 LLMは幻覚を起こす傾向があり、可視だが非現実的な内容を生成する。 この現象は、実世界の情報検索システムにおけるLCMの信頼性に対する重大な懸念を引き起こす。
  論文  参考訳（メタデータ） (2023-11-09T09:25:37Z)
• Towards Mitigating Hallucination in Large Language Models via Self-Reflection [63.2543947174318]
  大規模言語モデル(LLM)は、質問応答(QA)タスクを含む生成的および知識集約的なタスクを約束している。 本稿では,広範に採用されているLCMとデータセットを用いた医療再生QAシステムにおける幻覚現象を解析する。
  論文  参考訳（メタデータ） (2023-10-10T03:05:44Z)
• Zero-Resource Hallucination Prevention for Large Language Models [45.4155729393135]
  ハロシン化(Hallucination)とは、大規模言語モデル(LLM)が事実的に不正確な情報を生成する事例を指す。 本稿では,SELF-FAMILIARITYと呼ばれる,入力命令に含まれる概念に対するモデルの親しみ度を評価する新しい自己評価手法を提案する。 4つの異なる大言語モデルでSELF-FAMILIARITYを検証し、既存の手法と比較して一貫して優れた性能を示す。
  論文  参考訳（メタデータ） (2023-09-06T01:57:36Z)
• Siren's Song in the AI Ocean: A Survey on Hallucination in Large Language Models [116.01843550398183]
  大規模言語モデル(LLM)は、様々な下流タスクで顕著な機能を示している。 LLMは時折、ユーザ入力から分岐するコンテンツを生成し、以前生成されたコンテキストと矛盾する。
  論文  参考訳（メタデータ） (2023-09-03T16:56:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。