Fugu-MT 論文翻訳(概要): The Dawn After the Dark: An Empirical Study on Factuality Hallucination in Large Language Models

論文の概要: The Dawn After the Dark: An Empirical Study on Factuality Hallucination in Large Language Models

arxiv url: http://arxiv.org/abs/2401.03205v1
Date: Sat, 6 Jan 2024 12:40:45 GMT
ステータス: 処理完了
システム内更新日: 2024-01-09 19:48:50.078842
Title: The Dawn After the Dark: An Empirical Study on Factuality Hallucination in Large Language Models
Title（参考訳）: 暗黒の後の夜明け:大規模言語モデルにおける人物の幻覚に関する実証的研究
Authors: Junyi Li, Jie Chen, Ruiyang Ren, Xiaoxue Cheng, Wayne Xin Zhao, Jian-Yun Nie and Ji-Rong Wen
Abstract要約: 幻覚は、大きな言語モデルの信頼できるデプロイには大きな課題となります。幻覚(検出)の検出方法、LLMが幻覚(ソース)をなぜ検出するのか、そしてそれを緩和するために何ができるか、という3つの重要な疑問がよく研究されるべきである。本研究は, 幻覚検出, 発生源, 緩和の3つの側面に着目した, LLM幻覚の系統的研究である。
参考スコア（独自算出の注目度）: 134.6697160940223
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: In the era of large language models (LLMs), hallucination (i.e., the tendency to generate factually incorrect content) poses great challenge to trustworthy and reliable deployment of LLMs in real-world applications. To tackle the LLM hallucination, three key questions should be well studied: how to detect hallucinations (detection), why do LLMs hallucinate (source), and what can be done to mitigate them (mitigation). To address these challenges, this work presents a systematic empirical study on LLM hallucination, focused on the the three aspects of hallucination detection, source and mitigation. Specially, we construct a new hallucination benchmark HaluEval 2.0, and designs a simple yet effective detection method for LLM hallucination. Furthermore, we zoom into the different training or utilization stages of LLMs and extensively analyze the potential factors that lead to the LLM hallucination. Finally, we implement and examine a series of widely used techniques to mitigate the hallucinations in LLMs. Our work has led to several important findings to understand the hallucination origin and mitigate the hallucinations in LLMs. Our code and data can be accessed at https://github.com/RUCAIBox/HaluEval-2.0.
Abstract（参考訳）: 大規模言語モデル(LLM)の時代には、幻覚(事実的不正確なコンテンツを生成する傾向)は、現実のアプリケーションにおけるLLMの信頼性と信頼性に挑戦する。 LLM幻覚に対処するためには、幻覚(検出)の検知方法、LLMの幻覚(ソース)の発見方法、その緩和のためにできること(緩和)の3つの重要な疑問がよく研究されるべきである。これらの課題に対処するため,本研究は,幻覚検出・源源・緩和の3つの側面に着目し,llm幻覚に関する系統的実証研究を行う。具体的には,新しい幻覚ベンチマークHaluEval 2.0を構築し,LLM幻覚の簡易かつ効果的な検出法を設計する。さらに、LLMの異なるトレーニングや利用段階を拡大し、LLM幻覚につながる潜在的な要因を広範囲に分析する。最後に,llmの幻覚を緩和するために広く用いられている手法を実装し,検討する。我々の研究は、幻覚の起源を理解し、LLMの幻覚を緩和する重要な発見を導いてきた。私たちのコードとデータはhttps://github.com/RUCAIBox/HaluEval-2.0でアクセスできます。

関連論文リスト

MedHalu: Hallucinations in Responses to Healthcare Queries by Large Language Models [26.464489158584463]
患者からのリアルタイム医療クエリに対するLCM生成反応における幻覚の先駆的な研究を行う。 MedHaluは、健康関連トピックが多種多様である、注意深く構築された医療幻覚データセットである。 MedHaluDetect フレームワークを導入し,幻覚検出における様々な LLM の機能を評価する。
論文参考訳（メタデータ） (2024-09-29T00:09:01Z)
Look Within, Why LLMs Hallucinate: A Causal Perspective [16.874588396996764]
大規模言語モデル(LLM)は、生成人工知能のマイルストーンであり、テキスト理解と生成タスクにおいて大きな成功を収めている。 LLMは深刻な幻覚障害に悩まされ、LLMの実用化に重大な課題が生じた。 LLMの自己注意層に介入し,その構造とサイズをそのまま維持する手法を提案する。
論文参考訳（メタデータ） (2024-07-14T10:47:44Z)
Exploring and Evaluating Hallucinations in LLM-Powered Code Generation [14.438161741833687]
LLM(Large Language Models)は、ユーザの意図から逸脱した出力を生成し、内部的不整合を示すか、事実的知識と不整合を示す。既存の研究は主に、自然言語生成の分野における幻覚の投資に重点を置いている。我々は,LLM生成コードのテーマ解析を行い,その内に存在する幻覚を要約し,分類する。幻覚認識におけるLLMの性能評価のためのベンチマークであるHaluCodeを提案する。
論文参考訳（メタデータ） (2024-04-01T07:31:45Z)
Do LLMs Know about Hallucination? An Empirical Investigation of LLM's Hidden States [19.343629282494774]
大きな言語モデル(LLM)は、現実ではない答えを補うことができ、幻覚として知られている。本研究の目的は, LLM が幻覚をどの程度認識しているか, どのように, どの程度の程度で確認することである。
論文参考訳（メタデータ） (2024-02-15T06:14:55Z)
Hallucination Detection and Hallucination Mitigation: An Investigation [13.941799495842776]
大規模言語モデル(LLM)は、過去2年間に様々なアプリケーションで顕著な成功を収めてきた。本報告は,幻覚検出と幻覚軽減の両面において,現在の文献を包括的にレビューすることを目的としている。
論文参考訳（メタデータ） (2024-01-16T13:36:07Z)
Analyzing and Mitigating Object Hallucination in Large Vision-Language Models [110.12460299261531]
大規模視覚言語モデル(LVLM)は、人間の言語で視覚情報を理解する際、顕著な能力を示した。 LVLMは依然として物体幻覚に悩まされており、画像に実際に存在しない物体を含む記述を生成するという問題である。そこで我々は,LVLMの幻覚を再現するアルゴリズム LVLM Hallucination Revisor (LURE) を提案する。
論文参考訳（メタデータ） (2023-10-01T18:10:53Z)
Siren's Song in the AI Ocean: A Survey on Hallucination in Large Language Models [116.01843550398183]
大規模言語モデル(LLM)は、様々な下流タスクで顕著な機能を示している。 LLMは時折、ユーザ入力から分岐するコンテンツを生成し、以前生成されたコンテキストと矛盾する。
論文参考訳（メタデータ） (2023-09-03T16:56:48Z)
Evaluation and Analysis of Hallucination in Large Vision-Language Models [49.19829480199372]
LVLM(Large Vision-Language Models)は近年大きな成功を収めている。 LVLMは今でも幻覚に悩まされている。幻覚とは、視覚入力に存在しないLVLMの応答の情報を指す。
論文参考訳（メタデータ） (2023-08-29T08:51:24Z)
HaluEval: A Large-Scale Hallucination Evaluation Benchmark for Large Language Models [146.87696738011712]
大型言語モデル(LLM)は幻覚を生成する傾向があり、すなわち、ソースと矛盾したり、事実の知識によって検証できないコンテンツである。言語モデル(HaluEval)のための幻覚評価ベンチマーク(Halucination Evaluation benchmark)を導入する。
論文参考訳（メタデータ） (2023-05-19T15:36:27Z)
Evaluating Object Hallucination in Large Vision-Language Models [122.40337582958453]
本研究は,大規模視覚言語モデル(LVLM)の物体幻覚に関する最初の体系的研究である。 LVLMは、記述中の対象画像と矛盾しないオブジェクトを生成する傾向がある。対象の幻覚を評価するために,POPEと呼ばれるポーリングに基づくクエリ手法を提案する。
論文参考訳（メタデータ） (2023-05-17T16:34:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。