論文の概要: Chain of Natural Language Inference for Reducing Large Language Model
Ungrounded Hallucinations
- arxiv url: http://arxiv.org/abs/2310.03951v2
- Date: Mon, 9 Oct 2023 18:15:21 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-12 18:51:52.965143
- Title: Chain of Natural Language Inference for Reducing Large Language Model
Ungrounded Hallucinations
- Title(参考訳): 大規模言語モデル非基底幻覚の低減のための自然言語推論の連鎖
- Authors: Deren Lei, Yaxi Li, Mengya Hu, Mingyu Wang, Vincent Yun, Emily Ching,
Eslam Kamal
- Abstract要約: 大規模言語モデル(LLM)は、関連する文書を背景コンテキストとして与えたときに、流動的な自然言語テキストを生成することができる。
LLMは、提供されたソースがサポートしていない幻覚を生成する傾向がある。
そこで我々は,そのような未解決幻覚を検知・緩和するための階層的枠組みを提案する。
- 参考スコア(独自算出の注目度): 3.9566468090516067
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large language models (LLMs) can generate fluent natural language texts when
given relevant documents as background context. This ability has attracted
considerable interest in developing industry applications of LLMs. However,
LLMs are prone to generate hallucinations that are not supported by the
provided sources. In this paper, we propose a hierarchical framework to detect
and mitigate such ungrounded hallucination. Our framework uses Chain of Natural
Language Inference (CoNLI) for hallucination detection and hallucination
reduction via post-editing. Our approach achieves state-of-the-art performance
on hallucination detection and enhances text quality through rewrite, using
LLMs without any fine-tuning or domain-specific prompt engineering. We show
that this simple plug-and-play framework can serve as an effective choice for
hallucination detection and reduction, achieving competitive performance across
various contexts.
- Abstract(参考訳): 大規模言語モデル(llm)は、関連する文書が背景のコンテキストとして与えられると、流れる自然言語テキストを生成することができる。
この能力はLLMの産業応用に多大な関心を集めている。
しかし、LSMは提供されたソースがサポートしていない幻覚を生成する傾向にある。
本稿では,このような幻覚を検出・緩和するための階層的枠組みを提案する。
本フレームワークでは, 後編集による幻覚の検出と幻覚の低減に, 自然言語推論の連鎖 (CoNLI) を用いる。
提案手法は幻覚検出の最先端性能を実現し,微調整やドメイン固有のプロンプトエンジニアリングを使わずに書き直しによるテキスト品質の向上を実現する。
この単純なプラグ・アンド・プレイ・フレームワークは幻覚の検出と軽減に有効な選択肢となり、様々な文脈で競争的パフォーマンスを達成することができる。
関連論文リスト
- Detecting and Mitigating Hallucination in Large Vision Language Models via Fine-Grained AI Feedback [48.065569871444275]
我々は,LVLM(Large Vision Language Models)における幻覚の検出と緩和について,きめ細かいAIフィードバックを用いて提案する。
プロプライエタリモデルによる小型幻覚アノテーションデータセットを生成する。
そこで本研究では,幻覚緩和モデルの訓練のための選好データセットを自動構築する検出テーマ書き換えパイプラインを提案する。
論文 参考訳(メタデータ) (2024-04-22T14:46:10Z) - Hallucination Diversity-Aware Active Learning for Text Summarization [46.00645048690819]
LLM(Large Language Models)は、幻覚出力を生成するための妥当性を示す。
幻覚を緩和するための既存の方法は、通常、LLM出力の幻覚を識別し修正するために、人為的なアノテーションを必要とする。
LLM幻覚を緩和する最初のアクティブラーニングフレームワークを提案し,必要な幻覚アノテーションのコストを削減した。
論文 参考訳(メタデータ) (2024-04-02T02:30:27Z) - Alleviating Hallucinations of Large Language Models through Induced
Hallucinations [67.35512483340837]
大規模言語モデル(LLM)は、不正確な情報や製造された情報を含む応答を生成するために観察されている。
幻覚を緩和するための単純なtextitInduce-then-Contrast Decoding (ICD) 戦略を提案する。
論文 参考訳(メタデータ) (2023-12-25T12:32:49Z) - Hallucination Augmented Contrastive Learning for Multimodal Large
Language Model [53.65682783591723]
マルチモーダル大規模言語モデル(MLLM)は、自然言語と視覚情報を効率的に統合し、マルチモーダルタスクを処理できることが示されている。
しかし、MLLMは幻覚の基本的な限界に直面しており、誤った情報や偽情報を生成する傾向がある。
本稿では,MLLMにおける幻覚を表現学習の新たな視点から論じる。
論文 参考訳(メタデータ) (2023-12-12T04:05:15Z) - DelucionQA: Detecting Hallucinations in Domain-specific Question
Answering [22.23664008053246]
幻覚は、大言語モデル(LLM)によって生成されたテキストでよく知られた現象である
我々は、ドメイン固有のQAタスクのためのLLMの検索による幻覚をキャプチャするデータセットDelucionQAを紹介する。
本研究では,研究コミュニティの今後の研究のベースラインとして,幻覚検出手法のセットを提案する。
論文 参考訳(メタデータ) (2023-12-08T17:41:06Z) - AutoHall: Automated Hallucination Dataset Generation for Large Language
Models [63.973142426228016]
本稿では,AutoHallと呼ばれる既存のファクトチェックデータセットに基づいて,モデル固有の幻覚データセットを自動的に構築する手法を提案する。
また,自己コントラディションに基づくゼロリソース・ブラックボックス幻覚検出手法を提案する。
論文 参考訳(メタデータ) (2023-09-30T05:20:02Z) - Halo: Estimation and Reduction of Hallucinations in Open-Source Weak
Large Language Models [11.497989461290793]
大規模言語モデル(LLM)は自然言語処理(NLP)に革命をもたらした
パラメータが少ないオープンソースのLCMは、より大きなものに比べて深刻な幻覚に悩まされることが多い。
本稿では,より弱いオープンソース LLM の代表であるBLOOM 7B における幻覚の計測と低減に焦点をあてる。
論文 参考訳(メタデータ) (2023-08-22T20:12:49Z) - HaluEval: A Large-Scale Hallucination Evaluation Benchmark for Large
Language Models [146.87696738011712]
大型言語モデル(LLM)は幻覚を生成する傾向があり、すなわち、ソースと矛盾したり、事実の知識によって検証できないコンテンツである。
言語モデル(HaluEval)のための幻覚評価ベンチマーク(Halucination Evaluation benchmark)を導入する。
論文 参考訳(メタデータ) (2023-05-19T15:36:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。