論文の概要: Ever: Mitigating Hallucination in Large Language Models through
Real-Time Verification and Rectification
- arxiv url: http://arxiv.org/abs/2311.09114v2
- Date: Sun, 25 Feb 2024 04:39:07 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-27 18:58:58.810348
- Title: Ever: Mitigating Hallucination in Large Language Models through
Real-Time Verification and Rectification
- Title（参考訳）: 大規模言語モデルにおける幻覚のリアルタイム検証と再現
- Authors: Haoqiang Kang, Juntong Ni, Huaxiu Yao
- Abstract要約: リアルタイム検証(Real-time Verification and Rectification)と呼ばれる新しいアプローチを導入する。
エバーは、リアルタイムでステップワイズな生成と幻覚の修正戦略を採用しています。
さまざまなタスクにまたがって、信頼できる、事実的に正確なテキストを生成することにおいて、大きな改善が示されています。
- 参考スコア（独自算出の注目度）: 18.59695929601458
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large Language Models (LLMs) have demonstrated remarkable proficiency in
generating fluent text. However, they often encounter the challenge of
generating inaccurate or hallucinated content. This issue is common in both
non-retrieval-based generation and retrieval-augmented generation approaches,
and existing post-hoc rectification methods may not address the accumulated
hallucination errors that may be caused by the "snowballing" issue, especially
in reasoning tasks. To tackle these challenges, we introduce a novel approach
called Real-time Verification and Rectification (Ever). Instead of waiting
until the end of the generation process to rectify hallucinations, Ever employs
a real-time, step-wise generation and hallucination rectification strategy. The
primary objective is to detect and rectify hallucinations as they occur during
the text generation process. When compared to both retrieval-based and
non-retrieval-based baselines, Ever demonstrates a significant improvement in
generating trustworthy and factually accurate text across a diverse range of
tasks, including short-form QA, biography generation, and multi-hop reasoning.
- Abstract（参考訳）: 大規模言語モデル(llm)は、流麗なテキストの生成に著しく熟練している。
しかし、しばしば不正確なあるいは幻覚的なコンテンツを生成するという課題に遭遇する。
この問題は、非リトライバル型世代と検索型世代の両方で一般的であり、既存のポストホック整流法は、特に推論タスクにおいて「雪玉」問題によって引き起こされる可能性のある累積幻覚エラーに対応できない可能性がある。
これらの課題に取り組むために,我々はリアルタイム検証と修正(ever)と呼ばれる新しいアプローチを導入する。
幻覚を正すための生成プロセスの終わりまで待つ代わりに、everはリアルタイム、ステップワイズ、幻覚正す戦略を採用している。
主な目的は、テキスト生成プロセス中に発生する幻覚を検出し、修正することである。
検索ベースと非検索ベースの両方と比較して、Everは、ショートフォームのQA、伝記生成、マルチホップ推論など、さまざまなタスクにおいて、信頼性と現実的に正確なテキストを生成する上で、大幅な改善を示している。
関連論文リスト
- Mitigating Large Language Model Hallucination with Faithful Finetuning [46.33663932554782]
大規模言語モデル(LLM)は、様々な自然言語処理タスクにおいて顕著な性能を示した。
彼らは「幻覚」として知られる、流動的で不合理な反応を生み出す傾向にある
論文 参考訳（メタデータ） (2024-06-17T07:16:07Z) - Towards Mitigating Hallucination in Large Language Models via
Self-Reflection [63.2543947174318]
大規模言語モデル(LLM)は、質問応答(QA)タスクを含む生成的および知識集約的なタスクを約束している。
本稿では,広範に採用されているLCMとデータセットを用いた医療再生QAシステムにおける幻覚現象を解析する。
論文 参考訳（メタデータ） (2023-10-10T03:05:44Z) - AutoHall: Automated Hallucination Dataset Generation for Large Language Models [56.92068213969036]
本稿では,AutoHallと呼ばれる既存のファクトチェックデータセットに基づいて,モデル固有の幻覚データセットを自動的に構築する手法を提案する。
また,自己コントラディションに基づくゼロリソース・ブラックボックス幻覚検出手法を提案する。
論文 参考訳（メタデータ） (2023-09-30T05:20:02Z) - Chain-of-Verification Reduces Hallucination in Large Language Models [80.99318041981776]
言語モデルが与える反応を考慮し、誤りを訂正する能力について検討する。
モデルが最初に初期応答をドラフトするChain-of-Verification (CoVe) 法を開発した。
ウィキデータからクローズドブックMultiSpanQAまで,さまざまなタスクにおける幻覚の減少を示す。
論文 参考訳（メタデータ） (2023-09-20T17:50:55Z) - A Stitch in Time Saves Nine: Detecting and Mitigating Hallucinations of
LLMs by Validating Low-Confidence Generation [76.34411067299331]
大規模な言語モデルは、しばしば信頼性を著しく損なう「ハロシン化」する傾向がある。
生成過程における幻覚を積極的に検出・緩和する手法を提案する。
提案手法は, GPT-3.5モデルの幻覚を平均47.5%から14.5%に低減する。
論文 参考訳（メタデータ） (2023-07-08T14:25:57Z) - Survey of Hallucination in Natural Language Generation [69.9926849848132]
近年,シーケンス間深層学習技術の発展により,自然言語生成(NLG)は指数関数的に向上している。
深層学習に基づく生成は意図しないテキストを幻覚させる傾向があるため、システム性能は低下する。
この調査は、NLGにおける幻覚テキストの課題に取り組む研究者の協力活動を促進するのに役立つ。
論文 参考訳（メタデータ） (2022-02-08T03:55:01Z) - A Token-level Reference-free Hallucination Detection Benchmark for
Free-form Text Generation [50.55448707570669]
本稿ではトークンレベルの参照なし幻覚検出タスクとHaDesというアノテーション付きデータセットを提案する。
このデータセットを作成するために、まず英語のウィキペディアから抽出された大量のテキストセグメントを摂り込み、それからクラウドソースアノテーションで検証する。
論文 参考訳（メタデータ） (2021-04-18T04:09:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。