論文の概要: Citation-Enhanced Generation for LLM-based Chatbots
- arxiv url: http://arxiv.org/abs/2402.16063v3
- Date: Mon, 4 Mar 2024 01:53:35 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-06 23:37:41.522887
- Title: Citation-Enhanced Generation for LLM-based Chatbots
- Title(参考訳): LLM型チャットボットのCitation-Enhanced Generation
- Authors: Weitao Li, Junkai Li, Weizhi Ma, Yang Liu
- Abstract要約: 大規模言語モデル(LLM)は多様なシナリオにまたがる強力な汎用知性を示す。
幻覚コンテンツは反応で生成され、適用性が著しく制限される。
提案手法は,検索議論と組み合わせた,ポストホックなCitation-Enhanced Generation手法である。
- 参考スコア(独自算出の注目度): 11.973280288131225
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large language models (LLMs) exhibit powerful general intelligence across
diverse scenarios, including their integration into chatbots. However, a vital
challenge of LLM-based chatbots is that they may produce hallucinated content
in responses, which significantly limits their applicability. Various efforts
have been made to alleviate hallucination, such as retrieval augmented
generation and reinforcement learning with human feedback, but most of them
require additional training and data annotation. In this paper, we propose a
novel post-hoc Citation-Enhanced Generation (CEG) approach combined with
retrieval argumentation. Unlike previous studies that focus on preventing
hallucinations during generation, our method addresses this issue in a post-hoc
way. It incorporates a retrieval module to search for supporting documents
relevant to the generated content, and employs a natural language
inference-based citation generation module. Once the statements in the
generated content lack of reference, our model can regenerate responses until
all statements are supported by citations. Note that our method is a
training-free plug-and-play plugin that is capable of various LLMs. Experiments
on various hallucination-related datasets show our framework outperforms
state-of-the-art methods in both hallucination detection and response
regeneration on three benchmarks. Our codes and dataset will be publicly
available.
- Abstract(参考訳): 大規模言語モデル(llm)は、チャットボットへの統合など、さまざまなシナリオにわたる強力な汎用知性を示す。
しかし、LLMベースのチャットボットにとって重要な課題は、応答中に幻覚的コンテンツを生成できるため、適用性が著しく制限されることである。
検索拡張生成や人間フィードバックによる強化学習など幻覚を緩和するために様々な努力がなされているが、そのほとんどは追加のトレーニングとデータアノテーションを必要とする。
本稿では,検索議論と組み合わせたポストホックCitation-Enhanced Generation (CEG)アプローチを提案する。
世代ごとの幻覚の予防に焦点を当てた従来の研究とは異なり,本手法はポストホック方式でこの問題に対処する。
生成したコンテンツに関連する文書を検索するための検索モジュールを組み込んでおり、自然言語推論に基づく引用生成モジュールを採用している。
生成されたコンテンツ内のステートメントが参照を欠くと、私たちのモデルは全てのステートメントが引用によってサポートされるまでレスポンスを再生できます。
本手法は様々なllmが可能なトレーニングフリーなプラグインである。
種々の幻覚関連データセットを用いた実験により、3つのベンチマークによる幻覚検出と応答再生の両方において、我々のフレームワークは最先端の手法よりも優れていた。
コードとデータセットは公開されます。
関連論文リスト
- A Comprehensive Survey of Hallucination Mitigation Techniques in Large
Language Models [7.705767540805267]
大きな言語モデル(LLM)は、人間のようなテキストを書く能力の進歩を続けている。
重要な課題は、事実に見えるが根拠のないコンテンツを生み出すことを幻覚させる傾向にある。
本稿では,LLMにおける幻覚を緩和するために開発された32以上の技術について調査する。
論文 参考訳(メタデータ) (2024-01-02T17:56:30Z) - Alleviating Hallucinations of Large Language Models through Induced
Hallucinations [67.35512483340837]
大規模言語モデル(LLM)は、不正確な情報や製造された情報を含む応答を生成するために観察されている。
幻覚を緩和するための単純なtextitInduce-then-Contrast Decoding (ICD) 戦略を提案する。
論文 参考訳(メタデータ) (2023-12-25T12:32:49Z) - Automatic Hallucination Assessment for Aligned Large Language Models via
Transferable Adversarial Attacks [98.22864957942821]
本稿では,大規模言語モデルが忠実に振る舞う既存データを適切に修正し,評価データを自動的に生成する手法を開発することを目的とする。
具体的には,LLM ベースのフレームワークである Auto Debug について述べる。
実験結果から, LLMは, インプロンプトに与えられた知識とパラメトリック知識との間に矛盾がある場合, 質問応答シナリオの2つのカテゴリに幻覚を与える可能性が示唆された。
論文 参考訳(メタデータ) (2023-10-19T06:37:32Z) - Chain of Natural Language Inference for Reducing Large Language Model
Ungrounded Hallucinations [3.9566468090516067]
大規模言語モデル(LLM)は、関連する文書を背景コンテキストとして与えたときに、流動的な自然言語テキストを生成することができる。
LLMは、提供されたソースがサポートしていない幻覚を生成する傾向がある。
そこで我々は,そのような未解決幻覚を検知・緩和するための階層的枠組みを提案する。
論文 参考訳(メタデータ) (2023-10-06T00:10:46Z) - AutoHall: Automated Hallucination Dataset Generation for Large Language
Models [63.973142426228016]
本稿では,AutoHallと呼ばれる既存のファクトチェックデータセットに基づいて,モデル固有の幻覚データセットを自動的に構築する手法を提案する。
また,自己コントラディションに基づくゼロリソース・ブラックボックス幻覚検出手法を提案する。
論文 参考訳(メタデータ) (2023-09-30T05:20:02Z) - Zero-Resource Hallucination Prevention for Large Language Models [45.4155729393135]
ハロシン化(Hallucination)とは、大規模言語モデル(LLM)が事実的に不正確な情報を生成する事例を指す。
本稿では,SELF-FAMILIARITYと呼ばれる,入力命令に含まれる概念に対するモデルの親しみ度を評価する新しい自己評価手法を提案する。
4つの異なる大言語モデルでSELF-FAMILIARITYを検証し、既存の手法と比較して一貫して優れた性能を示す。
論文 参考訳(メタデータ) (2023-09-06T01:57:36Z) - Trapping LLM Hallucinations Using Tagged Context Prompts [11.655802601887197]
本稿では,大規模言語モデルがドメイン知識の外部で実行された場合に,インスタンスを認識・フラグする新しい手法を提案する。
組込みタグと組み合わされたコンテキストを用いることで,生成言語モデル内の幻覚に対処できることが判明した。
論文 参考訳(メタデータ) (2023-06-09T17:48:54Z) - Active Retrieval Augmented Generation [123.68874416084499]
外部知識資源から情報を取得することで、大きな言語モデル(LM)を拡張することは、有望な解決策である。
ほとんどの既存の検索拡張LMは、入力に基づいて一度だけ情報を検索する検索と生成のセットアップを採用している。
本稿では,将来的な内容を予測するために,文の予測を反復的に利用する汎用手法であるフォワード・フォワード・アクティブ・レトリヴァル・ジェネレーション・ジェネレーション(FLARE)を提案する。
論文 参考訳(メタデータ) (2023-05-11T17:13:40Z) - Recitation-Augmented Language Models [85.30591349383849]
知識集約型NLPタスクにおいて,RECITEは強力なパラダイムであることを示す。
具体的には、リサイクリングを中間ステップとして活用することにより、新しい最先端性能を実現することができることを示す。
論文 参考訳(メタデータ) (2022-10-04T00:49:20Z) - A Token-level Reference-free Hallucination Detection Benchmark for
Free-form Text Generation [50.55448707570669]
本稿ではトークンレベルの参照なし幻覚検出タスクとHaDesというアノテーション付きデータセットを提案する。
このデータセットを作成するために、まず英語のウィキペディアから抽出された大量のテキストセグメントを摂り込み、それからクラウドソースアノテーションで検証する。
論文 参考訳(メタデータ) (2021-04-18T04:09:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。