論文の概要: Knowledge Verification to Nip Hallucination in the Bud
- arxiv url: http://arxiv.org/abs/2401.10768v3
- Date: Fri, 16 Feb 2024 11:26:52 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-19 19:19:39.167922
- Title: Knowledge Verification to Nip Hallucination in the Bud
- Title(参考訳): 芽におけるnip幻覚に対する知識の検証
- Authors: Fanqi Wan, Xinting Huang, Leyang Cui, Xiaojun Quan, Wei Bi, Shuming
Shi
- Abstract要約: 本研究では、アライメントデータに存在する外部知識と基礎LPM内に埋め込まれた固有の知識との矛盾を検証し、最小化することにより、幻覚を緩和する可能性を示す。
本稿では,知識一貫性アライメント(KCA, Knowledge Consistent Alignment)と呼ばれる新しい手法を提案する。
6つのベンチマークで幻覚を減らし, バックボーンとスケールの異なる基礎的LCMを利用することで, KCAの優れた効果を実証した。
- 参考スコア(独自算出の注目度): 73.95113631534635
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: While large language models (LLMs) have demonstrated exceptional performance
across various tasks following human alignment, they may still generate
responses that sound plausible but contradict factual knowledge, a phenomenon
known as \emph{hallucination}. In this paper, we demonstrate the feasibility of
mitigating hallucinations by verifying and minimizing the inconsistency between
external knowledge present in the alignment data and the intrinsic knowledge
embedded within foundation LLMs. Specifically, we propose a novel approach
called Knowledge Consistent Alignment (KCA), which employs a well-aligned LLM
to automatically formulate assessments based on external knowledge to evaluate
the knowledge boundaries of foundation LLMs. To address knowledge
inconsistencies in the alignment data, KCA implements several specific
strategies to deal with these data instances. We demonstrate the superior
efficacy of KCA in reducing hallucinations across six benchmarks, utilizing
foundation LLMs of varying backbones and scales. This confirms the
effectiveness of mitigating hallucinations by reducing knowledge inconsistency.
Our code, model weights, and data are public at
\url{https://github.com/fanqiwan/KCA}.
- Abstract(参考訳): 大規模言語モデル(LLM)は、人間のアライメントに続く様々なタスクにおいて例外的な性能を示したが、それらは依然として、可塑性に聞こえるが事実知識と矛盾する応答を生成する可能性がある。
本稿では,アライメントデータに存在する外的知識と基礎llmに埋め込まれた内在的知識との矛盾を検証・最小化することにより,幻覚を緩和する可能性を示す。
具体的には,知識一貫性アライメント(KCA, Knowledge Consistent Alignment)と呼ばれる,外部知識に基づく評価を自動的に定式化し,基礎LPMの知識境界を評価する手法を提案する。
アライメントデータにおける知識の不整合に対処するため、KCAはこれらのデータインスタンスを扱うためのいくつかの具体的な戦略を実装している。
6つのベンチマークで幻覚を減らし, バックボーンとスケールの異なる基礎的LCMを利用することで, KCAの優れた効果を実証した。
これは、知識の不整合を減らして幻覚を緩和する効果を確認する。
私たちのコード、モデルウェイト、データは、 \url{https://github.com/fanqiwan/KCA}で公開されています。
関連論文リスト
- Evidence-Focused Fact Summarization for Knowledge-Augmented Zero-Shot
Question Answering [15.437464036956678]
本稿では,QA(Quesetion Answering)の性能向上を目的とした,エビデンスに着目したFact SummarizationフレームワークであるEFSumを提案する。
実験の結果,EFSumはLDMのゼロショットQA性能を向上することがわかった。
論文 参考訳(メタデータ) (2024-03-05T13:43:58Z) - KnowTuning: Knowledge-aware Fine-tuning for Large Language Models [86.72825837235344]
大規模言語モデル(LLM)の知識認識を明確かつ暗黙的に改善する知識認識ファインタニング(KnowTuning)手法を提案する。
我々は、LLMを訓練し、答えにおける知識の3倍を明示的に識別するために、明示的な知識認識生成ステージを考案する。
また,LLMを学習し,信頼できない知識と信頼できない知識を暗黙的に区別するために,暗黙的な知識認識比較ステージを提案する。
論文 参考訳(メタデータ) (2024-02-17T02:54:32Z) - Retrieve Only When It Needs: Adaptive Retrieval Augmentation for
Hallucination Mitigation in Large Language Models [73.93616728895401]
幻覚は、大規模言語モデル(LLM)の実践的実装において重要な課題となる。
本稿では,幻覚に対処するための選択的検索拡張プロセスにより,Lowenを改良する新しいアプローチを提案する。
論文 参考訳(メタデータ) (2024-02-16T11:55:40Z) - Learning to Trust Your Feelings: Leveraging Self-awareness in LLMs for
Hallucination Mitigation [9.730412606588335]
我々は,Large Language Models (LLMs) の内的知識状態の識別と表現能力を評価する。
本稿では,LLMの事実と正直性を高めるために強化学習を活用する,知識フィードバックからの強化学習(RLKF)トレーニングフレームワークを提案する。
論文 参考訳(メタデータ) (2024-01-27T16:19:30Z) - A Comprehensive Study of Knowledge Editing for Large Language Models [83.73538305784763]
大規模言語モデル(LLM)は、人間のコミュニケーションを忠実に反映したテキストの理解と生成の素晴らしい能力を示している。
本稿では,知識編集の問題を定義し,最先端アプローチの包括的レビューを行う。
我々は,代表的知識編集アプローチの総合的評価のための新しいベンチマークであるKnowEditを紹介した。
論文 参考訳(メタデータ) (2024-01-02T16:54:58Z) - Mitigating Large Language Model Hallucinations via Autonomous Knowledge
Graph-based Retrofitting [51.7049140329611]
本稿では,知識グラフに基づくリトロフィッティング(KGR)を提案する。
実験により,実QAベンチマークにおいて,KGRはLLMの性能を大幅に向上できることが示された。
論文 参考訳(メタデータ) (2023-11-22T11:08:38Z) - Enhancing Uncertainty-Based Hallucination Detection with Stronger Focus [99.33091772494751]
大規模言語モデル(LLM)は、様々な分野にわたる印象的なパフォーマンスで大きな人気を集めている。
LLMは、ユーザの期待を満たさない非現実的あるいは非感覚的なアウトプットを幻覚させる傾向がある。
LLMにおける幻覚を検出するための新しい基準のない不確実性に基づく手法を提案する。
論文 参考訳(メタデータ) (2023-11-22T08:39:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。