論文の概要: Learning to Trust Your Feelings: Leveraging Self-awareness in LLMs for Hallucination Mitigation

• arxiv url: http://arxiv.org/abs/2401.15449v1
• Date: Sat, 27 Jan 2024 16:19:30 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-30 18:13:03.647833
• Title: Learning to Trust Your Feelings: Leveraging Self-awareness in LLMs for Hallucination Mitigation
• Title（参考訳）: 感情を信頼するために学ぶ:幻覚軽減のためのLLMにおける自己認識の活用
• Authors: Yuxin Liang, Zhuoyang Song, Hao Wang, Jiaxing Zhang
• Abstract要約: 我々は,Large Language Models (LLMs) の内的知識状態の識別と表現能力を評価する。 本稿では,LLMの事実と正直性を高めるために強化学習を活用する,知識フィードバックからの強化学習(RLKF)トレーニングフレームワークを提案する。
• 参考スコア（独自算出の注目度）: 9.730412606588335
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We evaluate the ability of Large Language Models (LLMs) to discern and express their internal knowledge state, a key factor in countering factual hallucination and ensuring reliable application of LLMs. We observe a robust self-awareness of internal knowledge state in LLMs, evidenced by over 85% accuracy in knowledge probing. However, LLMs often fail to express their internal knowledge during generation, leading to factual hallucinations. We develop an automated hallucination annotation tool, Dreamcatcher, which merges knowledge probing and consistency checking methods to rank factual preference data. Using knowledge preference as reward, We propose a Reinforcement Learning from Knowledge Feedback (RLKF) training framework, leveraging reinforcement learning to enhance the factuality and honesty of LLMs. Our experiments across multiple models show that RLKF training effectively enhances the ability of models to utilize their internal knowledge state, boosting performance in a variety of knowledge-based and honesty-related tasks.
• Abstract（参考訳）: 我々は,LLMの現実の幻覚に対処し,信頼性を確保する上で重要な要素である,内的知識状態を識別し,表現するLarge Language Models(LLMs)の能力を評価する。 我々は, LLMにおける内部知識状態の堅牢な自己認識を, 85%以上の精度で検証した。 しかし、LSMは世代間の内部知識の表現に失敗し、事実上の幻覚に繋がる。 そこで我々は,知識探索法と一貫性検査法を組み合わせた幻覚弁別自動ツールdreamcatcherを開発した。 知識選好を報奨として,LLMの事実と誠実性を高めるために強化学習を活用する,知識フィードバックからの強化学習(RLKF)トレーニングフレームワークを提案する。 複数のモデルを対象とした実験により、RLKFトレーニングは、モデルの内部知識状態を活用する能力を効果的に向上し、様々な知識ベースおよび誠実なタスクのパフォーマンスを向上することを示した。

関連論文リスト

• Self-Tuning: Instructing LLMs to Effectively Acquire New Knowledge through Self-Teaching [67.11497198002165]
  大きな言語モデル(LLM)は、一度のトレーニングのために最新の情報を提供するのに苦労することが多い。 効率的なヒューマンラーニングにおけるFeynman Techniqueの顕著な成功に感銘を受け、セルフチューニングを紹介した。
  論文  参考訳（メタデータ） (2024-06-10T14:42:20Z)
• Rejection Improves Reliability: Training LLMs to Refuse Unknown Questions Using RL from Knowledge Feedback [14.120154004011084]
  LLM(Large Language Models)はしばしば幻覚と呼ばれる誤った出力を生成する。 知識フィードバックによる強化学習(Reinforcement Learning from Knowledge Feedback, RLKF)と呼ばれる新しいアライメントフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-03-27T08:39:56Z)
• KnowTuning: Knowledge-aware Fine-tuning for Large Language Models [83.5849717262019]
  本研究では,LLMの微粒で粗粒な知識認識を改善するための知識認識ファインタニング(KnowTuning)手法を提案する。 KnowTuningは、きめ細かい事実評価の下で、より少ない事実エラー率で多くの事実を生成する。
  論文  参考訳（メタデータ） (2024-02-17T02:54:32Z)
• Self-Alignment for Factuality: Mitigating Hallucinations in LLMs via Self-Evaluation [71.91287418249688]
  大規模言語モデル(LLM)は、たとえ関連する知識を持っていたとしても、事実的不正確さに悩まされることが多い。 我々は,LLMの自己評価能力を活用し,現実性に向けてモデルを操る訓練信号を提供する。 提案手法は,Llamaファミリーモデルに対して,3つの重要な知識集約タスクにおいて,現実的精度を大幅に向上させることを示す。
  論文  参考訳（メタデータ） (2024-02-14T15:52:42Z)
• The Calibration Gap between Model and Human Confidence in Large Language Models [14.539888672603743]
  大規模言語モデル(LLM)は、その予測がどの程度正確であるかを正確に評価し、伝達できるという意味で、十分に校正される必要がある。 最近の研究は、内部LCMの信頼性評価の品質に焦点を当てている。 本稿では,LLMの応答における外部人間の信頼度とモデルの内部信頼度との相違について検討する。
  論文  参考訳（メタデータ） (2024-01-24T22:21:04Z)
• Knowledge Verification to Nip Hallucination in the Bud [69.79051730580014]
  本研究では、アライメントデータに存在する外部知識と基礎LPM内に埋め込まれた固有の知識との矛盾を検証し、最小化することにより、幻覚を緩和する可能性を示す。 本稿では,知識一貫性アライメント(KCA, Knowledge Consistent Alignment)と呼ばれる新しい手法を提案する。 6つのベンチマークで幻覚を減らし, バックボーンとスケールの異なる基礎的LCMを利用することで, KCAの優れた効果を実証した。
  論文  参考訳（メタデータ） (2024-01-19T15:39:49Z)
• RECALL: A Benchmark for LLMs Robustness against External Counterfactual Knowledge [69.79676144482792]
  本研究の目的は,LLMが外部知識から信頼できる情報を識別する能力を評価することである。 本ベンチマークは,質問応答とテキスト生成という2つのタスクから構成される。
  論文  参考訳（メタデータ） (2023-11-14T13:24:19Z)
• User-Controlled Knowledge Fusion in Large Language Models: Balancing Creativity and Hallucination [5.046007553593371]
  大規模言語モデル(LLM)は多様な、関連性があり、創造的な応答を生成する。 LLMの想像力と事実情報への固執のバランスを取ることは重要な課題である。 本稿では,LLMの想像能力と現実情報への忠実さのバランスを調節する,革新的なユーザ制御機構を提案する。
  論文  参考訳（メタデータ） (2023-07-30T06:06:35Z)
• Knowledge Rumination for Pre-trained Language Models [77.55888291165462]
  本稿では,学習前の言語モデルが外部コーパスから検索することなく,関連する潜在知識を活用できるようにするための,Knowledge Ruminationと呼ばれる新しいパラダイムを提案する。 本稿では,RoBERTa,DeBERTa,GPT-3などの言語モデルに適用する。
  論文  参考訳（メタデータ） (2023-05-15T15:47:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。