論文の概要: Don't Hallucinate, Abstain: Identifying LLM Knowledge Gaps via Multi-LLM Collaboration

• arxiv url: http://arxiv.org/abs/2402.00367v1
• Date: Thu, 1 Feb 2024 06:11:49 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-02 16:11:54.109577
• Title: Don't Hallucinate, Abstain: Identifying LLM Knowledge Gaps via Multi-LLM Collaboration
• Title（参考訳）: don't hallucinate, abstain:マルチllmコラボレーションによるllm知識ギャップの特定
• Authors: Shangbin Feng, Weijia Shi, Yike Wang, Wenxuan Ding, Vidhisha Balachandran, Yulia Tsvetkov
• Abstract要約: 本研究では,LLMの知識ギャップを同定し,知識ギャップが存在する場合の質問への回答を控えるアプローチについて検討する。 保留集合上での自己回帰と過度信頼の失敗により、我々は2つの新しいアプローチを提案する。
• 参考スコア（独自算出の注目度）: 41.58960340023974
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Despite efforts to expand the knowledge of large language models (LLMs), knowledge gaps -- missing or outdated information in LLMs -- might always persist given the evolving nature of knowledge. In this work, we study approaches to identify LLM knowledge gaps and abstain from answering questions when knowledge gaps are present. We first adapt existing approaches to model calibration or adaptation through fine-tuning/prompting and analyze their ability to abstain from generating low-confidence outputs. Motivated by their failures in self-reflection and over-reliance on held-out sets, we propose two novel approaches that are based on model collaboration, i.e., LLMs probing other LLMs for knowledge gaps, either cooperatively or competitively. Extensive experiments with three LLMs on four QA tasks featuring diverse knowledge domains demonstrate that both cooperative and competitive approaches to unveiling LLM knowledge gaps achieve up to 19.3% improvements on abstain accuracy against the strongest baseline. Further analysis reveals that our proposed mechanisms could help identify failure cases in retrieval augmentation and pinpoint knowledge gaps in multi-hop reasoning.
• Abstract（参考訳）: 大きな言語モデル(LLM)の知識を拡大する努力にもかかわらず、LLMの欠落や時代遅れの情報といった知識ギャップは、知識の進化の性質から常に続く可能性がある。 本研究では,llmの知識ギャップを識別する手法について検討し,知識ギャップが存在する場合の回答を控える。 まず,モデルキャリブレーションや適応への既存のアプローチを微調整/プロンプティングにより適用し,低信頼出力の発生を阻止する能力を解析する。 保留集合上での自己回帰と過度信頼の失敗により、モデル協調に基づく2つの新しいアプローチ、すなわち、協調的にも競争的にも他のLLMを探索するLLMを提案する。 多様な知識領域を特徴とする4つのQAタスクに関する3つのLLMによる大規模な実験は、LLM知識ギャップを公開するための協調的および競争的なアプローチが、最強のベースラインに対する絶対精度を最大19.3%向上させることを示した。 さらに分析した結果,提案手法は,検索拡張における障害事例の同定や,マルチホップ推論における知識ギャップの特定に有用であることがわかった。

関連論文リスト

• Untangle the KNOT: Interweaving Conflicting Knowledge and Reasoning Skills in Large Language Models [51.72963030032491]
  大規模言語モデル(LLM)の知識文書は、時代遅れや誤った知識のためにLLMの記憶と矛盾する可能性がある。 我々は,知識紛争解決のための新しいデータセットKNOTを構築した。
  論文  参考訳（メタデータ） (2024-04-04T16:40:11Z)
• FAC$^2$E: Better Understanding Large Language Model Capabilities by Dissociating Language and Cognition [56.76951887823882]
  大規模言語モデル(LLM)は、主に様々なテキスト理解および生成タスクにおける全体的なパフォーマンスによって評価される。 FAC$2$E, FAC$2$Eについて述べる。
  論文  参考訳（メタデータ） (2024-02-29T21:05:37Z)
• Small Models, Big Insights: Leveraging Slim Proxy Models To Decide When and What to Retrieve for LLMs [60.40396361115776]
  本稿では,スリムプロキシモデルを用いた大規模言語モデル (LLM) における知識不足を検知する新しい協調手法であるSlimPLMを提案する。 パラメータがはるかに少ないプロキシモデルを採用し、回答を回答としています。 ヒューリスティックな回答は、LLM内の既知の未知の知識と同様に、ユーザの質問に答えるために必要な知識を予測するのに使用される。
  論文  参考訳（メタデータ） (2024-02-19T11:11:08Z)
• KnowTuning: Knowledge-aware Fine-tuning for Large Language Models [83.5849717262019]
  本研究では,LLMの微粒で粗粒な知識認識を改善するための知識認識ファインタニング(KnowTuning)手法を提案する。 KnowTuningは、きめ細かい事実評価の下で、より少ない事実エラー率で多くの事実を生成する。
  論文  参考訳（メタデータ） (2024-02-17T02:54:32Z)
• Learning to Trust Your Feelings: Leveraging Self-awareness in LLMs for Hallucination Mitigation [9.730412606588335]
  我々は,Large Language Models (LLMs) の内的知識状態の識別と表現能力を評価する。 本稿では,LLMの事実と正直性を高めるために強化学習を活用する,知識フィードバックからの強化学習(RLKF)トレーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-01-27T16:19:30Z)
• Learn to Refuse: Making Large Language Models More Controllable and Reliable through Knowledge Scope Limitation and Refusal Mechanism [0.0]
  大規模言語モデル(LLM)は印象的な言語理解と生成能力を示している。 これらのモデルは欠陥がなく、しばしばエラーや誤報を含む応答を生成する。 本稿では,LLMに対して,誤りを避けるために,難解な質問への回答を拒否するように指示する拒絶機構を提案する。
  論文  参考訳（メタデータ） (2023-11-02T07:20:49Z)
• Investigating the Factual Knowledge Boundary of Large Language Models with Retrieval Augmentation [109.8527403904657]
  大規模言語モデル(LLM)は,その知識に対する信頼度が低く,内部知識と外部知識の衝突をうまく扱えないことを示す。 検索の強化は、LLMの知識境界に対する認識を高める効果的なアプローチであることが証明されている。 本稿では,文書を動的に活用するための簡易な手法を提案する。
  論文  参考訳（メタデータ） (2023-07-20T16:46:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。