論文の概要: Learn to Refuse: Making Large Language Models More Controllable and
Reliable through Knowledge Scope Limitation and Refusal Mechanism
- arxiv url: http://arxiv.org/abs/2311.01041v1
- Date: Thu, 2 Nov 2023 07:20:49 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-03 14:28:35.717367
- Title: Learn to Refuse: Making Large Language Models More Controllable and
Reliable through Knowledge Scope Limitation and Refusal Mechanism
- Title(参考訳): learn to refuse: 知識範囲の制限と拒否機構を通じて、大きな言語モデルをより制御可能で信頼性の高いものにする
- Authors: Lang Cao
- Abstract要約: 大規模言語モデル(LLM)は印象的な言語理解と生成能力を示している。
これらのモデルは欠陥がなく、しばしばエラーや誤報を含む応答を生成する。
本稿では,LLMに対して,誤りを避けるために,難解な質問への回答を拒否するように指示する拒絶機構を提案する。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large language models (LLMs) have demonstrated impressive language
understanding and generation capabilities, enabling them to answer a wide range
of questions across various domains. However, these models are not flawless and
often produce responses that contain errors or misinformation. These
inaccuracies, commonly referred to as hallucinations, render LLMs unreliable
and even unusable in many scenarios. In this paper, our focus is on mitigating
the issue of hallucination in LLMs, particularly in the context of
question-answering. Instead of attempting to answer all questions, we explore a
refusal mechanism that instructs LLMs to refuse to answer challenging questions
in order to avoid errors. We then propose a simple yet effective solution
called Learn to Refuse (L2R), which incorporates the refusal mechanism to
enable LLMs to recognize and refuse to answer questions that they find
difficult to address. To achieve this, we utilize a structured knowledge base
to represent all the LLM's understanding of the world, enabling it to provide
traceable gold knowledge. This knowledge base is separate from the LLM and
initially empty, and it is progressively expanded with validated knowledge.
When an LLM encounters questions outside its domain, the system recognizes its
knowledge scope and determines whether it can answer the question
independently. Additionally, we introduce a method for automatically and
efficiently expanding the knowledge base of LLMs. Through qualitative and
quantitative analysis, we demonstrate that our approach enhances the
controllability and reliability of LLMs.
- Abstract(参考訳): 大きな言語モデル(LLM)は印象的な言語理解と生成能力を示し、様々な領域にわたる幅広い質問に答えることを可能にする。
しかし、これらのモデルは欠陥がなく、しばしばエラーや誤報を含む応答を生成する。
これらの不正確性は一般に幻覚と呼ばれるが、多くのシナリオでllmは信頼できないし、使用できない。
本稿では,LLMにおける幻覚の問題を,特に質問応答の文脈において緩和することに焦点を当てる。
全ての質問に答える代わりに、私たちはLLMにエラーを避けるために難しい質問に答えることを拒否するように指示する拒絶メカニズムを探求する。
次に,L2R(Learning to Refuse)と呼ばれるシンプルな解を提案する。L2RはLLMの認識と対処が難しい問題への回答を拒否するための拒絶機構を組み込んだものだ。
これを実現するため、構造化知識ベースを用いてLLMの世界のすべての理解を表現し、追跡可能な金の知識を提供する。
この知識ベースはllmとは分離され、最初は空であり、検証された知識によって徐々に拡張される。
LLMがドメイン外の質問に遭遇すると、システムはその知識の範囲を認識し、その質問に答えられるかどうかを判断する。
さらに,LLMの知識ベースを自動的かつ効率的に拡張する手法を提案する。
定性的かつ定量的な分析により,LLMの可制御性と信頼性が向上することが実証された。
関連論文リスト
- Small Models, Big Insights: Leveraging Slim Proxy Models To Decide When
and What to Retrieve for LLMs [64.0049955128318]
本稿では,スリムプロキシモデルを用いた大規模言語モデル (LLM) における知識不足を検知する新しい協調手法であるSlimPLMを提案する。
パラメータがはるかに少ないプロキシモデルを採用し、回答を回答としています。
ヒューリスティックな回答は、LLM内の既知の未知の知識と同様に、ユーザの質問に答えるために必要な知識を予測するのに使用される。
論文 参考訳(メタデータ) (2024-02-19T11:11:08Z) - KnowTuning: Knowledge-aware Fine-tuning for Large Language Models [86.72825837235344]
大規模言語モデル(LLM)の知識認識を明確かつ暗黙的に改善する知識認識ファインタニング(KnowTuning)手法を提案する。
我々は、LLMを訓練し、答えにおける知識の3倍を明示的に識別するために、明示的な知識認識生成ステージを考案する。
また,LLMを学習し,信頼できない知識と信頼できない知識を暗黙的に区別するために,暗黙的な知識認識比較ステージを提案する。
論文 参考訳(メタデータ) (2024-02-17T02:54:32Z) - When LLMs Meet Cunning Questions: A Fallacy Understanding Benchmark for
Large Language Models [62.42534500424585]
本稿では,人間が理解し易いが,理解し難い質問を含むファラッキー理解ベンチマークを提案する。
具体的には、FLUBが焦点を当てている不気味な質問は、主に、実際のインターネット環境から収集されたトリッキーでユーモラスで誤解を招く質問から成り立っている。
LLMの誤り理解能力を評価するために,FLUBベンチマークの難易度を高める3つのタスクを設計する。
論文 参考訳(メタデータ) (2024-02-16T22:12:53Z) - RECALL: A Benchmark for LLMs Robustness against External Counterfactual
Knowledge [69.79676144482792]
本研究の目的は,LLMが外部知識から信頼できる情報を識別する能力を評価することである。
本ベンチマークは,質問応答とテキスト生成という2つのタスクから構成される。
論文 参考訳(メタデータ) (2023-11-14T13:24:19Z) - Knowing What LLMs DO NOT Know: A Simple Yet Effective Self-Detection
Method [37.61193254658253]
大規模言語モデル(LLM)は自然言語処理(NLP)タスクにおいて大きな可能性を示している。
近年の文献では、LLMは断続的に非実効応答を生成する。
本研究では,LLM が知らない質問が非現実的な結果を生成する傾向にあることを検知する新たな自己検出手法を提案する。
論文 参考訳(メタデータ) (2023-10-27T06:22:14Z) - Knowledge Solver: Teaching LLMs to Search for Domain Knowledge from
Knowledge Graphs [19.0797968186656]
大規模言語モデル(LLM)は汎用的であり、その創発的能力と一般化性のために異なるタスクを解くことができる。
以前の研究では、グラフニューラルネットワーク(GNN)のような追加モジュールは、外部の知識ベースから取得した知識に基づいて訓練されている。
論文 参考訳(メタデータ) (2023-09-06T15:55:01Z) - Investigating the Factual Knowledge Boundary of Large Language Models
with Retrieval Augmentation [91.30946119104111]
大規模言語モデル(LLM)は,質問に応答する能力に対して,波及しない自信を持っていることを示す。
検索の強化は、LLMの知識境界に対する認識を高める効果的なアプローチであることが証明されている。
また, LLM は, 回答の定式化に際し, 提案した検索結果に依存する傾向が認められた。
論文 参考訳(メタデータ) (2023-07-20T16:46:10Z) - Check Your Facts and Try Again: Improving Large Language Models with
External Knowledge and Automated Feedback [127.75419038610455]
大規模言語モデル(LLM)は、ダウンストリームタスクの多くに対して、人間のような、流動的な応答を生成することができる。
本稿では,プラグ・アンド・プレイモジュールのセットでブラックボックスのLSMを増強するLSM-Augmenterシステムを提案する。
論文 参考訳(メタデータ) (2023-02-24T18:48:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。