論文の概要: KnowGPT: Knowledge Injection for Large Language Models
- arxiv url: http://arxiv.org/abs/2312.06185v4
- Date: Wed, 13 Mar 2024 07:35:18 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-14 17:58:34.633063
- Title: KnowGPT: Knowledge Injection for Large Language Models
- Title(参考訳): KnowGPT:大規模言語モデルのための知識注入
- Authors: Qinggang Zhang, Junnan Dong, Hao Chen, Daochen Zha, Zailiang Yu, Xiao
Huang
- Abstract要約: 我々は,ジェネレーティブ・大型言語モデル(LLM)のためのブラックボックス知識注入フレームワークであるKnowGPTを紹介した。
KnowGPTは、深い強化学習(RL)を活用して知識グラフ(KGs)から関連する知識を抽出し、マルチアーメッド帯域(MAB)を使用して各質問に最も適したプロンプトを構築する。
KnowGPTはChatGPTよりも平均23.7%改善し、GPT-4より平均2.9%改善した。
- 参考スコア(独自算出の注目度): 30.310481799206546
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Generative Large Language Models (LLMs), such as ChatGPT, offer interactive
APIs that can answer common questions at a human-expert level. However, these
models often give inaccurate or incorrect responses when faced with questions
requiring domain-specific or professional-specific knowledge not covered in
their training corpus. Furthermore, many state-of-the-art LLMs are not
open-source, making it challenging to inject knowledge with model APIs only. In
this work, we introduce KnowGPT, a black-box knowledge injection framework for
LLMs in question answering. KnowGPT leverages deep reinforcement learning (RL)
to extract relevant knowledge from Knowledge Graphs (KGs) and use Multi-Armed
Bandit (MAB) to construct the most suitable prompt for each question. Our
extensive experiments on three benchmark datasets showcase that KnowGPT
significantly enhances the existing methods. Notably, KnowGPT achieves an
average improvement of 23.7% over ChatGPT and an average improvement of 2.9%
over GPT-4. Additionally, KnowGPT attains a 91.6% accuracy on the OpenbookQA
official leaderboard, which is comparable to human-level performance.
- Abstract(参考訳): ChatGPTのようなジェネレーティブ・大型言語モデル(LLM)は、人間-専門家レベルで一般的な質問に答える対話型APIを提供する。
しかしながら、これらのモデルは、トレーニングコーパスにカバーされていないドメイン固有の知識や専門的な知識を必要とする質問に直面した時に、不正確な、または不正確な応答を与えることが多い。
さらに、最先端のLLMの多くはオープンソースではないため、モデルAPIでのみ知識を注入することは困難である。
本研究では,LLMのためのブラックボックス知識注入フレームワークであるKnowGPTを紹介する。
KnowGPTは、深い強化学習(RL)を活用して知識グラフ(KGs)から関連する知識を抽出し、マルチアーメッド帯域(MAB)を使用して各質問に最も適したプロンプトを構築する。
3つのベンチマークデータセットに関する広範な実験により、KnowGPTは既存の手法を大幅に強化することを示した。
特に、KnowGPTはChatGPTよりも平均23.7%改善し、GPT-4より平均2.9%改善した。
さらに、KnowGPTはOpenbookQAの公式リーダーボードで91.6%の精度を達成している。
関連論文リスト
- Enhancing Large Language Models with Pseudo- and Multisource- Knowledge
Graphs for Open-ended Question Answering [23.88063210973303]
Pseudo-Graph GenerationとAtomic Knowledge Verificationを組み合わせたフレームワークを提案する。
ベースラインと比較して、オープンエンド質問に対するROUGE-Lスコアの11.5の最小改善が得られる。
論文 参考訳(メタデータ) (2024-02-15T12:20:02Z) - Biomedical knowledge graph-enhanced prompt generation for large language
models [1.7031448315593074]
大規模言語モデル(LLM)はAIの進歩を前例のない速度で加速させてきたが、バイオメディシンのような知識集約ドメインでは依然として課題に直面している。
本稿では,既存の知識に根ざした有意義なバイオメディカルテキストを生成するために,タスク非依存の知識グラフに基づく検索用RAG(Retrieval Augmented Generation)フレームワークを提案する。
論文 参考訳(メタデータ) (2023-11-29T03:07:00Z) - Evaluating the Knowledge Base Completion Potential of GPT [29.75708908603862]
GPT-3では、Wikidataを2700万の事実を90%の精度で拡張することができる。
適切なしきい値設定により、GPT-3 は Wikidata を 90% の精度で 2700万 の事実で拡張できることを示す。
論文 参考訳(メタデータ) (2023-10-23T10:15:13Z) - Systematic Assessment of Factual Knowledge in Large Language Models [48.75961313441549]
本稿では,知識グラフ(KG)を活用して,大規模言語モデル(LLM)の事実知識を評価する枠組みを提案する。
本フレームワークは,所定のKGに格納された事実から質問の集合と期待された回答を自動的に生成し,これらの質問に答える際のLCMの精度を評価する。
論文 参考訳(メタデータ) (2023-10-18T00:20:50Z) - Self-Knowledge Guided Retrieval Augmentation for Large Language Models [59.771098292611846]
大規模言語モデル(LLM)はタスク固有の微調整なしで優れた性能を示す。
検索に基づく手法は、非パラメトリックな世界知識を提供し、質問応答のようなタスクのパフォーマンスを向上させることができる。
SKR(Self-Knowledge guided Retrieval augmentation)は、LLMがこれまで遭遇した質問を参照できるようにする、シンプルで効果的な方法である。
論文 参考訳(メタデータ) (2023-10-08T04:22:33Z) - KnowledGPT: Enhancing Large Language Models with Retrieval and Storage
Access on Knowledge Bases [55.942342665806656]
KnowledGPTは、様々な知識ベースで大きな言語モデルをブリッジするための包括的なフレームワークである。
検索プロセスでは思考プロンプトプログラムを使用し,KBの検索言語をコード形式で生成する。
KnowledGPTは、個々のユーザ要求に合わせて、知識をパーソナライズされたKBに格納する機能を提供する。
論文 参考訳(メタデータ) (2023-08-17T13:07:00Z) - ExpertPrompting: Instructing Large Language Models to be Distinguished
Experts [93.58012324415762]
ExpertPromptingは、著名な専門家として答えるために、大きな言語モデルの可能性を秘めている。
我々はGPT-3.5を使って新しい命令追跡データを作成し、ExpertLLaMAと呼ばれる競合するオープンソースのチャットアシスタントを訓練する。
論文 参考訳(メタデータ) (2023-05-24T03:51:31Z) - Knowledge Rumination for Pre-trained Language Models [77.55888291165462]
本稿では,学習前の言語モデルが外部コーパスから検索することなく,関連する潜在知識を活用できるようにするための,Knowledge Ruminationと呼ばれる新しいパラダイムを提案する。
本稿では,RoBERTa,DeBERTa,GPT-3などの言語モデルに適用する。
論文 参考訳(メタデータ) (2023-05-15T15:47:09Z) - Augmented Large Language Models with Parametric Knowledge Guiding [72.71468058502228]
大規模言語モデル(LLM)は、言語理解と生成能力に優れた自然言語処理(NLP)を備えています。
それらのパフォーマンスは、関連するデータへの限られた露出のために専門的な知識を必要とするドメイン固有のタスクに最適であるかもしれない。
本稿では,LLMに関連知識にアクセスするための知識誘導モジュールを組み込んだ新しいPKGフレームワークを提案する。
論文 参考訳(メタデータ) (2023-05-08T15:05:16Z) - Can ChatGPT Replace Traditional KBQA Models? An In-depth Analysis of the
Question Answering Performance of the GPT LLM Family [37.0850960055161]
ChatGPTは、ウィキペディアのような知識資源をカバーする強力な大規模言語モデル(LLM)であり、自然言語による質問応答をサポートする。
8つの実世界のKBベースの複合質問応答データセット上でChatGPTとそのLLMのファミリーを評価した。
論文 参考訳(メタデータ) (2023-03-14T15:46:28Z) - Dr ChatGPT, tell me what I want to hear: How prompt knowledge impacts
health answer correctness [27.60133652134339]
ChatGPTのような生成的事前学習言語モデルは、事前学習フェーズ中にモデルが観察するパラメータの知識を符号化する。
この知識は、ユーザがプロンプトで指定したタスクに対処するために、推論で使用される。
提案手法では, モデルに符号化された知識を逆転させることが可能であることを示し, 実験では, 答えの正しさを損なうことが示唆された。
論文 参考訳(メタデータ) (2023-02-23T22:14:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。