論文の概要: Augmented Large Language Models with Parametric Knowledge Guiding
- arxiv url: http://arxiv.org/abs/2305.04757v1
- Date: Mon, 8 May 2023 15:05:16 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-09 13:59:35.094758
- Title: Augmented Large Language Models with Parametric Knowledge Guiding
- Title(参考訳): パラメトリック知識誘導による拡張型大規模言語モデル
- Authors: Ziyang Luo, Can Xu, Pu Zhao, Xiubo Geng, Chongyang Tao, Jing Ma,
Qingwei Lin, Daxin Jiang
- Abstract要約: 大規模言語モデル(LLM)は、言語理解と生成能力に優れた自然言語処理(NLP)を備えています。
しかし、それらのパフォーマンスは、ドメイン固有の知識や語彙に限られているため、長い尾やドメイン固有のタスクに最適であるかもしれない。
本稿では,PKG(Parametric Knowledge Guiding)フレームワークを提案する。
- 参考スコア(独自算出の注目度): 72.71468058502228
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large Language Models (LLMs) have significantly advanced natural language
processing (NLP) with their impressive language understanding and generation
capabilities. However, their performance may be suboptimal for long-tail or
domain-specific tasks due to limited exposure to domain-specific knowledge and
vocabulary. Additionally, the lack of transparency of most state-of-the-art
(SOTA) LLMs, which can only be accessed via APIs, impedes further fine-tuning
with custom data. Moreover, data privacy is a significant concern. To address
these challenges, we propose the novel Parametric Knowledge Guiding (PKG)
framework, which equips LLMs with a knowledge-guiding module to access relevant
knowledge at runtime without altering the LLMs' parameters. Our PKG is based on
open-source "white-box" small language models, allowing offline storage of any
knowledge that LLMs require. We demonstrate that our PKG framework can enhance
the performance of "black-box" LLMs on a range of long-tail and domain-specific
downstream tasks requiring factual, tabular, medical, and multimodal knowledge.
- Abstract(参考訳): 大規模言語モデル(LLM)は、言語理解と生成能力に優れた自然言語処理(NLP)を備えている。
しかし、それらのパフォーマンスは、ドメイン固有の知識や語彙に限られているため、長い尾やドメイン固有のタスクに最適である。
さらに、API経由でのみアクセス可能なほとんどのSOTA (State-of-the-art) LLMの透明性の欠如は、カスタムデータによるさらなる微調整を妨げる。
さらに、データのプライバシも大きな懸念事項です。
これらの課題に対処するために,LLMのパラメータを変更することなく,実行時に関連する知識にアクセスするための知識誘導モジュールを備えたPKG(Parametric Knowledge Guiding)フレームワークを提案する。
私たちのPKGはオープンソースの"ホワイトボックス"の小さな言語モデルに基づいており、LCMが必要とする知識をオフラインで保存できます。
我々のPKGフレームワークは、現実的、表形式的、医療的、マルチモーダルな知識を必要とする、長い尾とドメイン固有の下流タスクにおける「ブラックボックス」LLMの性能を向上させることができることを示す。
関連論文リスト
- PANDA: Preference Adaptation for Enhancing Domain-Specific Abilities of
LLMs [51.17542331993448]
大規模言語モデルは、しばしばドメイン固有の最先端モデルによって達成されるパフォーマンスに欠ける。
LLMのドメイン固有の機能を強化する1つの潜在的アプローチは、対応するデータセットを使用してそれらを微調整することである。
LLM(PANDA)のドメイン固有能力を高めるための優先度適応法を提案する。
実験の結果,PANDA はテキスト分類や対話型意思決定タスクにおいて LLM のドメイン固有性を大幅に向上させることがわかった。
論文 参考訳(メタデータ) (2024-02-20T09:02:55Z) - Unmemorization in Large Language Models via Self-Distillation and
Deliberate Imagination [58.36408867180233]
大規模言語モデル(LLM)は、プライバシー侵害や機密データの不要な露出といった重要な問題に苦慮している。
我々は、LLMアンラーニングの文脈において、意図的な想像力という新しいアプローチを導入する。
本研究は,異なるモデルとサイズにまたがるこのアプローチの有用性を示し,パラメータ効率の良い微調整を行った。
論文 参考訳(メタデータ) (2024-02-15T16:21:14Z) - UltraLink: An Open-Source Knowledge-Enhanced Multilingual Supervised
Fine-tuning Dataset [69.33424532827608]
オープンソースの大規模言語モデル(LLM)は、様々な分野において大きな強みを持っている。
本研究では,オープンソースの多言語教師付き微調整データセットを構築する。
結果として得られたUltraLinkデータセットは、5つの言語にわたる約100万のサンプルで構成されている。
論文 参考訳(メタデータ) (2024-02-07T05:05:53Z) - Supervised Knowledge Makes Large Language Models Better In-context
Learners [97.71733265438044]
大規模言語モデル(LLM)は、素早い工学を通して、文脈内学習能力の出現を示す。
自然言語理解と質問応答におけるLLMの一般化性と事実性の向上という課題は、まだ未解決のままである。
本研究では, LLM の信頼性を高める枠組みを提案する。1) 分布外データの一般化,2) 差別モデルによる LLM のメリットの解明,3) 生成タスクにおける幻覚の最小化。
論文 参考訳(メタデータ) (2023-12-26T07:24:46Z) - Mutual Enhancement of Large and Small Language Models with Cross-Silo
Knowledge Transfer [27.63746419563747]
大規模言語モデル (LLM) には幅広い知識が与えられているが、そのタスク固有の性能は、しばしば準最適である。
タスク固有のデータで微調整 LLM を必要とするが、プライバシー上の懸念からアクセスできない可能性がある。
本研究では,より小さな言語モデル (SLM) でLLMを強化し,クライアント上でプライベートなタスク固有データを用いて学習する手法を提案する。
論文 参考訳(メタデータ) (2023-12-10T09:52:32Z) - Towards Vision Enhancing LLMs: Empowering Multimodal Knowledge Storage
and Sharing in LLMs [72.49064988035126]
マルチモーダル大規模言語モデル(MLLM)の強化を目的としたMKS2という手法を提案する。
具体的には、LLMの内部ブロックに組み込まれたコンポーネントであるModular Visual Memoryを導入し、オープンワールドの視覚情報を効率的に保存するように設計されている。
実験により,MKS2は物理的・常識的な知識を必要とする文脈において,LLMの推論能力を大幅に増強することが示された。
論文 参考訳(メタデータ) (2023-11-27T12:29:20Z) - Knowledge Solver: Teaching LLMs to Search for Domain Knowledge from
Knowledge Graphs [19.0797968186656]
大規模言語モデル(LLM)は汎用的であり、その創発的能力と一般化性のために異なるタスクを解くことができる。
以前の研究では、グラフニューラルネットワーク(GNN)のような追加モジュールは、外部の知識ベースから取得した知識に基づいて訓練されている。
論文 参考訳(メタデータ) (2023-09-06T15:55:01Z) - Give Us the Facts: Enhancing Large Language Models with Knowledge Graphs
for Fact-aware Language Modeling [34.59678835272862]
代表的大規模言語モデル(LLM)であるChatGPTは、その強力な創発的能力のために注目されている。
本稿では,知識グラフ強化大言語モデル(KGLLM)によるLLMの強化を提案する。
KGLLMはLLMの事実推論能力を高めるソリューションを提供し、LLM研究のための新たな道を開く。
論文 参考訳(メタデータ) (2023-06-20T12:21:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。