論文の概要: Knowledge Plugins: Enhancing Large Language Models for Domain-Specific
Recommendations
- arxiv url: http://arxiv.org/abs/2311.10779v1
- Date: Thu, 16 Nov 2023 07:09:38 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-22 14:37:44.200621
- Title: Knowledge Plugins: Enhancing Large Language Models for Domain-Specific
Recommendations
- Title(参考訳): 知識プラグイン:ドメイン特化レコメンデーションのための大規模言語モデルの強化
- Authors: Jing Yao, Wei Xu, Jianxun Lian, Xiting Wang, Xiaoyuan Yi and Xing Xie
- Abstract要約: 本稿では,大規模言語モデルをDOmain固有のKnowledgEで拡張し,実践的アプリケーション,すなわちDOKEの性能を向上させるためのパラダイムを提案する。
このパラダイムはドメイン知識抽出器に依存し,1)タスクに効果的な知識を準備すること,2)特定のサンプルごとに知識を選択すること,3)LLMで理解可能な方法で知識を表現すること,の3つのステップで動作する。
- 参考スコア(独自算出の注目度): 50.81844184210381
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The significant progress of large language models (LLMs) provides a promising
opportunity to build human-like systems for various practical applications.
However, when applied to specific task domains, an LLM pre-trained on a
general-purpose corpus may exhibit a deficit or inadequacy in two types of
domain-specific knowledge. One is a comprehensive set of domain data that is
typically large-scale and continuously evolving. The other is specific working
patterns of this domain reflected in the data. The absence or inadequacy of
such knowledge impacts the performance of the LLM. In this paper, we propose a
general paradigm that augments LLMs with DOmain-specific KnowledgE to enhance
their performance on practical applications, namely DOKE. This paradigm relies
on a domain knowledge extractor, working in three steps: 1) preparing effective
knowledge for the task; 2) selecting the knowledge for each specific sample;
and 3) expressing the knowledge in an LLM-understandable way. Then, the
extracted knowledge is incorporated through prompts, without any computational
cost of model fine-tuning. We instantiate the general paradigm on a widespread
application, i.e. recommender systems, where critical item attributes and
collaborative filtering signals are incorporated. Experimental results
demonstrate that DOKE can substantially improve the performance of LLMs in
specific domains.
- Abstract(参考訳): 大規模言語モデル(LLM)の大幅な進歩は、様々な実用アプリケーションのための人間のようなシステムを構築するための有望な機会を提供する。
しかし、特定のタスク領域に適用される場合、汎用コーパスで事前訓練されたllmは、2種類のドメイン固有の知識において不足または不足を示す可能性がある。
ひとつは包括的なドメインデータの集合で、通常は大規模で継続的に進化する。
もうひとつは、データに反映されたこのドメインの特定のワーキングパターンです。
このような知識の欠如や不十分さはLLMのパフォーマンスに影響を及ぼす。
本稿では,DOmain-specific KnowledgE を用いて LLM を拡張し,その実用性,すなわち DOKE の性能を向上させるための一般化パラダイムを提案する。
このパラダイムはドメイン知識抽出に頼り、3つのステップで作業します。
1) 業務に有効な知識を準備すること
2) 特定のサンプルごとに知識を選択すること,及び
3) LLMで理解可能な方法で知識を表現すること。
そして、抽出した知識は、モデル微調整の計算コストを伴わず、プロンプトを通じて組み込まれる。
批判的項目属性と協調的フィルタリング信号が組み込まれている,広範なアプリケーション,すなわちレコメンダシステム上で,一般的なパラダイムをインスタンス化する。
実験により,DOKEは特定の領域におけるLLMの性能を大幅に向上できることが示された。
関連論文リスト
- FAC$^2$E: Better Understanding Large Language Model Capabilities by
Dissociating Language and Cognition [57.747888532651]
大規模言語モデル(LLM)は、主に様々なテキスト理解および生成タスクにおける全体的なパフォーマンスによって評価される。
FAC$2$E, FAC$2$Eについて述べる。
論文 参考訳(メタデータ) (2024-02-29T21:05:37Z) - PANDA: Preference Adaptation for Enhancing Domain-Specific Abilities of
LLMs [51.17542331993448]
大規模言語モデルは、しばしばドメイン固有の最先端モデルによって達成されるパフォーマンスに欠ける。
LLMのドメイン固有の機能を強化する1つの潜在的アプローチは、対応するデータセットを使用してそれらを微調整することである。
LLM(PANDA)のドメイン固有能力を高めるための優先度適応法を提案する。
実験の結果,PANDA はテキスト分類や対話型意思決定タスクにおいて LLM のドメイン固有性を大幅に向上させることがわかった。
論文 参考訳(メタデータ) (2024-02-20T09:02:55Z) - Tag-LLM: Repurposing General-Purpose LLMs for Specialized Domains [10.299618586418761]
大規模言語モデル(LLM)は、自然言語の理解と生成に顕著な能力を示した。
本研究は、汎用LLMを特殊領域の効率的なタスク解決器に再利用する方法を探求する。
論文 参考訳(メタデータ) (2024-02-06T20:11:54Z) - Generative Multi-Modal Knowledge Retrieval with Large Language Models [75.70313858231833]
マルチモーダル知識検索のための革新的なエンドツーエンド生成フレームワークを提案する。
我々のフレームワークは,大規模言語モデル(LLM)が仮想知識ベースとして効果的に機能するという事実を生かしている。
強いベースラインと比較すると,すべての評価指標に対して3.0%から14.6%の大幅な改善が見られた。
論文 参考訳(メタデータ) (2024-01-16T08:44:29Z) - Supervised Knowledge Makes Large Language Models Better In-context
Learners [97.71733265438044]
大規模言語モデル(LLM)は、素早い工学を通して、文脈内学習能力の出現を示す。
自然言語理解と質問応答におけるLLMの一般化性と事実性の向上という課題は、まだ未解決のままである。
本研究では, LLM の信頼性を高める枠組みを提案する。1) 分布外データの一般化,2) 差別モデルによる LLM のメリットの解明,3) 生成タスクにおける幻覚の最小化。
論文 参考訳(メタデータ) (2023-12-26T07:24:46Z) - On the Effectiveness of Large Language Models in Domain-Specific Code
Generation [23.33794049723382]
ChatGPTのような大規模言語モデル(LLM)は、コード生成において顕著な能力を示している。
本稿では,ドメイン固有コード生成におけるLLMの詳細な研究を行う。
コード生成プロセスにAPI知識を効率的に組み込む方法について検討する。
論文 参考訳(メタデータ) (2023-12-04T05:41:02Z) - Knowledge Solver: Teaching LLMs to Search for Domain Knowledge from
Knowledge Graphs [19.0797968186656]
大規模言語モデル(LLM)は汎用的であり、その創発的能力と一般化性のために異なるタスクを解くことができる。
以前の研究では、グラフニューラルネットワーク(GNN)のような追加モジュールは、外部の知識ベースから取得した知識に基づいて訓練されている。
論文 参考訳(メタデータ) (2023-09-06T15:55:01Z) - Domain Specialization as the Key to Make Large Language Models
Disruptive: A Comprehensive Survey [90.81725789120534]
大規模言語モデル(LLM)は自然言語処理(NLP)の分野を著しく進歩させた。
広範囲のアプリケーションに対して、非常に有用でタスクに依存しない基盤を提供する。
しかし、特定の領域における洗練された問題を解決するために直接LLMを適用することは、多くのハードルを満たす。
論文 参考訳(メタデータ) (2023-05-30T03:00:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。