論文の概要: Way to Specialist: Closing Loop Between Specialized LLM and Evolving Domain Knowledge Graph

• arxiv url: http://arxiv.org/abs/2411.19064v1
• Date: Thu, 28 Nov 2024 11:24:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-02 15:22:31.307516
• Title: Way to Specialist: Closing Loop Between Specialized LLM and Evolving Domain Knowledge Graph
• Title（参考訳）: スペシャリストへの道:特殊LLMとドメイン知識グラフの進化のループを閉じる
• Authors: Yutong Zhang, Lixing Chen, Shenghong Li, Nan Cao, Yang Shi, Jiaxin Ding, Zhe Qu, Pan Zhou, Yang Bai,
• Abstract要約: Way-to-Specialist(WTS)フレームワークは、知識グラフによる検索拡張生成を相乗化する。 LLM$circlearrowright$KG"パラダイムは、特殊LLMとドメイン知識グラフの双方向化を実現する。
• 参考スコア（独自算出の注目度）: 66.98553434041708
• License:
• Abstract: Large language models (LLMs) have demonstrated exceptional performance across a wide variety of domains. Nonetheless, generalist LLMs continue to fall short in reasoning tasks necessitating specialized knowledge. Prior investigations into specialized LLMs focused on domain-specific training, which entails substantial efforts in domain data acquisition and model parameter fine-tuning. To address these challenges, this paper proposes the Way-to-Specialist (WTS) framework, which synergizes retrieval-augmented generation with knowledge graphs (KGs) to enhance the specialized capability of LLMs in the absence of specialized training. In distinction to existing paradigms that merely utilize external knowledge from general KGs or static domain KGs to prompt LLM for enhanced domain-specific reasoning, WTS proposes an innovative "LLM$\circlearrowright$KG" paradigm, which achieves bidirectional enhancement between specialized LLM and domain knowledge graph (DKG). The proposed paradigm encompasses two closely coupled components: the DKG-Augmented LLM and the LLM-Assisted DKG Evolution. The former retrieves question-relevant domain knowledge from DKG and uses it to prompt LLM to enhance the reasoning capability for domain-specific tasks; the latter leverages LLM to generate new domain knowledge from processed tasks and use it to evolve DKG. WTS closes the loop between DKG-Augmented LLM and LLM-Assisted DKG Evolution, enabling continuous improvement in the domain specialization as it progressively answers and learns from domain-specific questions. We validate the performance of WTS on 6 datasets spanning 5 domains. The experimental results show that WTS surpasses the previous SOTA in 4 specialized domains and achieves a maximum performance improvement of 11.3%.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、様々な領域で例外的な性能を示している。 それでも、一般のLLMは専門知識を必要とするタスクの推論において不足し続けている。 専門LLMに関する以前の調査では、ドメイン固有のトレーニングに焦点を当てており、ドメインデータ取得とモデルパラメータの微調整に多大な努力を払っている。 これらの課題に対処するために,知識グラフ(KG)と検索強化生成を相乗化するWTS(Way-to-Specialist)フレームワークを提案する。 一般のKGや静的ドメインKGから外部知識を単に活用するだけでドメイン固有推論を促進させる既存のパラダイムとは違い、WTSは特殊なLLMとドメイン知識グラフ(DKG)の双方向化を実現する革新的な「LLM$\circlearrowright$KG」パラダイムを提案する。 このパラダイムは、DKG-Augmented LLMとLLM-Assisted DKG Evolutionの2つの密接に結合したコンポーネントを含んでいる。 前者はDKGから質問関連ドメイン知識を取得し、LLMにドメイン固有のタスクの推論能力を高めるよう促すのに利用し、後者はLLMを利用して処理されたタスクから新しいドメイン知識を生成し、DKGを進化させる。 WTS は DKG-Augmented LLM と LLM-Assisted DKG Evolution のループを閉じ、ドメイン特化の継続的な改善を可能にする。 5つの領域にまたがる6つのデータセット上でのWTSの性能を検証する。 実験の結果、WTSは4つの特殊ドメインのSOTAを上回り、最大性能は11.3%向上した。

関連論文リスト

• From Generalist to Specialist: Improving Large Language Models for Medical Physics Using ARCoT [0.0]
  ARCoT(Adaptable Retrieval-based Chain of Thought)は、大規模言語モデル(LLM)のドメイン固有精度を高めるために設計されたフレームワークである。 本モデルでは, 標準LLMよりも優れ, 平均人体性能が68%向上した。
  論文  参考訳（メタデータ） (2024-05-17T18:31:38Z)
• BLADE: Enhancing Black-box Large Language Models with Small Domain-Specific Models [56.89958793648104]
  大規模言語モデル(LLM)は多用途であり、多様なタスクに対処することができる。 従来のアプローチでは、ドメイン固有のデータによる継続的な事前トレーニングを行うか、一般的なLLMをサポートするために検索拡張を採用する。 BLADEと呼ばれる新しいフレームワークを提案する。このフレームワークは、小さなDomain-spEcificモデルでブラックボックスのLArge言語モデルを拡張する。
  論文  参考訳（メタデータ） (2024-03-27T08:57:21Z)
• PANDA: Preference Adaptation for Enhancing Domain-Specific Abilities of LLMs [49.32067576992511]
  大規模言語モデルは、しばしばドメイン固有の最先端モデルによって達成されるパフォーマンスに欠ける。 LLMのドメイン固有の機能を強化する1つの潜在的アプローチは、対応するデータセットを使用してそれらを微調整することである。 LLM(PANDA)のドメイン固有能力を高めるための優先度適応法を提案する。 実験の結果,PANDA はテキスト分類や対話型意思決定タスクにおいて LLM のドメイン固有性を大幅に向上させることがわかった。
  論文  参考訳（メタデータ） (2024-02-20T09:02:55Z)
• A Self-enhancement Approach for Domain-specific Chatbot Training via Knowledge Mining and Digest [62.63606958140248]
  大規模言語モデル(LLM)は、特定のドメインで複雑な知識要求クエリを扱う際に、しばしば困難に直面する。 本稿では、ドメイン固有のテキストソースから関連知識を効果的に抽出し、LLMを強化する新しいアプローチを提案する。 我々は知識マイナー、すなわちLLMinerを訓練し、関連する文書から質問応答対を自律的に抽出する。
  論文  参考訳（メタデータ） (2023-11-17T16:09:10Z)
• Knowledge Plugins: Enhancing Large Language Models for Domain-Specific Recommendations [50.81844184210381]
  本稿では,大規模言語モデルをDOmain固有のKnowledgEで拡張し,実践的アプリケーション,すなわちDOKEの性能を向上させるためのパラダイムを提案する。 このパラダイムはドメイン知識抽出器に依存し,1)タスクに効果的な知識を準備すること,2)特定のサンプルごとに知識を選択すること,3)LLMで理解可能な方法で知識を表現すること,の3つのステップで動作する。
  論文  参考訳（メタデータ） (2023-11-16T07:09:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。