論文の概要: KAG: Boosting LLMs in Professional Domains via Knowledge Augmented Generation

• arxiv url: http://arxiv.org/abs/2409.13731v2
• Date: Thu, 26 Sep 2024 16:34:35 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-07 05:35:28.605789
• Title: KAG: Boosting LLMs in Professional Domains via Knowledge Augmented Generation
• Title（参考訳）: KAG:知識強化世代によるプロフェッショナルドメインにおけるLLMの強化
• Authors: Lei Liang, Mengshu Sun, Zhengke Gui, Zhongshu Zhu, Zhouyu Jiang, Ling Zhong, Yuan Qu, Peilong Zhao, Zhongpu Bo, Jin Yang, Huaidong Xiong, Lin Yuan, Jun Xu, Zaoyang Wang, Zhiqiang Zhang, Wen Zhang, Huajun Chen, Wenguang Chen, Jun Zhou,
• Abstract要約: 我々は、Knowledge Augmented Generation(KAG)と呼ばれる専門的なドメイン知識サービスフレームワークを紹介します。 KAGは、知識グラフ(KG)とベクトル検索の利点をフル活用する動機によって、これらの課題に対処するために設計されている。 我々は,E-Government Q&AやE-Health Q&Aを含む,Ant Groupの2つの専門知識Q&AタスクにKAGを適用し,RAG手法と比較して,プロ主義の大幅な改善を実現した。
• 参考スコア（独自算出の注目度）: 32.026821365466475
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The recently developed retrieval-augmented generation (RAG) technology has enabled the efficient construction of domain-specific applications. However, it also has limitations, including the gap between vector similarity and the relevance of knowledge reasoning, as well as insensitivity to knowledge logic, such as numerical values, temporal relations, expert rules, and others, which hinder the effectiveness of professional knowledge services. In this work, we introduce a professional domain knowledge service framework called Knowledge Augmented Generation (KAG). KAG is designed to address the aforementioned challenges with the motivation of making full use of the advantages of knowledge graph(KG) and vector retrieval, and to improve generation and reasoning performance by bidirectionally enhancing large language models (LLMs) and KGs through five key aspects: (1) LLM-friendly knowledge representation, (2) mutual-indexing between knowledge graphs and original chunks, (3) logical-form-guided hybrid reasoning engine, (4) knowledge alignment with semantic reasoning, and (5) model capability enhancement for KAG. We compared KAG with existing RAG methods in multihop question answering and found that it significantly outperforms state-of-theart methods, achieving a relative improvement of 19.6% on 2wiki and 33.5% on hotpotQA in terms of F1 score. We have successfully applied KAG to two professional knowledge Q&A tasks of Ant Group, including E-Government Q&A and E-Health Q&A, achieving significant improvement in professionalism compared to RAG methods.
• Abstract（参考訳）: 最近開発されたRAG技術により、ドメイン固有のアプリケーションの効率的な構築が可能になった。 しかし、ベクトル類似性と知識推論の関連性のギャップや、数値値や時間的関係、専門家のルールなどの知識論理への敏感さなど、専門知識サービスの有効性を損なう制限もある。 本稿では,知識強化生成(KAG)と呼ばれる専門的なドメイン知識サービスフレームワークを紹介する。 KAGは、知識グラフ(KG)とベクトル検索の利点をフル活用した上で、大きな言語モデル(LLM)とKGを双方向に拡張することで、生成と推論性能を向上させる動機付けとして、(1)LLMフレンドリな知識表現、(2)知識グラフと元のチャンク間の相互インデックス化、(3)論理形式誘導ハイブリッド推論エンジン、(4)意味推論との知識アライメント、(5)KAGのモデル能力向上の5つの重要な側面を通して、上記の課題に対処するように設計されている。 KAGをマルチホップ質問応答における既存のRAG法と比較した結果,2wikiでは19.6%,ホットポットQAでは33.5%,最先端の手法では有意に優れていた。 我々は,E-Government Q&AやE-Health Q&Aを含む,Ant Groupの2つの専門知識Q&AタスクにKAGを適用し,RAG手法と比較して,プロ主義の大幅な改善を実現した。

関連論文リスト

• Unveiling and Consulting Core Experts in Retrieval-Augmented MoE-based LLMs [64.9693406713216]
  RAGシステムの有効性に寄与する内部メカニズムは未解明のままである。 実験の結果,複数のコアグループの専門家がRAG関連行動に主に関与していることが判明した。 本稿では,専門家の活性化を通じてRAGの効率性と有効性を高めるためのいくつかの戦略を提案する。
  論文  参考訳（メタデータ） (2024-10-20T16:08:54Z)
• GIVE: Structured Reasoning with Knowledge Graph Inspired Veracity Extrapolation [108.2008975785364]
  Graph Inspired Veracity Extrapolation (GIVE)は、パラメトリックメモリと非パラメトリックメモリを統合する新しい推論フレームワークである。 本手法は,ゴールド回答検索ではなく,専門家の問題解決に類似した論理的・段階的推論手法を提案する。
  論文  参考訳（メタデータ） (2024-10-11T03:05:06Z)
• A RAG Approach for Generating Competency Questions in Ontology Engineering [1.0044270899550196]
  LLM(Large Language Models)の出現により、このプロセスの自動化と強化が可能になった。 本稿では,LLMを用いてCQの自動生成を行うRAG(Research-augmented Generation)手法を提案する。 2つのドメインエンジニアリングタスクで GPT-4 を用いて実験を行い、ドメインの専門家が構築した地味な CQ と比較する。
  論文  参考訳（メタデータ） (2024-09-13T13:34:32Z)
• DuetRAG: Collaborative Retrieval-Augmented Generation [57.440772556318926]
  協調検索拡張生成フレームワークであるDuetRAGが提案されている。 ブートストラップの哲学はドメインフィニングとRAGモデルを同時に統合することである。
  論文  参考訳（メタデータ） (2024-05-12T09:48:28Z)
• IAG: Induction-Augmented Generation Framework for Answering Reasoning Questions [22.311234565170796]
  本稿では,帰納的知識と検索した文書の暗黙的推論を併用した誘導拡張生成(IAG)フレームワークを提案する。 IAG-GPT は GPT-3 が生成した知識を直接利用し、IAG-Student は GPT サービスへの依存を推測時に排除する。 実験の結果, IAGはRAGベースラインとChatGPTを2つのオープンドメインQAタスクで上回ることがわかった。
  論文  参考訳（メタデータ） (2023-11-30T09:48:51Z)
• Pay More Attention to Relation Exploration for Knowledge Base Question Answering [17.273836429397203]
  本稿では,知識ベースにおける関係を利用してエンティティ表現を強化する新しいフレームワークRE-KBQAを提案する。 CWQではF1スコアが40.5から46.3に、WebQSPでは62.8から68.5に5.8%向上した。
  論文  参考訳（メタデータ） (2023-05-03T13:48:30Z)
• FiTs: Fine-grained Two-stage Training for Knowledge-aware Question Answering [47.495991137191425]
  本稿では, KAQAシステム性能を向上させるための微細な2段階トレーニングフレームワーク (FiT) を提案する。 第1段階は、PLMとKGからの表現の整列を目標とし、それらの間のモダリティギャップを埋めることである。 第2段階はナレッジ・アウェア・ファインチューニングと呼ばれ、モデルの共同推論能力の向上を目的としている。
  論文  参考訳（メタデータ） (2023-02-23T06:25:51Z)
• Rainier: Reinforced Knowledge Introspector for Commonsense Question Answering [74.90418840431425]
  そこで,Rainier(Reinforced Knowledge Introspector,Reinforced Knowledge Introspector,Reinforced Knowledge Introspector)を提案する。 我々のアプローチは、GPT-3で生成された知識を模倣することから始まり、強化学習を通して独自の知識を生み出すことを学ぶ。 本研究は,GPT-3より桁違いに小さいモデルで生成した知識が,GPT-3から抽出した知識の質を超えうることを報告した最初の事例である。
  論文  参考訳（メタデータ） (2022-10-06T17:34:06Z)
• K-AID: Enhancing Pre-trained Language Models with Domain Knowledge for Question Answering [8.772466918885224]
  ドメイン知識を取得するための低コストな知識獲得プロセスを含む体系的アプローチであるK-AIDを提案する。 既存のK-PLMの大多数のようにエンティティ知識をキャプチャする代わりに、我々のアプローチはリレーショナル知識をキャプチャする。 筆者らは,Eコマース,政府,フィルム&TVの3分野から5つのテキスト分類タスクと3つのテキストマッチングタスクについて実験を行い,EコマースにおけるオンラインA/Bテストを実施した。
  論文  参考訳（メタデータ） (2021-09-22T07:19:08Z)
• QA-GNN: Reasoning with Language Models and Knowledge Graphs for Question Answering [122.84513233992422]
  学習済み言語モデル(LM)と知識グラフ(KG)の知識を用いて質問に答える問題に対処する新しいモデルであるQA-GNNを提案する。 既存のLMとLM+KGモデルに対する改善と、解釈可能で構造化された推論を行う能力を示しています。
  論文  参考訳（メタデータ） (2021-04-13T17:32:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。