論文の概要: Knowledge Augmented Finetuning Matters in both RAG and Agent Based Dialog Systems

• arxiv url: http://arxiv.org/abs/2506.22852v1
• Date: Sat, 28 Jun 2025 11:26:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-01 21:27:53.60261
• Title: Knowledge Augmented Finetuning Matters in both RAG and Agent Based Dialog Systems
• Title（参考訳）: RAGとエージェントベースの対話システムにおける知識強化ファインタニング
• Authors: Yucheng Cai, Yuxuan Wu, Yi Huang, Junlan Feng, Zhijian Ou,
• Abstract要約: 大規模言語モデル (LLM) はダイアログシステムに適用されている。 LLMは知識集約的なシナリオでエラーを起こしやすい。 検索拡張生成(RAG)とエージェントに基づくアプローチが現われ,実際の精度が向上した。
• 参考スコア（独自算出の注目度）: 18.83666259380603
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models (LLMs) have recently been applied to dialog systems. Despite making progress, LLMs are prone to errors in knowledge-intensive scenarios. Recently, approaches based on retrieval augmented generation (RAG) and agent have emerged to improve the factual accuracy by enhancing the LLMs with knowledge retrieved from external knowledge bases (KBs). This is mostly implemented by prompting the LLMs with instructions, examples and the retrieved knowledge. However, LLMs may have difficulty using the retrieved knowledge effectively for response generation, because they are not well trained to do such generation for specific domains. To mitigate this problem, we propose to finetune the LLMs in the RAG-based and agent-based systems with domain-specific data, together with domain-specific external knowledge, which is called knowledge augmented finetuning (KAFT). We base our study on the MobileCS2 dataset, a real-life customer service dialog dataset that features intensive knowledge interactions, to systematically compare the prompting and KAFT techniques in the RAG-based and agent-based systems. Experiment results show that KAFT substantially surpasses prompting in both RAG and agent systems, particularly in terms of factual accuracy. To the best of our knowledge, this paper represents the first solid empirical work to investigate the KAFT idea.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、最近ダイアログシステムに適用されている。 進歩しているにもかかわらず、LLMは知識集約的なシナリオでエラーを起こしやすい。 近年,外部知識ベース (KB) から取得した知識を用いて LLM を強化し,現実の精度を向上させるために,検索拡張生成 (RAG) とエージェントに基づくアプローチが出現している。 これは主に、LLMに命令、例、検索した知識を知らせることによって実装されている。 しかし、LLMは特定のドメインに対してそのような生成を行うのに十分な訓練を受けていないため、検索した知識を応答生成に効果的に利用するのが困難である可能性がある。 この問題を軽減するため,ドメイン固有データを用いたRAGベースおよびエージェントベースシステムにおけるLLMの微調整と,知識拡張微調整(英語版)(KAFT)と呼ばれるドメイン固有外部知識を提案する。 我々は、RAGベースおよびエージェントベースシステムにおけるプロンプト技術とKAFT技術を体系的に比較するために、集中的な知識インタラクションを特徴とする実生活顧客サービスダイアログデータセットであるMobileCS2データセットをベースとした。 実験結果から, KAFTはRAGおよびエージェントシステムにおいて, 特に実測精度において, プロンプトをかなり上回っていることが明らかとなった。 我々の知る限り、本論文はKAFTのアイデアを調査する最初の確固たる実証研究である。

関連論文リスト

• Unveiling Knowledge Utilization Mechanisms in LLM-based Retrieval-Augmented Generation [77.10390725623125]
  検索強化世代(RAG)は知識範囲の拡大に広く利用されている。 RAGは、オープンドメインの質問応答のような知識集約的なタスクを約束しているので、複雑なタスクやインテリジェントアシスタントへの幅広い応用は、その実用性をさらに進歩させてきた。 本稿では、RAGが内部(パラメトリック)知識と外部(検索)知識を統合する本質的なメカニズムを体系的に検討する。
  論文  参考訳（メタデータ） (2025-05-17T13:13:13Z)
• Towards Knowledge Checking in Retrieval-augmented Generation: A Representation Perspective [48.40768048080928]
  Retrieval-Augmented Generation (RAG) システムは,Large Language Models (LLM) の性能向上を約束している。 本研究の目的は,RAGシステムにおける知識チェックに関する体系的研究を提供することである。
  論文  参考訳（メタデータ） (2024-11-21T20:39:13Z)
• WeKnow-RAG: An Adaptive Approach for Retrieval-Augmented Generation Integrating Web Search and Knowledge Graphs [10.380692079063467]
  本稿では,Web検索と知識グラフを統合したWeKnow-RAGを提案する。 まず,知識グラフの構造化表現と高次ベクトル検索の柔軟性を組み合わせることで,LLM応答の精度と信頼性を向上させる。 提案手法は,情報検索の効率と精度を効果的にバランスさせ,全体の検索プロセスを改善する。
  論文  参考訳（メタデータ） (2024-08-14T15:19:16Z)
• A Survey on RAG Meeting LLMs: Towards Retrieval-Augmented Large Language Models [71.25225058845324]
  大規模言語モデル(LLM)は、言語理解と生成において革命的な能力を示している。 Retrieval-Augmented Generation (RAG)は、信頼性と最新の外部知識を提供する。 RA-LLMは、モデルの内部知識に頼るのではなく、外部および権威的な知識ベースを活用するために登場した。
  論文  参考訳（メタデータ） (2024-05-10T02:48:45Z)
• REAR: A Relevance-Aware Retrieval-Augmented Framework for Open-Domain Question Answering [115.72130322143275]
  REAR(Relevance-Aware Retrieval-augmented approach for open-domain Question answering, QA) 我々は,特殊な設計のアセスメントモジュールを組み込むことで,LLMベースのRAGシステムのための新しいアーキテクチャを開発する。 オープンドメインの4つのQAタスクの実験では、REARは以前の競争力のあるRAGアプローチよりも大幅に優れていた。
  論文  参考訳（メタデータ） (2024-02-27T13:22:51Z)
• ActiveRAG: Autonomously Knowledge Assimilation and Accommodation through Retrieval-Augmented Agents [49.30553350788524]
  Retrieval-Augmented Generation (RAG)は、大規模言語モデル(LLM)が外部知識を活用することを可能にする。 既存のRAGモデルは、LLMを受動的情報受信者として扱うことが多い。 人間の学習行動を模倣するマルチエージェントフレームワークであるActiveRAGを紹介する。
  論文  参考訳（メタデータ） (2024-02-21T06:04:53Z)
• Synergistic Interplay between Search and Large Language Models for Information Retrieval [141.18083677333848]
  InteRにより、RMはLLM生成した知識コレクションを使用してクエリの知識を拡張することができる。 InteRは、最先端手法と比較して総合的に優れたゼロショット検索性能を実現する。
  論文  参考訳（メタデータ） (2023-05-12T11:58:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。