論文の概要: A Self-enhancement Approach for Domain-specific Chatbot Training via Knowledge Mining and Digest

• arxiv url: http://arxiv.org/abs/2311.10614v1
• Date: Fri, 17 Nov 2023 16:09:10 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-20 14:08:41.907097
• Title: A Self-enhancement Approach for Domain-specific Chatbot Training via Knowledge Mining and Digest
• Title（参考訳）: 知識マイニングとダイジェストによるドメイン固有チャットボット訓練のための自己強化アプローチ
• Authors: Ruohong Zhang, Luyu Gao, Chen Zheng, Zhen Fan, Guokun Lai, Zheng Zhang, Fangzhou Ai, Yiming Yang, Hongxia Yang
• Abstract要約: 大規模言語モデル(LLM)は、特定のドメインで複雑な知識要求クエリを扱う際に、しばしば困難に直面する。 本稿では、ドメイン固有のテキストソースから関連知識を効果的に抽出し、LLMを強化する新しいアプローチを提案する。 我々は知識マイナー、すなわちLLMinerを訓練し、関連する文書から質問応答対を自律的に抽出する。
• 参考スコア（独自算出の注目度）: 62.63606958140248
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large Language Models (LLMs), despite their great power in language generation, often encounter challenges when dealing with intricate and knowledge-demanding queries in specific domains. This paper introduces a novel approach to enhance LLMs by effectively extracting the relevant knowledge from domain-specific textual sources, and the adaptive training of a chatbot with domain-specific inquiries. Our two-step approach starts from training a knowledge miner, namely LLMiner, which autonomously extracts Question-Answer pairs from relevant documents through a chain-of-thought reasoning process. Subsequently, we blend the mined QA pairs with a conversational dataset to fine-tune the LLM as a chatbot, thereby enriching its domain-specific expertise and conversational capabilities. We also developed a new evaluation benchmark which comprises four domain-specific text corpora and associated human-crafted QA pairs for testing. Our model shows remarkable performance improvement over generally aligned LLM and surpasses domain-adapted models directly fine-tuned on domain corpus. In particular, LLMiner achieves this with minimal human intervention, requiring only 600 seed instances, thereby providing a pathway towards self-improvement of LLMs through model-synthesized training data.
• Abstract（参考訳）: 大きな言語モデル(LLM)は、言語生成に大きな力を持っているにもかかわらず、特定のドメインで複雑な知識要求クエリを扱う場合、しばしば困難に直面する。 本稿では、ドメイン固有のテキストソースから関連知識を効果的に抽出し、LLMを強化するための新しいアプローチと、ドメイン固有の問い合わせによるチャットボットの適応的なトレーニングを提案する。 私たちの2段階のアプローチは、知識マイナー、すなわちLLMinerのトレーニングから始まります。 次に、抽出したQAペアを会話データセットと組み合わせて、LLMをチャットボットとして微調整し、ドメイン固有の専門知識と会話能力を高める。 また、4つのドメイン固有のテキストコーパスと、関連する人造QAペアからなる新しい評価ベンチマークを開発した。 本モデルでは,一般のLLMよりも顕著な性能向上を示し,ドメイン適応型モデルをドメインコーパスに直接微調整する。 特にLLMinerは、最小限の介入でこれを達成し、600のシードインスタンスしか必要とせず、モデル合成トレーニングデータを通じてLLMを自己改善するための経路を提供する。

関連論文リスト

• Injecting Domain-Specific Knowledge into Large Language Models: A Comprehensive Survey [39.82566660592583]
  大規模言語モデル(LLM)は、自然言語理解、テキスト要約、機械翻訳といった様々なタスクにおいて顕著な成功を収めている。 彼らの汎用的な性質は、医療、化学、法的な分析といった専門的な知識を必要とするドメイン固有のアプリケーションにおいて、その効果を制限していることが多い。 これを解決するために、研究者はドメイン固有の知識を統合することでLLMを強化する様々な方法を模索してきた。
  論文  参考訳（メタデータ） (2025-02-15T07:43:43Z)
• CPRM: A LLM-based Continual Pre-training Framework for Relevance Modeling in Commercial Search [34.08551439233784]
  CPRMは、大規模言語モデル(LLM)の継続的な事前訓練のために設計されたフレームワークである 本フレームワークは3つのモジュールから構成される: 1) クエリとマルチフィールドアイテムを併用してドメイン知識を強化する,2) コンテキスト内事前学習を適用する,3) 関連するドメイン知識とバックグラウンド情報を生成する,という3つのモジュール。
  論文  参考訳（メタデータ） (2024-12-02T08:35:54Z)
• On Domain-Specific Post-Training for Multimodal Large Language Models [72.67107077850939]
  ドメイン固有の画像キャプチャーペアから多様な視覚的命令タスクを生成する視覚的命令合成器を開発した。 ドメイン固有のポストトレーニングにおけるタスクの多様性を高めるために、単段階トレーニングパイプラインを適用します。 バイオメディシンと食品の2つの領域で、異なるソースとスケールのMLLMの訓練後実験を行う。
  論文  参考訳（メタデータ） (2024-11-29T18:42:28Z)
• Exploring Language Model Generalization in Low-Resource Extractive QA [57.14068405860034]
  ドメインドリフト下でのLarge Language Models (LLM) を用いた抽出質問応答(EQA)について検討する。 性能ギャップを実証的に説明するための一連の実験を考案する。
  論文  参考訳（メタデータ） (2024-09-27T05:06:43Z)
• Peering into the Mind of Language Models: An Approach for Attribution in Contextual Question Answering [9.86691461253151]
  大規模言語モデル(LLM)の隠れ状態表現を利用した文脈質問応答における帰属手法を提案する。 提案手法は,より詳細な属性を提供し,生成した回答の質を保ちながら,広範囲なモデル再訓練および検索モデルオーバーヘッドの必要性を回避している。 本稿では,LLM世代に対するトークンレベルのアノテーションを文脈質問応答設定に有する属性データセットであるVerifiability-granularを提案する。
  論文  参考訳（メタデータ） (2024-05-28T09:12:44Z)
• Pretraining and Updates of Domain-Specific LLM: A Case Study in the Japanese Business Domain [4.133477882188227]
  本稿では,日本のビジネスドメイン固有のLLMのトレーニングと評価から得られた知見について述べる。 事前訓練されたモデルとビジネスドメインのベンチマークは、さらなる研究をサポートするために公開されています。
  論文  参考訳（メタデータ） (2024-04-12T06:21:48Z)
• Knowledge Plugins: Enhancing Large Language Models for Domain-Specific Recommendations [50.81844184210381]
  本稿では,大規模言語モデルをDOmain固有のKnowledgEで拡張し,実践的アプリケーション,すなわちDOKEの性能を向上させるためのパラダイムを提案する。 このパラダイムはドメイン知識抽出器に依存し,1)タスクに効果的な知識を準備すること,2)特定のサンプルごとに知識を選択すること,3)LLMで理解可能な方法で知識を表現すること,の3つのステップで動作する。
  論文  参考訳（メタデータ） (2023-11-16T07:09:38Z)
• Knowledgeable Preference Alignment for LLMs in Domain-specific Question Answering [35.2883028685345]
  大規模言語モデル(LLM)は、ドメイン固有の質問応答(QA)の実際のシナリオにデプロイされる。 本稿では,2つの課題に対処するための2種類の選好セットを構築するKnowPAT(KnowPAT)を紹介する。 また,LLM選好と人間の選好を均一に一致させる新たなアライメント目標を設計する。
  論文  参考訳（メタデータ） (2023-11-11T07:56:40Z)
• DIVKNOWQA: Assessing the Reasoning Ability of LLMs via Open-Domain Question Answering over Knowledge Base and Text [73.68051228972024]
  大きな言語モデル(LLM)は印象的な生成能力を示すが、内部知識に依存すると幻覚に悩まされる。 検索拡張LDMは、外部知識においてLLMを基盤とする潜在的な解決策として出現している。
  論文  参考訳（メタデータ） (2023-10-31T04:37:57Z)
• Self-prompted Chain-of-Thought on Large Language Models for Open-domain Multi-hop Reasoning [70.74928578278957]
  オープンドメイン質問回答(ODQA)では、ほとんどの既存の質問はコモンセンスのシングルホップ推論を必要とする。 大規模言語モデル(LLM)は、外部コーパスなしでODQAを促進するために重要な有用性を見出した。 高品質なCoTを大量生産する自動化フレームワークSP-CoTを提案する。
  論文  参考訳（メタデータ） (2023-10-20T14:51:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。