論文の概要: A Self-enhancement Approach for Domain-specific Chatbot Training via Knowledge Mining and Digest

• arxiv url: http://arxiv.org/abs/2311.10614v1
• Date: Fri, 17 Nov 2023 16:09:10 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-20 14:08:41.907097
• Title: A Self-enhancement Approach for Domain-specific Chatbot Training via Knowledge Mining and Digest
• Title（参考訳）: 知識マイニングとダイジェストによるドメイン固有チャットボット訓練のための自己強化アプローチ
• Authors: Ruohong Zhang, Luyu Gao, Chen Zheng, Zhen Fan, Guokun Lai, Zheng Zhang, Fangzhou Ai, Yiming Yang, Hongxia Yang
• Abstract要約: 大規模言語モデル(LLM)は、特定のドメインで複雑な知識要求クエリを扱う際に、しばしば困難に直面する。 本稿では、ドメイン固有のテキストソースから関連知識を効果的に抽出し、LLMを強化する新しいアプローチを提案する。 我々は知識マイナー、すなわちLLMinerを訓練し、関連する文書から質問応答対を自律的に抽出する。
• 参考スコア（独自算出の注目度）: 62.63606958140248
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large Language Models (LLMs), despite their great power in language generation, often encounter challenges when dealing with intricate and knowledge-demanding queries in specific domains. This paper introduces a novel approach to enhance LLMs by effectively extracting the relevant knowledge from domain-specific textual sources, and the adaptive training of a chatbot with domain-specific inquiries. Our two-step approach starts from training a knowledge miner, namely LLMiner, which autonomously extracts Question-Answer pairs from relevant documents through a chain-of-thought reasoning process. Subsequently, we blend the mined QA pairs with a conversational dataset to fine-tune the LLM as a chatbot, thereby enriching its domain-specific expertise and conversational capabilities. We also developed a new evaluation benchmark which comprises four domain-specific text corpora and associated human-crafted QA pairs for testing. Our model shows remarkable performance improvement over generally aligned LLM and surpasses domain-adapted models directly fine-tuned on domain corpus. In particular, LLMiner achieves this with minimal human intervention, requiring only 600 seed instances, thereby providing a pathway towards self-improvement of LLMs through model-synthesized training data.
• Abstract（参考訳）: 大きな言語モデル(LLM)は、言語生成に大きな力を持っているにもかかわらず、特定のドメインで複雑な知識要求クエリを扱う場合、しばしば困難に直面する。 本稿では、ドメイン固有のテキストソースから関連知識を効果的に抽出し、LLMを強化するための新しいアプローチと、ドメイン固有の問い合わせによるチャットボットの適応的なトレーニングを提案する。 私たちの2段階のアプローチは、知識マイナー、すなわちLLMinerのトレーニングから始まります。 次に、抽出したQAペアを会話データセットと組み合わせて、LLMをチャットボットとして微調整し、ドメイン固有の専門知識と会話能力を高める。 また、4つのドメイン固有のテキストコーパスと、関連する人造QAペアからなる新しい評価ベンチマークを開発した。 本モデルでは,一般のLLMよりも顕著な性能向上を示し,ドメイン適応型モデルをドメインコーパスに直接微調整する。 特にLLMinerは、最小限の介入でこれを達成し、600のシードインスタンスしか必要とせず、モデル合成トレーニングデータを通じてLLMを自己改善するための経路を提供する。

関連論文リスト

• Exploring Language Model Generalization in Low-Resource Extractive QA [57.14068405860034]
  ドメインドリフト下でのLarge Language Models (LLM) を用いた抽出質問応答(EQA)について検討する。 パフォーマンスギャップを実証的に説明するための一連の実験を考案する。
  論文  参考訳（メタデータ） (2024-09-27T05:06:43Z)
• Peering into the Mind of Language Models: An Approach for Attribution in Contextual Question Answering [9.86691461253151]
  大規模言語モデル(LLM)の隠れ状態表現を利用した文脈質問応答における帰属手法を提案する。 提案手法は,より詳細な属性を提供し,生成した回答の質を保ちながら,広範囲なモデル再訓練および検索モデルオーバーヘッドの必要性を回避している。 本稿では,LLM世代に対するトークンレベルのアノテーションを文脈質問応答設定に有する属性データセットであるVerifiability-granularを提案する。
  論文  参考訳（メタデータ） (2024-05-28T09:12:44Z)
• Pretraining and Updates of Domain-Specific LLM: A Case Study in the Japanese Business Domain [4.133477882188227]
  本稿では,日本のビジネスドメイン固有のLLMのトレーニングと評価から得られた知見について述べる。 事前訓練されたモデルとビジネスドメインのベンチマークは、さらなる研究をサポートするために公開されています。
  論文  参考訳（メタデータ） (2024-04-12T06:21:48Z)
• Fine-tuning Large Language Models for Domain-specific Machine Translation [8.439661191792897]
  大規模言語モデル(LLM)は機械翻訳(MT)において大きな進歩を遂げた。 しかし、ドメイン特異的MTのポテンシャルはいまだ未解明のままである。 本稿では,LlamaIT と呼ばれる,ドメイン固有の MT タスクのための汎用 LLM を効果的かつ効率的に微調整する,プロンプト指向の微調整手法を提案する。
  論文  参考訳（メタデータ） (2024-02-23T02:24:15Z)
• Generative Context-aware Fine-tuning of Self-supervised Speech Models [54.389711404209415]
  生成型大規模言語モデル(LLM)生成コンテキスト情報の利用について検討する。 自己教師型音声モデルの微調整中に生成した情報を抽出する手法を提案する。 本稿では,SLUE と Libri-light のベンチマークを用いて,自動音声認識,名前付きエンティティ認識,感情分析を行う手法を提案する。
  論文  参考訳（メタデータ） (2023-12-15T15:46:02Z)
• Knowledge Plugins: Enhancing Large Language Models for Domain-Specific Recommendations [50.81844184210381]
  本稿では,大規模言語モデルをDOmain固有のKnowledgEで拡張し,実践的アプリケーション,すなわちDOKEの性能を向上させるためのパラダイムを提案する。 このパラダイムはドメイン知識抽出器に依存し,1)タスクに効果的な知識を準備すること,2)特定のサンプルごとに知識を選択すること,3)LLMで理解可能な方法で知識を表現すること,の3つのステップで動作する。
  論文  参考訳（メタデータ） (2023-11-16T07:09:38Z)
• Knowledgeable Preference Alignment for LLMs in Domain-specific Question Answering [35.2883028685345]
  大規模言語モデル(LLM)は、ドメイン固有の質問応答(QA)の実際のシナリオにデプロイされる。 本稿では,2つの課題に対処するための2種類の選好セットを構築するKnowPAT(KnowPAT)を紹介する。 また,LLM選好と人間の選好を均一に一致させる新たなアライメント目標を設計する。
  論文  参考訳（メタデータ） (2023-11-11T07:56:40Z)
• DIVKNOWQA: Assessing the Reasoning Ability of LLMs via Open-Domain Question Answering over Knowledge Base and Text [73.68051228972024]
  大きな言語モデル(LLM)は印象的な生成能力を示すが、内部知識に依存すると幻覚に悩まされる。 検索拡張LDMは、外部知識においてLLMを基盤とする潜在的な解決策として出現している。
  論文  参考訳（メタデータ） (2023-10-31T04:37:57Z)
• Self-prompted Chain-of-Thought on Large Language Models for Open-domain Multi-hop Reasoning [70.74928578278957]
  オープンドメイン質問回答(ODQA)では、ほとんどの既存の質問はコモンセンスのシングルホップ推論を必要とする。 大規模言語モデル(LLM)は、外部コーパスなしでODQAを促進するために重要な有用性を見出した。 高品質なCoTを大量生産する自動化フレームワークSP-CoTを提案する。
  論文  参考訳（メタデータ） (2023-10-20T14:51:10Z)
• Domain-oriented Language Pre-training with Adaptive Hybrid Masking and Optimal Transport Alignment [43.874781718934486]
  我々は、異なるアプリケーションドメインに対して事前訓練された言語モデルを適用するための一般的なドメイン指向のアプローチを提供する。 フレーズ知識を効果的に保存するために,補助訓練ツールとしてドメインフレーズプールを構築した。 我々はクロスエンティティアライメントを導入し、エンティティアライメントを弱い監督力として活用し、事前訓練されたモデルのセマンティックラーニングを強化する。
  論文  参考訳（メタデータ） (2021-12-01T15:47:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。