論文の概要: Retrieval Augmented Generation for Domain-specific Question Answering
- arxiv url: http://arxiv.org/abs/2404.14760v1
- Date: Tue, 23 Apr 2024 05:51:45 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-24 15:10:30.532633
- Title: Retrieval Augmented Generation for Domain-specific Question Answering
- Title(参考訳): ドメイン固有の質問応答のための検索補助生成
- Authors: Sanat Sharma, David Seunghyun Yoon, Franck Dernoncourt, Dewang Sultania, Karishma Bagga, Mengjiao Zhang, Trung Bui, Varun Kotte,
- Abstract要約: 質問応答のための訓練済みの大規模言語モデルは、特定のドメインに関する知識や用語を適切に理解するために訓練されていない。
本稿では,大規模問合せデータベースをコンパイルする新しいフレームワークを提案し,大規模言語モデルの検索対応微調整手法を開発した。
- 参考スコア(独自算出の注目度): 44.93523443443575
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Question answering (QA) has become an important application in the advanced development of large language models. General pre-trained large language models for question-answering are not trained to properly understand the knowledge or terminology for a specific domain, such as finance, healthcare, education, and customer service for a product. To better cater to domain-specific understanding, we build an in-house question-answering system for Adobe products. We propose a novel framework to compile a large question-answer database and develop the approach for retrieval-aware finetuning of a Large Language model. We showcase that fine-tuning the retriever leads to major improvements in the final generation. Our overall approach reduces hallucinations during generation while keeping in context the latest retrieval information for contextual grounding.
- Abstract(参考訳): 質問応答(QA)は,大規模言語モデルの高度開発において重要な応用となっている。
質問応答のための一般的な訓練済みの大規模言語モデルは、金融、医療、教育、顧客サービスといった特定の分野の知識や用語を適切に理解するために訓練されていない。
ドメイン固有の理解をより良くするために、私たちはAdobe製品のための社内質問回答システムを構築しました。
本稿では,大規模問合せデータベースをコンパイルする新しいフレームワークを提案し,大規模言語モデルの検索対応微調整手法を開発した。
我々は,レトリバーの微調整が最終世代に大きな改善をもたらすことを示す。
我々の全体的なアプローチは、文脈的接地のための最新の検索情報を維持しながら、世代間の幻覚を減らす。
関連論文リスト
- FAQ-Gen: An automated system to generate domain-specific FAQs to aid
content comprehension [0.0]
頻繁に質問される質問(FAQ)は、特定のコンテンツに関する最も一般的な質問を指す。
トピックを単純化し、情報を簡潔に提示することで理解を強化することで、コンテンツ理解支援として機能する。
我々は,テキストからテキストへの変換モデルを利用したエンドツーエンドシステムの開発を通じて,FAQ生成を自然言語処理(NLP)タスクとして扱う。
論文 参考訳(メタデータ) (2024-02-08T16:49:41Z) - DIVKNOWQA: Assessing the Reasoning Ability of LLMs via Open-Domain
Question Answering over Knowledge Base and Text [73.68051228972024]
大きな言語モデル(LLM)は印象的な生成能力を示すが、内部知識に依存すると幻覚に悩まされる。
検索拡張LDMは、外部知識においてLLMを基盤とする潜在的な解決策として出現している。
論文 参考訳(メタデータ) (2023-10-31T04:37:57Z) - FoodGPT: A Large Language Model in Food Testing Domain with Incremental
Pre-training and Knowledge Graph Prompt [18.7168443402118]
私たちは食品試験のための大きな言語モデルを構築します。
本稿では,段階的な事前学習において構造化知識とスキャンされた文書を取り扱う手法を提案する。
論文 参考訳(メタデータ) (2023-08-20T05:58:33Z) - Enhancing Retrieval-Augmented Large Language Models with Iterative
Retrieval-Generation Synergy [164.83371924650294]
検索と生成を反復的に同期させるIter-RetGenと呼ばれる手法により,高い性能が得られることを示す。
モデル出力は、タスクを完了するために必要なものを示し、より関連する知識を取得するための情報的コンテキストを提供する。
Iter-RetGenプロセスは、すべての知識を全体として取得し、構造的な制約なしに生成時の柔軟性をほとんど保持します。
論文 参考訳(メタデータ) (2023-05-24T16:17:36Z) - Automatic Short Math Answer Grading via In-context Meta-learning [2.0263791972068628]
本研究では,数学質問に対する児童生徒の回答に対する自動短解格付けの問題について検討する。
我々は、数学的な内容に適応した人気のある言語モデルBERTの変種である MathBERT をベースモデルとして使用しています。
第二に、言語モデルへの入力としてスコアリングサンプルを提供する、コンテキスト内学習アプローチを用いる。
論文 参考訳(メタデータ) (2022-05-30T16:26:02Z) - Addressing Issues of Cross-Linguality in Open-Retrieval Question
Answering Systems For Emergent Domains [67.99403521976058]
新型コロナウイルスの緊急ドメインに対する言語横断的オープン検索型質問応答システムについて紹介する。
本システムでは,検索した文書の信頼性を確保するために,学術論文のコーパスを採用している。
深いセマンティック・レトリバーは、我々の英語からすべてのデータに対するトレーニングの恩恵が大きく、言語横断環境ではBM25ベースラインを大幅に上回っていることを示す。
論文 参考訳(メタデータ) (2022-01-26T19:27:32Z) - ClarQ: A large-scale and diverse dataset for Clarification Question
Generation [67.1162903046619]
そこで我々は,スタックエクスチェンジから抽出したポストコメンデーションに基づいて,多様な,大規模な明確化質問データセットの作成を支援する,新しいブートストラップフレームワークを考案した。
質問応答の下流タスクに適用することで,新たに作成したデータセットの有用性を定量的に示す。
我々はこのデータセットを公開し、ダイアログと質問応答システムの拡張という大きな目標を掲げて、質問生成の分野の研究を促進する。
論文 参考訳(メタデータ) (2020-06-10T17:56:50Z) - How Context Affects Language Models' Factual Predictions [134.29166998377187]
検索システムからの情報を学習済みの言語モデルと純粋に教師なしの方法で統合する。
この方法で事前学習された言語モデルを拡張することで、性能が劇的に向上し、教師なしにもかかわらず、結果として得られるシステムは、教師なしの機械読解ベースラインと競合する、と報告する。
論文 参考訳(メタデータ) (2020-05-10T09:28:12Z) - REALM: Retrieval-Augmented Language Model Pre-Training [37.3178586179607]
言語モデルの事前学習を潜伏知識検索システムで強化し,ウィキペディアのような大規模コーパスから文書を検索し,出席できるようにする。
本研究では,このような知識検索を教師なしで事前学習する方法を初めて示す。
オープンドメイン質問回答(Open-QA)の課題を微調整し,検索型言語モデル事前学習(REALM)の有効性を実証する。
論文 参考訳(メタデータ) (2020-02-10T18:40:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。