論文の概要: Prompt Generate Train (PGT): A framework for few-shot domain adaptation, alignment, and uncertainty calibration of a retriever augmented generation (RAG) model for domain specific open book question-answering

• arxiv url: http://arxiv.org/abs/2307.05915v1
• Date: Wed, 12 Jul 2023 04:44:31 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-13 14:20:22.625304
• Title: Prompt Generate Train (PGT): A framework for few-shot domain adaptation, alignment, and uncertainty calibration of a retriever augmented generation (RAG) model for domain specific open book question-answering
• Title（参考訳）: Prompt Generate Train (PGT): ドメイン固有のオープンブック質問応答のための検索器拡張生成(RAG)モデルの少数ショットドメイン適応、アライメント、不確実性校正のためのフレームワーク
• Authors: C. S. Krishna
• Abstract要約: 本稿では,テキスト文書のプロプライエタリなコレクション上で,オープンブックの質問文作成のための生成的質問文作成モデルを効率的に開発する枠組みを提案する。 このフレームワークは、数ショット設定で合成フィードバックによる教師付き微調整および強化学習を用いて、レトリバー拡張生成モデルを対象領域に適応させる。 これにより、GPT-4ベースのコンテキスト内検索拡張生成と競合する整合的不確実性校正モデルが得られ、より低いサービスコストで関連する回答を生成する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We present a framework - Prompt, Generate, Train (PGT) - to efficiently develop a generative question-answering model for open-book question-answering over a proprietary collection of text documents. The framework adapts a retriever augmented generation model to the target domain using supervised finetuning and reinforcement learning with synthetic feedback in a few-shot setting. This yields an aligned, uncertainty calibrated model that is competitive with GPT-4 based in-context retrieval augmented generation in generating relevant answers at lower serving costs. The synthetic generation pipeline generates high quality synthetic training data musing a medium sized LLM, Flan-T5 XXL, and a novel consistency filtering scheme. The pipeline is designed to generate both abstractive and extractive questions that span the entire corpus. Using samples from this dataset, the framework fine-tunes a smaller RAG model comprising a dense retriever and a smaller sized LLM on samples from the dataset. In parallel, the framework trains a Reward model to score domain grounded answers higher than hallucinated answers. In the next phase, the framework aligns to the RAG model with the target domain using reinforcement learning. This step improves the RAG model's ability to generate grounded answers and ignore out of domain questions. In the final phase, the framework calibrates the model uncertainty for extractive question-answers. This is a desirable feature since the model can be integrated into a cascading system where the RAG model's answer is surfaced only when the model is confident of its answer.
• Abstract（参考訳）: 本稿では,オープンブック質問応答のための生成的質問応答モデルを開発するためのフレームワークであるPrompt, Generate, Train (PGT)を提案する。 このフレームワークは、数ショット設定で合成フィードバックによる教師付き微調整および強化学習を用いて、レトリバー拡張生成モデルを対象領域に適応させる。 これにより、GPT-4ベースのコンテキスト内検索拡張生成と競合する整合的不確実性校正モデルが得られ、より低いサービスコストで関連する回答を生成する。 合成生成パイプラインは、中規模のLLM、Flan−T5XXL、および新規な一貫性フィルタリングスキームを含む高品質な合成訓練データを生成する。 パイプラインは、コーパス全体にわたる抽象的および抽出的な質問を生成するように設計されている。 このデータセットのサンプルを使用して、このフレームワークは、データセットのサンプルに高密度検索器と小さいサイズのLLMを含む小さなRAGモデルを微調整する。 並行して、フレームワークはRewardモデルをトレーニングし、幻覚的回答よりも高いドメイン基底の回答をスコアする。 次のフェーズでは、フレームワークは強化学習を使用してRAGモデルとターゲットドメインを整列する。 このステップは、ragモデルが根拠のある回答を生成し、ドメインの質問を無視する能力を改善する。 最終段階では、フレームワークは抽出された質問者に対するモデルの不確かさを補う。 モデルが応答を確信している場合にのみRAGモデルの回答が表面化されるカスケードシステムにモデルを組み込むことができるため、これは望ましい特徴である。

関連論文リスト

• SFR-RAG: Towards Contextually Faithful LLMs [57.666165819196486]
  Retrieval Augmented Generation (RAG) は、外部コンテキスト情報を大言語モデル(LLM)と統合し、事実の精度と妥当性を高めるパラダイムである。 SFR-RAG(SFR-RAG)について述べる。 また、複数の人気かつ多様なRAGベンチマークをコンパイルする新しい評価フレームワークであるConBenchについても紹介する。
  論文  参考訳（メタデータ） (2024-09-16T01:08:18Z)
• RAG-QA Arena: Evaluating Domain Robustness for Long-form Retrieval Augmented Question Answering [61.19126689470398]
  Long-form RobustQA (LFRQA)は、7つの異なるドメインにわたる26Kクエリと大きなコーパスをカバーする新しいデータセットである。 RAG-QAアリーナと人間の回答品質判断は高い相関関係にあることを示す。 最も競争力のあるLLMの回答の41.3%のみがLFRQAの回答に好まれており、RAG-QAアリーナは将来の研究の挑戦的な評価プラットフォームであることを示している。
  論文  参考訳（メタデータ） (2024-07-19T03:02:51Z)
• Fine-Tuning or Fine-Failing? Debunking Performance Myths in Large Language Models [0.8399688944263842]
  大きな言語モデル(LLM)は、入力クエリから人間のようなテキストを理解し、生成する能力を持つ。 本研究では、この概念を、レトリーバル拡張生成(RAG)パイプライン内のLLMの統合に拡張する。 データ抽出と文脈理解における微調整がLLMの能力に与える影響を評価する。
  論文  参考訳（メタデータ） (2024-06-17T04:35:17Z)
• REBEL: Reinforcement Learning via Regressing Relative Rewards [59.68420022466047]
  生成モデルの時代における最小限のRLアルゴリズムであるREBELを提案する。 理論的には、自然ポリシーグラディエントのような基本的なRLアルゴリズムはREBELの変種と見なすことができる。 我々はREBELが言語モデリングと画像生成に一貫したアプローチを提供し、PPOやDPOとより強くあるいは類似した性能を実現することを発見した。
  論文  参考訳（メタデータ） (2024-04-25T17:20:45Z)
• RQ-RAG: Learning to Refine Queries for Retrieval Augmented Generation [42.82192656794179]
  大きな言語モデル(LLM)は優れた能力を示すが、不正確なあるいは幻覚反応を引き起こす傾向がある。 この制限は、膨大な事前トレーニングデータセットに依存することに起因するため、目に見えないシナリオでのエラーの影響を受けやすい。 Retrieval-Augmented Generation (RAG) は、外部の関連文書を応答生成プロセスに組み込むことによって、この問題に対処する。
  論文  参考訳（メタデータ） (2024-03-31T08:58:54Z)
• Blended RAG: Improving RAG (Retriever-Augmented Generation) Accuracy with Semantic Search and Hybrid Query-Based Retrievers [0.0]
  Retrieval-Augmented Generation (RAG) は、大規模言語モデル (LLM) で文書のプライベートな知識基盤を注入し、生成的Q&A (Question-Answering) システムを構築するための一般的なアプローチである。 本稿では,Vector インデックスや Sparse インデックスなどのセマンティック検索手法をハイブリッドクエリ手法と組み合わせた 'Blended RAG' 手法を提案する。 本研究は,NQ や TREC-COVID などの IR (Information Retrieval) データセットの検索結果の改善と,新たなベンチマーク設定を行う。
  論文  参考訳（メタデータ） (2024-03-22T17:13:46Z)
• RAFT: Adapting Language Model to Domain Specific RAG [75.63623523051491]
  本稿では、ドメイン内の「オープンブック」設定において、モデルが質問に答える能力を改善するためのトレーニングレシピであるRetrieval Augmented FineTuning(RAFT)を紹介する。 RAFTは、質問に答える助けとなる関連文書から、動詞の正しいシーケンスを引用することで、これを達成します。 RAFTは、PubMed、HotpotQA、Gorillaデータセット全体のモデルのパフォーマンスを一貫して改善する。
  論文  参考訳（メタデータ） (2024-03-15T09:26:02Z)
• Reinforcement Learning for Optimizing RAG for Domain Chatbots [4.12484724941528]
  本稿では,FAQ(Frequently Asked Questions)データを用いて,ユーザの質問に回答するボットを構築するためのRAGベースのアプローチについて述べる。 我々はインフォメーションNCE損失を用いた社内検索埋め込みモデルをトレーニングし、実験結果から、インフォメーションモデルがよく知られた汎用的な公開埋め込みモデルよりもはるかにうまく機能することを実証した。 本稿では、ポリシーアクションを通じてRAGパイプラインと対話し、コストを最適化するためにポリシーを更新するRAG外部ポリシーベースのモデルを提案する。
  論文  参考訳（メタデータ） (2024-01-10T02:57:20Z)
• Chain-of-Skills: A Configurable Model for Open-domain Question Answering [79.8644260578301]
  検索モデルは、現実世界の知識集約的なタスクに欠かせない要素である。 最近の研究はカスタマイズされたメソッドに焦点を合わせ、モデルの転送可能性とスケーラビリティを制限している。 本稿では,各モジュールがデータセット間で再利用可能なキースキルに対応するモジュールレトリバーを提案する。
  論文  参考訳（メタデータ） (2023-05-04T20:19:39Z)
• Conditional Generation with a Question-Answering Blueprint [84.95981645040281]
  我々は、条件生成を不透明にし、より根底的にレンダリングするための有用な中間表現としてのプランニングを提唱する。 我々は、最先端の質問生成技術を利用して、自動的に青写真を得る。 我々はTransformerベースのモデルを開発し、それぞれが生成した出力にブループリントを組み込む方法が異なる。
  論文  参考訳（メタデータ） (2022-07-01T13:10:19Z)
• You Only Need One Model for Open-domain Question Answering [26.582284346491686]
  オープンドメイン質問回答に関する最近の研究は、検索モデルを用いた外部知識ベースを参照。 本稿では,トランスアーキテクチャ内で順次適用されるハードアテンション機構として,レトリバーとリランカのキャスティングを提案する。 我々は,Natural Questions と TriviaQA のオープンデータセットに関するモデルを評価し,従来の最先端モデルよりも1.0 と 0.7 の精度で優れた結果を得た。
  論文  参考訳（メタデータ） (2021-12-14T13:21:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。