論文の概要: Prompt Generate Train (PGT): Few-shot Domain Adaption of Retrieval
Augmented Generation Models for Open Book Question-Answering
- arxiv url: http://arxiv.org/abs/2307.05915v2
- Date: Wed, 26 Jul 2023 03:32:36 GMT
- ステータス: 処理完了
- システム内更新日: 2023-07-27 15:13:57.648547
- Title: Prompt Generate Train (PGT): Few-shot Domain Adaption of Retrieval
Augmented Generation Models for Open Book Question-Answering
- Title（参考訳）: Prompt Generate Train (PGT):オープンブック質問応答のための検索拡張生成モデルのFew-shot Domain Adaption
- Authors: C. S. Krishna
- Abstract要約: そこで本稿では,テキスト文書のプロプライエタリなコレクション上で,オープンブック質問応答のための生成的質問応答モデルを効率的に開発する枠組みを提案する。
このフレームワークは、教師付き微調整および強化学習を用いて、レトリバー拡張生成(RAG)モデルを対象領域に適応させる。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We propose a framework - Prompt, Generate, Train (PGT) - to efficiently
develop a generative question-answering model for open-book question-answering
over a proprietary collection of text documents. The framework adapts a
retriever augmented generation (RAG) model to the target domain using
supervised fine-tuning and reinforcement learning with synthetic feedback in a
few-shot setting. This, we hypothesize, will yield an aligned, uncertainty
calibrated model that is competitive with GPT-4 based in-context retrieval
augmented generation in generating relevant answers at lower serving costs. The
framework's synthetic generation pipeline will generate synthetic training data
comprising <passage, question, answer> tuples using an open-source LLM and a
novel consistency filtering scheme. The pipeline will be designed to generate
both abstractive and extractive questions that span the entire corpus. The
framework proposes to fine-tune a smaller RAG model comprising a dense
retriever (ColBERTv2) and a smaller sized LLM on the synthetic dataset. In
parallel, the framework will train a Reward model to score domain grounded
answers higher than hallucinated answers using an a priori relevance ordering
of synthetically assembled samples. In the next phase, the framework will align
the RAG model with the target domain using reinforcement learning (Proximal
Policy Optimization). This step may improve the RAG model's ability to generate
grounded answers and ignore out of domain questions. In the final phase, the
framework will calibrate the model's uncertainty for extractive
question-answers.
- Abstract（参考訳）: 本稿では,オープンブック質問応答のための生成的質問応答モデルを開発するためのフレームワークであるPrompt, Generate, Train (PGT)を提案する。
このフレームワークは、教師付き微調整および合成フィードバックによる強化学習を用いて、レトリバー拡張生成(RAG)モデルをターゲット領域に適用する。
これを仮定すると,GPT-4をベースとしたテキスト内検索拡張生成と競合する整合的不確実性校正モデルが得られ,より低いサービスコストで関連する回答が生成される。
フレームワークの合成生成パイプラインは、オープンソースのLCMと新しい一貫性フィルタリングスキームを使用して、<passage, question, answer>タプルからなる合成トレーニングデータを生成する。
パイプラインは、コーパス全体にわたる抽象的および抽出的な質問を生成するように設計されている。
このフレームワークでは,高密度検索器(ColBERTv2)と,合成データセット上に小型のLPMからなるRAGモデルを微調整することを提案する。
並行して、このフレームワークは、合成されたサンプルの事前関連順序付けを用いて、幻覚された回答よりも高いドメイン基底回答をスコアするRewardモデルを訓練する。
次のフェーズでは、RAGモデルを強化学習(Proximal Policy Optimization)を使用してターゲットドメインと整合させる。
このステップは、RAGモデルの基底化された回答を生成し、ドメインの質問を無視する能力を改善する可能性がある。
最終段階では、このフレームワークは抽出された質問に対するモデルの不確実性を校正する。
関連論文リスト
- SFR-RAG: Towards Contextually Faithful LLMs [57.666165819196486]
Retrieval Augmented Generation (RAG) は、外部コンテキスト情報を大言語モデル(LLM)と統合し、事実の精度と妥当性を高めるパラダイムである。
SFR-RAG(SFR-RAG)について述べる。
また、複数の人気かつ多様なRAGベンチマークをコンパイルする新しい評価フレームワークであるConBenchについても紹介する。
論文 参考訳（メタデータ） (2024-09-16T01:08:18Z) - RAG-QA Arena: Evaluating Domain Robustness for Long-form Retrieval Augmented Question Answering [61.19126689470398]
Long-form RobustQA (LFRQA)は、7つの異なるドメインにわたる26Kクエリと大きなコーパスをカバーする新しいデータセットである。
RAG-QAアリーナと人間の回答品質判断は高い相関関係にあることを示す。
最も競争力のあるLLMの回答の41.3%のみがLFRQAの回答に好まれており、RAG-QAアリーナは将来の研究の挑戦的な評価プラットフォームであることを示している。
論文 参考訳（メタデータ） (2024-07-19T03:02:51Z) - Fine-Tuning or Fine-Failing? Debunking Performance Myths in Large Language Models [0.8399688944263842]
大きな言語モデル(LLM)は、入力クエリから人間のようなテキストを理解し、生成する能力を持つ。
本研究では、この概念を、レトリーバル拡張生成(RAG)パイプライン内のLLMの統合に拡張する。
データ抽出と文脈理解における微調整がLLMの能力に与える影響を評価する。
論文 参考訳（メタデータ） (2024-06-17T04:35:17Z) - REBEL: Reinforcement Learning via Regressing Relative Rewards [59.68420022466047]
生成モデルの時代における最小限のRLアルゴリズムであるREBELを提案する。
理論的には、自然ポリシーグラディエントのような基本的なRLアルゴリズムはREBELの変種と見なすことができる。
我々はREBELが言語モデリングと画像生成に一貫したアプローチを提供し、PPOやDPOとより強くあるいは類似した性能を実現することを発見した。
論文 参考訳（メタデータ） (2024-04-25T17:20:45Z) - RQ-RAG: Learning to Refine Queries for Retrieval Augmented Generation [42.82192656794179]
大きな言語モデル(LLM)は優れた能力を示すが、不正確なあるいは幻覚反応を引き起こす傾向がある。
この制限は、膨大な事前トレーニングデータセットに依存することに起因するため、目に見えないシナリオでのエラーの影響を受けやすい。
Retrieval-Augmented Generation (RAG) は、外部の関連文書を応答生成プロセスに組み込むことによって、この問題に対処する。
論文 参考訳（メタデータ） (2024-03-31T08:58:54Z) - Blended RAG: Improving RAG (Retriever-Augmented Generation) Accuracy with Semantic Search and Hybrid Query-Based Retrievers [0.0]
Retrieval-Augmented Generation (RAG) は、大規模言語モデル (LLM) で文書のプライベートな知識基盤を注入し、生成的Q&A (Question-Answering) システムを構築するための一般的なアプローチである。
本稿では,Vector インデックスや Sparse インデックスなどのセマンティック検索手法をハイブリッドクエリ手法と組み合わせた 'Blended RAG' 手法を提案する。
本研究は,NQ や TREC-COVID などの IR (Information Retrieval) データセットの検索結果の改善と,新たなベンチマーク設定を行う。
論文 参考訳（メタデータ） (2024-03-22T17:13:46Z) - RAFT: Adapting Language Model to Domain Specific RAG [75.63623523051491]
本稿では、ドメイン内の「オープンブック」設定において、モデルが質問に答える能力を改善するためのトレーニングレシピであるRetrieval Augmented FineTuning(RAFT)を紹介する。
RAFTは、質問に答える助けとなる関連文書から、動詞の正しいシーケンスを引用することで、これを達成します。
RAFTは、PubMed、HotpotQA、Gorillaデータセット全体のモデルのパフォーマンスを一貫して改善する。
論文 参考訳（メタデータ） (2024-03-15T09:26:02Z) - Reinforcement Learning for Optimizing RAG for Domain Chatbots [4.12484724941528]
本稿では,FAQ(Frequently Asked Questions)データを用いて,ユーザの質問に回答するボットを構築するためのRAGベースのアプローチについて述べる。
我々はインフォメーションNCE損失を用いた社内検索埋め込みモデルをトレーニングし、実験結果から、インフォメーションモデルがよく知られた汎用的な公開埋め込みモデルよりもはるかにうまく機能することを実証した。
本稿では、ポリシーアクションを通じてRAGパイプラインと対話し、コストを最適化するためにポリシーを更新するRAG外部ポリシーベースのモデルを提案する。
論文 参考訳（メタデータ） (2024-01-10T02:57:20Z) - Chain-of-Skills: A Configurable Model for Open-domain Question Answering [79.8644260578301]
検索モデルは、現実世界の知識集約的なタスクに欠かせない要素である。
最近の研究はカスタマイズされたメソッドに焦点を合わせ、モデルの転送可能性とスケーラビリティを制限している。
本稿では,各モジュールがデータセット間で再利用可能なキースキルに対応するモジュールレトリバーを提案する。
論文 参考訳（メタデータ） (2023-05-04T20:19:39Z) - Conditional Generation with a Question-Answering Blueprint [84.95981645040281]
我々は、条件生成を不透明にし、より根底的にレンダリングするための有用な中間表現としてのプランニングを提唱する。
我々は、最先端の質問生成技術を利用して、自動的に青写真を得る。
我々はTransformerベースのモデルを開発し、それぞれが生成した出力にブループリントを組み込む方法が異なる。
論文 参考訳（メタデータ） (2022-07-01T13:10:19Z) - You Only Need One Model for Open-domain Question Answering [26.582284346491686]
オープンドメイン質問回答に関する最近の研究は、検索モデルを用いた外部知識ベースを参照。
本稿では,トランスアーキテクチャ内で順次適用されるハードアテンション機構として,レトリバーとリランカのキャスティングを提案する。
我々は,Natural Questions と TriviaQA のオープンデータセットに関するモデルを評価し,従来の最先端モデルよりも1.0 と 0.7 の精度で優れた結果を得た。
論文 参考訳（メタデータ） (2021-12-14T13:21:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。