論文の概要: Bayesian inference to improve quality of Retrieval Augmented Generation

• arxiv url: http://arxiv.org/abs/2408.08901v1
• Date: Mon, 12 Aug 2024 08:54:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-10 17:51:33.359690
• Title: Bayesian inference to improve quality of Retrieval Augmented Generation
• Title（参考訳）: 検索能力向上のためのベイズ推論
• Authors: Dattaraj Rao,
• Abstract要約: 検索拡張生成(Retrieval Augmented Generation、RAG)は、現代の大規模言語モデル(LLM)アプリケーションにおいて最も一般的なパターンである。 ベイズ定理は、仮説の条件付き確率と証拠と事前確率を関連付けようとする。 そこで本研究では,テキストチャンクの品質を判断し,テキストチャンクの品質の事前確率を用いることで,RAGシステムからの応答の全体的な品質向上に役立つことを提案する。
• 参考スコア（独自算出の注目度）: 0.21756081703276
• License:
• Abstract: Retrieval Augmented Generation or RAG is the most popular pattern for modern Large Language Model or LLM applications. RAG involves taking a user query and finding relevant paragraphs of context in a large corpus typically captured in a vector database. Once the first level of search happens over a vector database, the top n chunks of relevant text are included directly in the context and sent as prompt to the LLM. Problem with this approach is that quality of text chunks depends on effectiveness of search. There is no strong post processing after search to determine if the chunk does hold enough information to include in prompt. Also many times there may be chunks that have conflicting information on the same subject and the model has no prior experience which chunk to prioritize to make a decision. Often times, this leads to the model providing a statement that there are conflicting statements, and it cannot produce an answer. In this research we propose a Bayesian approach to verify the quality of text chunks from the search results. Bayes theorem tries to relate conditional probabilities of the hypothesis with evidence and prior probabilities. We propose that, finding likelihood of text chunks to give a quality answer and using prior probability of quality of text chunks can help us improve overall quality of the responses from RAG systems. We can use the LLM itself to get a likelihood of relevance of a context paragraph. For prior probability of the text chunk, we use the page number in the documents parsed. Assumption is that that paragraphs in earlier pages have a better probability of being findings and more relevant to generalizing an answer.
• Abstract（参考訳）: 検索拡張生成(Retrieval Augmented Generation、RAG)は、現代の大規模言語モデル(LLM)アプリケーションにおいて最も一般的なパターンである。 RAGは、通常、ベクトルデータベースでキャプチャされた大きなコーパスにおいて、ユーザクエリを取得し、関連するコンテキストの段落を見つけます。 最初のレベルの検索がベクトルデータベース上で実行されると、関連するテキストのトップnチャンクがコンテキストに直接含まれ、LLMにプロンプトとして送信される。 このアプローチの問題点は、テキストチャンクの品質が検索の有効性に依存することである。 検索後に、チャンクが即座に含める十分な情報を持っているかどうかを判断する強力なポスト処理は存在しない。 また、同じ主題について矛盾する情報を持つチャンクが複数存在し、モデルは決定を下すためにチャンクが優先する事前の経験を持っていない場合もあります。 多くの場合、これは矛盾するステートメントが存在するというステートメントを提供するモデルにつながる。 本研究では,検索結果からテキストチャンクの品質を検証するためのベイズ的手法を提案する。 ベイズ定理は、仮説の条件付き確率と証拠と事前確率を関連付けようとする。 そこで本研究では,テキストチャンクの品質を判断し,テキストチャンクの品質の事前確率を用いることで,RAGシステムからの応答の全体的な品質向上に役立つことを提案する。 LLM自体を使って、コンテキストの段落が関係する可能性を得ることができます。 テキストチャンクの事前確率については、解析した文書のページ番号を使用します。 初期のページの段落は、発見される確率がより高く、回答を一般化する関連性が高いと仮定される。

関連論文リスト

• Optimization of Retrieval-Augmented Generation Context with Outlier Detection [0.0]
  そこで本研究では,質問応答システムに必要な文脈の小型化と品質向上に焦点をあてる。 私たちのゴールは、最も意味のあるドキュメントを選択し、捨てられたドキュメントをアウトリーチとして扱うことです。 その結果,質問や回答の複雑さを増大させることで,最大の改善が達成された。
  論文  参考訳（メタデータ） (2024-07-01T15:53:29Z)
• Long-Span Question-Answering: Automatic Question Generation and QA-System Ranking via Side-by-Side Evaluation [65.16137964758612]
  大規模言語モデルにおける長文文の活用について検討し,本書全体の読解データを作成する。 我々の目的は、長いテキストの詳細な理解を必要とする問題を分析し、理解し、推論するLLMの能力をテストすることである。
  論文  参考訳（メタデータ） (2024-05-31T20:15:10Z)
• Look at the Text: Instruction-Tuned Language Models are More Robust Multiple Choice Selectors than You Think [27.595110330513567]
  テキスト回答は、最初のトークン確率よりも、摂動に疑問を呈するほど堅牢であることを示す。 本研究は,第1トークン確率評価よりもテキスト応答評価が有効であることを示す。
  論文  参考訳（メタデータ） (2024-04-12T10:36:15Z)
• CONFLARE: CONFormal LArge language model REtrieval [0.0]
  Retrieval-augmented Generation (RAG)フレームワークは、大規模言語モデル(LLM)が知識ベースから関連する情報を検索し、応答を生成するコンテキストに組み込むことを可能にする。 RAGは、検索が必要な情報を応答生成のコンテキストとして識別できない場合、有効な応答を保証しない。 本稿では,RAGフレームワークにおける検索不確実性を定量化するために,共形予測を適用するための4段階のフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-04-04T02:58:21Z)
• Description-Based Text Similarity [59.552704474862004]
  我々は、その内容の抽象的な記述に基づいて、テキストを検索する必要性を特定する。 そこで本研究では,近隣の標準探索で使用する場合の精度を大幅に向上する代替モデルを提案する。
  論文  参考訳（メタデータ） (2023-05-21T17:14:31Z)
• Query Expansion Using Contextual Clue Sampling with Language Models [69.51976926838232]
  本稿では,実効的なフィルタリング戦略と検索した文書の融合の組み合わせを,各文脈の生成確率に基づいて提案する。 我々の語彙マッチングに基づくアプローチは、よく確立された高密度検索モデルDPRと比較して、同様のトップ5/トップ20検索精度と上位100検索精度を実現する。 エンド・ツー・エンドのQAでは、読者モデルも我々の手法の恩恵を受けており、いくつかの競争基準に対してエクサクト・マッチのスコアが最も高い。
  論文  参考訳（メタデータ） (2022-10-13T15:18:04Z)
• Toward the Understanding of Deep Text Matching Models for Information Retrieval [72.72380690535766]
  本稿では,既存の深層テキストマッチング手法が情報検索の基本的な勾配を満たすかどうかを検証することを目的とする。 具体的には, 項周波数制約, 項識別制約, 長さ正規化制約, TF長制約の4つの属性を用いる。 LETOR 4.0 と MS Marco の実験結果から,研究対象の深層テキストマッチング手法はすべて,統計学において高い確率で上記の制約を満たすことが示された。
  論文  参考訳（メタデータ） (2021-08-16T13:33:15Z)
• Text Summarization with Latent Queries [60.468323530248945]
  本稿では,LaQSumについて紹介する。LaQSumは,既存の問合せ形式と抽象的な要約のための文書から遅延クエリを学習する,最初の統一テキスト要約システムである。 本システムでは, 潜伏クエリモデルと条件付き言語モデルとを協調的に最適化し, ユーザがテスト時に任意のタイプのクエリをプラグイン・アンド・プレイできるようにする。 本システムでは,クエリタイプ,文書設定,ターゲットドメインの異なる要約ベンチマークにおいて,強力な比較システムの性能を強く向上させる。
  論文  参考訳（メタデータ） (2021-05-31T21:14:58Z)
• FAT ALBERT: Finding Answers in Large Texts using Semantic Similarity Attention Layer based on BERT [0.5772546394254112]
  本研究では,最先端の変圧器ネットワークであるBERTをベースとしたモデルを構築した。 私たちは、テスト精度87.79%のリーダーボードで第1位にランクされています。
  論文  参考訳（メタデータ） (2020-08-22T08:04:21Z)
• Recurrent Chunking Mechanisms for Long-Text Machine Reading Comprehension [59.80926970481975]
  機械読解(MRC)を長文で研究する。 モデルは長い文書と質問を入力として取り、回答として文書からテキストを抽出する。 我々は、モデルに強化学習を通じてより柔軟な方法でチャンクを学習させることを提案する。
  論文  参考訳（メタデータ） (2020-05-16T18:08:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。