論文の概要: Probing-RAG: Self-Probing to Guide Language Models in Selective Document Retrieval

• arxiv url: http://arxiv.org/abs/2410.13339v1
• Date: Thu, 17 Oct 2024 08:48:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-18 13:20:09.943780
• Title: Probing-RAG: Self-Probing to Guide Language Models in Selective Document Retrieval
• Title（参考訳）: Probing-RAG:Selective Document Retrievalにおける言語モデルガイドのためのセルフプロベリング
• Authors: Ingeol Baek, Hwan Chang, Byeongjeong Kim, Jimin Lee, Hwanhee Lee,
• Abstract要約: 本稿では,言語モデルの中間層からの隠れ状態表現を利用して,与えられたクエリに対する追加検索の必要性を適応的に決定するProbing-RAGを提案する。 Probing-RAGはモデルの内部認識を効果的に捉え、外部文書の取得に関する信頼性の高い意思決定を可能にする。
• 参考スコア（独自算出の注目度）: 3.9639424852746274
• License:
• Abstract: Retrieval-Augmented Generation (RAG) enhances language models by retrieving and incorporating relevant external knowledge. However, traditional retrieve-and-generate processes may not be optimized for real-world scenarios, where queries might require multiple retrieval steps or none at all. In this paper, we propose a Probing-RAG, which utilizes the hidden state representations from the intermediate layers of language models to adaptively determine the necessity of additional retrievals for a given query. By employing a pre-trained prober, Probing-RAG effectively captures the model's internal cognition, enabling reliable decision-making about retrieving external documents. Experimental results across five open-domain QA datasets demonstrate that Probing-RAG outperforms previous methods while reducing the number of redundant retrieval steps.
• Abstract（参考訳）: Retrieval-Augmented Generation (RAG)は、言語モデルを検索し、関連する外部知識を取り入れることで強化する。 しかし、従来の検索と生成のプロセスは、クエリが複数の検索ステップを必要とするような現実世界のシナリオには最適化されないかもしれない。 本稿では,言語モデルの中間層からの隠れ状態表現を利用して,与えられたクエリに対する追加検索の必要性を適応的に決定するProbing-RAGを提案する。 事前訓練されたプローブを使用することで、Probing-RAGはモデルの内部認識を効果的にキャプチャし、外部文書の取得に関する信頼性の高い意思決定を可能にする。 5つのオープンドメインQAデータセットに対する実験結果から、Probing-RAGは、冗長な検索ステップの数を減らしながら、従来の手法よりも優れていることが示された。

関連論文リスト

• Learning More Effective Representations for Dense Retrieval through Deliberate Thinking Before Search [65.53881294642451]
  ディリベレート思考に基づくDense Retriever (DEBATER) DEBATERは、ステップバイステップの思考プロセスを通じて、より効果的な文書表現を学習できるようにすることにより、最近の密集型検索機能を強化している。 実験の結果,DEBATERはいくつかのベンチマークで既存手法よりも優れていた。
  論文  参考訳（メタデータ） (2025-02-18T15:56:34Z)
• DeepRAG: Thinking to Retrieval Step by Step for Large Language Models [92.87532210660456]
  我々はマルコフ決定過程(MDP)として検索強化推論をモデル化するDeepRAGを提案する。 クエリを反復的に分解することで、DeepRAGは外部知識を取得するか、あるいは各ステップでパラメトリック推論に依存するかを動的に決定する。 実験の結果、DeepRAGは解答精度を21.99%向上させ、検索強化推論の最適化の有効性を示した。
  論文  参考訳（メタデータ） (2025-02-03T08:22:45Z)
• Chain-of-Retrieval Augmented Generation [72.06205327186069]
  本稿では,o1-like RAGモデルを学習し,最終回答を生成する前に段階的に関連情報を抽出・推論する手法を提案する。 提案手法であるCoRAGは,進化状態に基づいて動的にクエリを再構成する。
  論文  参考訳（メタデータ） (2025-01-24T09:12:52Z)
• Don't Do RAG: When Cache-Augmented Generation is All You Need for Knowledge Tasks [11.053340674721005]
  検索拡張世代(RAG)は,外部知識ソースを統合することで言語モデルを強化する強力なアプローチとして注目されている。 本稿では、リアルタイム検索をバイパスする代替パラダイムであるキャッシュ拡張生成(CAG)を提案する。
  論文  参考訳（メタデータ） (2024-12-20T06:58:32Z)
• Auto-RAG: Autonomous Retrieval-Augmented Generation for Large Language Models [31.769428095250912]
  Auto-RAGは大規模言語モデル(LLM)の推論機能を中心とした自律的反復検索モデルである 本研究では,反復検索における推論に基づく意思決定命令を自律的に合成する手法を開発した。 Auto-RAGは自然言語で反復的な検索プロセスを表現し、解釈可能性を高める。
  論文  参考訳（メタデータ） (2024-11-29T03:01:05Z)
• Likelihood as a Performance Gauge for Retrieval-Augmented Generation [78.28197013467157]
  言語モデルの性能の効果的な指標としての可能性を示す。 提案手法は,より優れた性能をもたらすプロンプトの選択と構築のための尺度として,疑似可能性を利用する2つの手法を提案する。
  論文  参考訳（メタデータ） (2024-11-12T13:14:09Z)
• Embedding-Informed Adaptive Retrieval-Augmented Generation of Large Language Models [37.02290559379761]
  Retrieval-augmented large language model (LLMs) は、様々なNLPタスクにおいて非常に有能である。 このことに動機づけられた、適応検索拡張生成(ARAG)研究は、クエリによって要求される知識が LLM に欠如している場合にのみ検索する。
  論文  参考訳（メタデータ） (2024-04-04T15:21:22Z)
• Corrective Retrieval Augmented Generation [36.04062963574603]
  Retrieval-augmented Generation (RAG) は、検索された文書の関連性に大きく依存しており、検索が失敗した場合のモデルがどのように振る舞うかについての懸念を提起する。 生成の堅牢性を改善するために,CRAG(Corrective Retrieval Augmented Generation)を提案する。 CRAGはプラグアンドプレイであり、様々なRAGベースのアプローチとシームレスに結合できる。
  論文  参考訳（メタデータ） (2024-01-29T04:36:39Z)
• AugTriever: Unsupervised Dense Retrieval and Domain Adaptation by Scalable Data Augmentation [44.93777271276723]
  擬似クエリドキュメントペアを作成することにより,アノテーションフリーでスケーラブルなトレーニングを可能にする2つのアプローチを提案する。 クエリ抽出方法は、元のドキュメントから有能なスパンを選択して擬似クエリを生成する。 転送クエリ生成方法は、要約などの他のNLPタスクのために訓練された生成モデルを使用して、擬似クエリを生成する。
  論文  参考訳（メタデータ） (2022-12-17T10:43:25Z)
• Generate rather than Retrieve: Large Language Models are Strong Context Generators [74.87021992611672]
  本稿では,文書検索を大規模言語モデル生成器に置き換えることで,知識集約型タスクを解く新しい視点を提案する。 我々は,提案手法をgenRead (genRead) と呼び,まず大きな言語モデルに対して,与えられた質問に基づいて文脈文書を生成し,次に生成された文書を読み出して最終回答を生成する。
  論文  参考訳（メタデータ） (2022-09-21T01:30:59Z)
• Generation-Augmented Retrieval for Open-domain Question Answering [134.27768711201202]
  GAR(Generation-Augmented Retrieval)は、オープンドメインの質問に答える機能である。 クエリーに対して多様なコンテキストを生成することは、結果の融合が常により良い検索精度をもたらすので有益であることを示す。 GARは、抽出読取装置を備えた場合、抽出QA設定の下で、自然質問およびトリビアQAデータセットの最先端性能を達成する。
  論文  参考訳（メタデータ） (2020-09-17T23:08:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。