論文の概要: To Retrieve or Not to Retrieve? Uncertainty Detection for Dynamic Retrieval Augmented Generation

• arxiv url: http://arxiv.org/abs/2501.09292v3
• Date: Tue, 18 Mar 2025 16:42:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-19 10:31:26.808624
• Title: To Retrieve or Not to Retrieve? Uncertainty Detection for Dynamic Retrieval Augmented Generation
• Title（参考訳）: 検索するかどうか? 動的検索拡張生成の不確かさ検出
• Authors: Kaustubh D. Dhole,
• Abstract要約: 不確実性検出メトリクスは、質問応答精度をわずかに低下させるだけで、検索呼び出し数をほぼ半分に減らすことができる。 以上の結果から,Degree Matrix Jaccard や Eccentricity などの不確実性検出指標は,質問応答精度をわずかに低下させることなく,検索回数をほぼ半分に抑えることが示唆された。
• 参考スコア（独自算出の注目度）: 3.724713116252253
• License:
• Abstract: Retrieval-Augmented Generation equips large language models with the capability to retrieve external knowledge, thereby mitigating hallucinations by incorporating information beyond the model's intrinsic abilities. However, most prior works have focused on invoking retrieval deterministically, which makes it unsuitable for tasks such as long-form question answering. Instead, dynamically performing retrieval by invoking it only when the underlying LLM lacks the required knowledge can be more efficient. In this context, we delve deeper into the question, "To Retrieve or Not to Retrieve?" by exploring multiple uncertainty detection methods. We evaluate these methods for the task of long-form question answering, employing dynamic retrieval, and present our comparisons. Our findings suggest that uncertainty detection metrics, such as Degree Matrix Jaccard and Eccentricity, can reduce the number of retrieval calls by almost half, with only a slight reduction in question-answering accuracy.
• Abstract（参考訳）: Retrieval-Augmented Generationは、大きな言語モデルに外部知識を取得する能力を持たせることで、モデル固有の能力を超えた情報を組み込むことで幻覚を緩和する。 しかし、これまでのほとんどの研究は、検索を決定論的に呼び出すことに重点を置いており、長文質問応答のようなタスクには適さない。 代わりに、LLMが必要な知識を欠いている場合にのみ、それを呼び出すことで動的に検索を実行することができる。 この文脈では、複数の不確実性検出手法を探索することによって、「検索すべきか、検索すべきでないか?」という疑問を深く掘り下げる。 提案手法は, 質問応答の長文化, 動的検索, 比較を行うためのものである。 以上の結果から,Degree Matrix Jaccard や Eccentricity などの不確実性検出指標は,質問応答精度をわずかに低下させることなく,検索回数をほぼ半分に抑えることが示唆された。

関連論文リスト

• DeepRAG: Thinking to Retrieval Step by Step for Large Language Models [92.87532210660456]
  我々はマルコフ決定過程(MDP)として検索強化推論をモデル化するDeepRAGを提案する。 クエリを反復的に分解することで、DeepRAGは外部知識を取得するか、あるいは各ステップでパラメトリック推論に依存するかを動的に決定する。 実験の結果、DeepRAGは解答精度を21.99%向上させ、検索強化推論の最適化の有効性を示した。
  論文  参考訳（メタデータ） (2025-02-03T08:22:45Z)
• SUGAR: Leveraging Contextual Confidence for Smarter Retrieval [28.552283701883766]
  セマンティック不確実性誘導適応検索(SUGAR)について紹介する。 我々は、文脈に基づくエントロピーを利用して、検索するかどうかを積極的に決定し、シングルステップとマルチステップの検索を更に決定する。 実験の結果,意味的不確実性推定によって導かれる選択探索により,多様な質問応答タスクのパフォーマンスが向上し,より効率的な推論が達成された。
  論文  参考訳（メタデータ） (2025-01-09T01:24:59Z)
• Likelihood as a Performance Gauge for Retrieval-Augmented Generation [78.28197013467157]
  言語モデルの性能の効果的な指標としての可能性を示す。 提案手法は,より優れた性能をもたらすプロンプトの選択と構築のための尺度として,疑似可能性を利用する2つの手法を提案する。
  論文  参考訳（メタデータ） (2024-11-12T13:14:09Z)
• CLARINET: Augmenting Language Models to Ask Clarification Questions for Retrieval [52.134133938779776]
  CLARINETは,回答が正しい候補の確実性を最大化する質問を選択することで,情報的明確化を問うシステムである。 提案手法は,大規模言語モデル(LLM)を検索分布の条件付きで拡張し,各ターンで真の候補のランクを最大化する問題を生成する。
  論文  参考訳（メタデータ） (2024-04-28T18:21:31Z)
• RetrievalQA: Assessing Adaptive Retrieval-Augmented Generation for Short-form Open-Domain Question Answering [42.66223628527439]
  アダプティブ検索拡張生成(ARAG)は、不特定に検索するのではなく、クエリに対する検索の必要性を動的に決定することを目的としている。 この研究は、新しい世界とロングテール知識をカバーする1,271の短い形式の質問を含む、RetrievalQAというベンチマークを提示する。
  論文  参考訳（メタデータ） (2024-02-26T09:59:04Z)
• Retrieval Helps or Hurts? A Deeper Dive into the Efficacy of Retrieval Augmentation to Language Models [7.537599020279862]
  大規模言語モデル(LM)における実体と関係の組合せの効果について検討する。 一般の事実を想起する上で,より大きなLMは優れているが,検索者に比べて少ないエンティティ-リレーションペアでは困難である。 適応型検索システムを用いて,より微細な測定値と洞察値の有効性を実証する。
  論文  参考訳（メタデータ） (2024-02-21T03:05:50Z)
• Zero-shot Retrieval: Augmenting Pre-trained Models with Search Engines [83.65380507372483]
  大規模で事前訓練されたモデルは、問題を解決するのに必要なタスク固有のデータの量を劇的に削減するが、多くの場合、ドメイン固有のニュアンスを箱から取り出すのに失敗する。 本稿では,NLPとマルチモーダル学習の最近の進歩を活用して,検索エンジン検索による事前学習モデルを強化する方法について述べる。
  論文  参考訳（メタデータ） (2023-11-29T05:33:28Z)
• Self-Knowledge Guided Retrieval Augmentation for Large Language Models [59.771098292611846]
  大規模言語モデル(LLM)はタスク固有の微調整なしで優れた性能を示す。 検索に基づく手法は、非パラメトリックな世界知識を提供し、質問応答のようなタスクのパフォーマンスを向上させることができる。 SKR(Self-Knowledge guided Retrieval augmentation)は、LLMがこれまで遭遇した質問を参照できるようにする、シンプルで効果的な方法である。
  論文  参考訳（メタデータ） (2023-10-08T04:22:33Z)
• Exposing Query Identification for Search Transparency [69.06545074617685]
  本稿では,検索システムの2つのクラスにおいて,クエリとドキュメントの役割を逆転させることにより,検索タスクとしてのEQIの実現可能性について検討する。 本研究では,クエリのランク付けの質を評価するための評価基準を導出するとともに,近似EQIの様々な実践的側面に着目した経験的分析を行う。
  論文  参考訳（メタデータ） (2021-10-14T20:19:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。