論文の概要: HoH: A Dynamic Benchmark for Evaluating the Impact of Outdated Information on Retrieval-Augmented Generation

• arxiv url: http://arxiv.org/abs/2503.04800v1
• Date: Mon, 03 Mar 2025 06:54:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-10 15:57:03.319258
• Title: HoH: A Dynamic Benchmark for Evaluating the Impact of Outdated Information on Retrieval-Augmented Generation
• Title（参考訳）: HoH: 検索・拡張生成における古い情報の影響評価のための動的ベンチマーク
• Authors: Jie Ouyang, Tingyue Pan, Mingyue Cheng, Ruiran Yan, Yucong Luo, Jiaying Lin, Qi Liu,
• Abstract要約: このベンチマークは、古くなった情報がRetrieval-Augmented Generation (RAG)に与える影響を評価するために設計された最初のベンチマークである。 時代遅れの情報はRAGの性能を2つの重要な方法で著しく低下させることを示す。 これらの知見は、RAGの時間的課題に対処する革新的ソリューションの緊急の必要性を浮き彫りにしている。
• 参考スコア（独自算出の注目度）: 11.77222928144223
• License:
• Abstract: While Retrieval-Augmented Generation (RAG) has emerged as an effective approach for addressing the knowledge outdating problem in Large Language Models (LLMs), it faces a critical challenge: the prevalence of outdated information in knowledge bases. Current research primarily focuses on incorporating up-to-date information, yet the impact of outdated information coexisting in retrieval sources remains inadequately addressed. To bridge this gap, we introduce HoH, the first benchmark specifically designed to evaluate the impact of outdated information on RAG. Our benchmark leverages token-level diff algorithms combined with LLM pipelines to efficiently create a large-scale QA dataset that accurately captures temporal knowledge evolution in real-world facts. Through comprehensive experiments, we reveal that outdated information significantly degrades RAG performance in two critical ways: (1) it substantially reduces response accuracy by distracting models from correct information, and (2) it can mislead models into generating potentially harmful outputs, even when current information is available. Current RAG approaches struggle with both retrieval and generation aspects when handling outdated information. These findings highlight the urgent need for innovative solutions to address the temporal challenges in RAG.
• Abstract（参考訳）: Retrieval-Augmented Generation (RAG) は、Large Language Models (LLMs) における知識の陳腐化問題に対処するための効果的なアプローチとして登場したが、これは重要な課題に直面している。 現在の研究は主に最新情報を取り入れることに重点を置いているが、検索ソースに共存する時代遅れの情報の影響は未解決のままである。 このギャップを埋めるために、時代遅れの情報がRAGに与える影響を評価するために特別に設計された最初のベンチマークであるHoHを紹介する。 我々のベンチマークでは、LLMパイプラインと組み合わせたトークンレベルの差分アルゴリズムを利用して、実世界の事実の時間的知識の進化を正確に捉えた大規模QAデータセットを効率的に作成する。 総合的な実験により,時代遅れの情報がRAG性能を著しく低下させることが明らかとなった。(1)モデルと正しい情報とを混同することで応答精度を大幅に低下させ,(2)現在の情報が得られても,モデルが潜在的に有害なアウトプットを発生させる可能性がある。 現在のRAGアプローチは、古い情報を扱う際に、検索と生成の両方に苦労する。 これらの知見は、RAGの時間的課題に対処する革新的ソリューションの緊急の必要性を浮き彫りにしている。

関連論文リスト

• Enhancing Health Information Retrieval with RAG by Prioritizing Topical Relevance and Factual Accuracy [0.7673339435080445]
  本稿では, 科学的根拠に基づく健康関連文書の検索を促進するために, RAG(Retrieval-Augmented Generation)を駆使した手法を提案する。 特に,3段階のモデルを提案する。第1段階では,科学的文献によって構成された知識ベースから,利用者のクエリを用いて,関連した項目を検索する。 第2段階では、これらのパスは初期クエリとともにLLMによって処理され、コンテキストに関連のあるリッチテキスト(GenText)を生成する。 最終段階では、検索対象の文書を評価・ランク付けする。
  論文  参考訳（メタデータ） (2025-02-07T05:19:13Z)
• Improving Factuality with Explicit Working Memory [68.39261790277615]
  大規模な言語モデルは、幻覚として知られる、事実的に不正確なコンテンツを生成することができる。 EWE(Explicit Working Memory)は、外部リソースからのリアルタイムフィードバックを受信するワーキングメモリを統合することで、長文テキスト生成における事実性を高める新しい手法である。
  論文  参考訳（メタデータ） (2024-12-24T00:55:59Z)
• Retriever-and-Memory: Towards Adaptive Note-Enhanced Retrieval-Augmented Generation [72.70046559930555]
  本稿では,複雑なQAタスクに対する適応ノート拡張RAG(Adaptive Note-Enhanced RAG)と呼ばれる汎用RAGアプローチを提案する。 具体的には、Adaptive-Noteは、知識の成長に関する包括的な視点を導入し、ノート形式で新しい情報を反復的に収集する。 さらに,適切な知識探索を促進するために,適応的な音符ベースの停止探索戦略を用いて,「何を検索し,いつ停止するか」を判断する。
  論文  参考訳（メタデータ） (2024-10-11T14:03:29Z)
• Controlling Risk of Retrieval-augmented Generation: A Counterfactual Prompting Framework [77.45983464131977]
  我々は、RAGモデルの予測が誤りであり、現実のアプリケーションにおいて制御不能なリスクをもたらす可能性がどの程度あるかに焦点を当てる。 本研究は,RAGの予測に影響を及ぼす2つの重要な潜伏要因を明らかにする。 我々は,これらの要因をモデルに誘導し,その応答に与える影響を解析する,反実的プロンプトフレームワークを開発した。
  論文  参考訳（メタデータ） (2024-09-24T14:52:14Z)
• Trustworthiness in Retrieval-Augmented Generation Systems: A Survey [59.26328612791924]
  Retrieval-Augmented Generation (RAG)は、大規模言語モデル(LLM)の開発において、急速に重要なパラダイムへと成長してきた。 本稿では,RAGシステムの信頼性を,事実性,堅牢性,公正性,透明性,説明責任,プライバシの6つの面で評価する統一的な枠組みを提案する。
  論文  参考訳（メタデータ） (2024-09-16T09:06:44Z)
• Mindful-RAG: A Study of Points of Failure in Retrieval Augmented Generation [11.471919529192048]
  LLM(Large Language Models)は、コヒーレントで文脈的に関係のあるテキストを生成するのに熟練した言語モデルである。 Retrieval-augmented Generation (RAG) システムは、構造化知識グラフ(KG)のような外部知識ソースを組み込むことによってこれを緩和する。 本研究は,既存のKG法に基づくRAG法における誤りパターンの解析と8つの臨界故障点の同定により,このジレンマについて検討した。
  論文  参考訳（メタデータ） (2024-07-16T23:50:07Z)
• RULE: Reliable Multimodal RAG for Factuality in Medical Vision Language Models [35.60385437194243]
  現在の医療用大規模視覚言語モデル(Med-LVLM)は、しばしば現実の問題に遭遇する。 外部知識を利用するRAGは、これらのモデルの現実的精度を向上させることができるが、2つの大きな課題を提起する。 本稿では,2つのコンポーネントからなるRULEを提案する。まず,検索したコンテキストの選択を通じて事実性リスクを制御するための有効な戦略を提案する。 次に、検索したコンテキストへの過度な依存がエラーを引き起こしたサンプルに基づいて、選好データセットをキュレートしてモデルを微調整する。
  論文  参考訳（メタデータ） (2024-07-06T16:45:07Z)
• DuetRAG: Collaborative Retrieval-Augmented Generation [57.440772556318926]
  協調検索拡張生成フレームワークであるDuetRAGが提案されている。 ブートストラップの哲学はドメインフィニングとRAGモデルを同時に統合することである。
  論文  参考訳（メタデータ） (2024-05-12T09:48:28Z)
• Not All Contexts Are Equal: Teaching LLMs Credibility-aware Generation [47.42366169887162]
  Credibility-Aware Generation (CAG) は、信頼性に基づいて情報を識別・処理する能力を備えたモデルを提供することを目的としている。 提案モデルは,生成に対する信頼性を効果的に理解し活用し,検索強化により他のモデルよりも大幅に優れ,ノイズの多い文書による破壊に対するレジリエンスを示す。
  論文  参考訳（メタデータ） (2024-04-10T07:56:26Z)
• Information Association for Language Model Updating by Mitigating LM-Logical Discrepancy [68.31760483418901]
  大規模言語モデル(LLM)は、時代遅れの事前学習データのために現在の情報を提供するのに苦労する。 知識編集や連続的な微調整など,従来のLCMの更新方法は,新たな情報の一般化に重大な欠点がある。 これらの欠点の中核となる課題は,言語モデリングの確率と論理的確率の差を特徴とするLM論理的相違である。
  論文  参考訳（メタデータ） (2023-05-29T19:48:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。