論文の概要: Optimizing Multi-Hop Document Retrieval Through Intermediate Representations

• arxiv url: http://arxiv.org/abs/2503.04796v1
• Date: Sun, 02 Mar 2025 11:33:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-10 19:13:14.668564
• Title: Optimizing Multi-Hop Document Retrieval Through Intermediate Representations
• Title（参考訳）: 中間表現によるマルチホップ文書検索の最適化
• Authors: Jiaen Lin, Jingyu Liu,
• Abstract要約: Retrieval-augmented Generation (RAG)は、複雑なクエリ、特にマルチホップ質問に対処する際の課題に遭遇する。 次ホップ情報を取得する中間層からの中間表現を利用して外部知識を抽出するレイヤワイドRAG(L-RAG)を提案する。 実験の結果、L-RAGはオープンドメインのマルチホップ質問応答データセット上で既存のRAG法よりも優れていた。
• 参考スコア（独自算出の注目度）: 1.2010968598596632
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Retrieval-augmented generation (RAG) encounters challenges when addressing complex queries, particularly multi-hop questions. While several methods tackle multi-hop queries by iteratively generating internal queries and retrieving external documents, these approaches are computationally expensive. In this paper, we identify a three-stage information processing pattern in LLMs during layer-by-layer reasoning, consisting of extraction, processing, and subsequent extraction steps. This observation suggests that the representations in intermediate layers contain richer information compared to those in other layers. Building on this insight, we propose Layer-wise RAG (L-RAG). Unlike prior methods that focus on generating new internal queries, L-RAG leverages intermediate representations from the middle layers, which capture next-hop information, to retrieve external knowledge. L-RAG achieves performance comparable to multi-step approaches while maintaining inference overhead similar to that of standard RAG. Experimental results show that L-RAG outperforms existing RAG methods on open-domain multi-hop question-answering datasets, including MuSiQue, HotpotQA, and 2WikiMultiHopQA. The code is available in https://anonymous.4open.science/r/L-RAG-ADD5/
• Abstract（参考訳）: Retrieval-augmented Generation (RAG)は、複雑なクエリ、特にマルチホップ質問に対処する際の課題に遭遇する。 いくつかの手法は内部クエリを反復的に生成し、外部文書を取得することでマルチホップクエリに対処するが、これらの手法は計算コストが高い。 本稿では,層間推論におけるLCMの3段階情報処理パターンを抽出,処理,抽出ステップからなる層間推論で同定する。 この観察は、中間層における表現は他の層よりも豊かな情報を含んでいることを示唆している。 この知見に基づいて、我々はLayer-wise RAG (L-RAG)を提案する。 新しい内部クエリ生成に重点を置く従来の方法とは異なり、L-RAGは中間層からの中間表現を活用して、次のホップ情報をキャプチャし、外部知識を取得する。 L-RAGは、標準的なRAGと同様の推論オーバーヘッドを維持しながら、マルチステップアプローチに匹敵する性能を達成する。 実験の結果,L-RAG は MuSiQue,HotpotQA,2WikiMultiHopQA など,オープンドメインのマルチホップ質問応答データセット上で既存のRAG 手法よりも優れていた。 コードはhttps://anonymous.4open.science/r/L-RAG-ADD5/で公開されている。

関連論文リスト

• Comprehensive Comparison of RAG Methods Across Multi-Domain Conversational QA [18.46710400838861]
  本稿では,マルチターン対話型QAにおけるRAG手法の体系的比較の欠如に対処する。 本研究では,8種類の対話型QAデータセットを対象とした,バニラ法と高度なRAG法に関する総合的研究を行った。 以上の結果から,再ランク付けやハイブリッドBM25,HyDEなどの頑健で簡便な手法がバニラRAGより一貫して優れていたことが示唆された。
  論文  参考訳（メタデータ） (2026-02-10T08:59:23Z)
• Q-RAG: Long Context Multi-step Retrieval via Value-based Embedder Training [50.37345200692884]
  強化学習(RL)を用いた多段階探索のための細粒度埋め込みモデルQ-RAGを提案する。 Q-RAGは、オープンドメイン質問応答のための既存のマルチステップ検索方法に代わる、競合的でリソース効率のよい代替手段を提供する。
  論文  参考訳（メタデータ） (2025-11-10T17:31:02Z)
• Transforming Questions and Documents for Semantically Aligned Retrieval-Augmented Generation [1.223779595809275]
  マルチホップ質問応答に適した新しい検索拡張世代(RAG)フレームワークを提案する。 本システムは,大規模言語モデル(LLM)を用いて,複雑なマルチホップ質問を文書検索を導く単一ホップ要求列に分解する。 生文書やチャンクを直接埋め込む代わりに、Qwen3-8Bを使って各文書チャンクから回答可能な質問を生成し、これらの生成された質問を埋め込んで、質問-問合せの類似性を通じて関連チャンクを検索する。
  論文  参考訳（メタデータ） (2025-08-13T12:35:04Z)
• DeepSieve: Information Sieving via LLM-as-a-Knowledge-Router [57.28685457991806]
  DeepSieveはエージェントRAGフレームワークで、LLM-as-a-knowledge-routerを介して情報を収集する。 我々の設計はモジュール性、透明性、適応性を重視しており、エージェントシステム設計の最近の進歩を活用している。
  論文  参考訳（メタデータ） (2025-07-29T17:55:23Z)
• Hierarchical Lexical Graph for Enhanced Multi-Hop Retrieval [22.33550491040999]
  RAGは、大きな言語モデルを外部の証拠に基礎を置いているが、セマンティックに遠く離れた文書で答えをまとめなければならないと、いまだに混乱している。 私たちは、StatementGraphRAGとTopicGraphRAGという2つのプラグイン・アンド・プレイレトリバーを構築します。 提案手法は,検索リコールと正当性において平均23.1%の相対的改善を達成し,有意なチャンクベースRAGよりも優れていた。
  論文  参考訳（メタデータ） (2025-06-09T17:58:35Z)
• R3-RAG: Learning Step-by-Step Reasoning and Retrieval for LLMs via Reinforcement Learning [62.742230250513025]
  Retrieval-Augmented Generation (RAG)は、外部知識をLLM(Large Language Models)と統合し、事実の正しさと幻覚を高める。 我々は、 $textbfR$einforcement Learning を用いて LLM に $textbfR$eason と $textbfR$etrieve を段階的に学習させる $textbfR3-RAG$ を提案する。
  論文  参考訳（メタデータ） (2025-05-26T12:25:37Z)
• Divide by Question, Conquer by Agent: SPLIT-RAG with Question-Driven Graph Partitioning [62.640169289390535]
  SPLIT-RAGは、質問駆動セマンティックグラフ分割と協調サブグラフ検索による制限に対処するマルチエージェントRAGフレームワークである。 革新的なフレームワークは、まずリンク情報のセマンティック分割を作成し、次にタイプ特化知識ベースを使用してマルチエージェントRAGを実現する。 属性対応グラフセグメンテーションは、知識グラフを意味的に一貫性のあるサブグラフに分割し、サブグラフが異なるクエリタイプと整合することを保証する。 階層的なマージモジュールは、論理的検証を通じて、部分グラフ由来の解答間の矛盾を解消する。
  論文  参考訳（メタデータ） (2025-05-20T06:44:34Z)
• LaRA: Benchmarking Retrieval-Augmented Generation and Long-Context LLMs -- No Silver Bullet for LC or RAG Routing [70.35888047551643]
  本稿では,RAGとLC LLMを厳格に比較するための新しいベンチマークであるLaRAを提案する。 LaRAは4つのQAタスクカテゴリと3種類の自然発生長文の2326のテストケースを含んでいる。 RAGとLCの最適選択は,モデルのパラメータサイズ,長文機能,コンテキスト長,タスクタイプ,取得したチャンクの特性など,複雑な相互作用に依存する。
  論文  参考訳（メタデータ） (2025-02-14T08:04:22Z)
• Can we Retrieve Everything All at Once? ARM: An Alignment-Oriented LLM-based Retrieval Method [48.14236175156835]
  ARMは、データオブジェクト間の関係を探索することで、データ収集の組織とよりよく一致させることを目指している。 クエリ分解の精度は最大5.2 pt、エージェントRAG(ReAct)は最大15.9 ptである。 最大5.5 pt、19.3 ptのF1マッチスコアをこれらのアプローチと比較して達成する。
  論文  参考訳（メタデータ） (2025-01-30T18:07:19Z)
• Benchmarking Multimodal Retrieval Augmented Generation with Dynamic VQA Dataset and Self-adaptive Planning Agent [92.57125498367907]
  マルチモーダル大規模言語モデル(MLLM)に固有の「ハロシン化」問題を緩和する上で,mRAG(Multimodal Retrieval Augmented Generation)が重要な役割を果たしている。 マルチモーダル検索のための自己適応型計画エージェントOmniSearchを提案する。
  論文  参考訳（メタデータ） (2024-11-05T09:27:21Z)
• BRIEF: Bridging Retrieval and Inference for Multi-hop Reasoning via Compression [91.23933111083389]
  Retrieval-augmented Generation (RAG)は、外部知識を統合することで、大きな言語モデル(LLM)を補完することができる。 本稿では,クエリ対応マルチホップ推論を行う軽量なアプローチであるBRIEFを提案する。 オープンソースモデルで構築した合成データに基づいて,BRIEFはより簡潔な要約を生成する。
  論文  参考訳（メタデータ） (2024-10-20T04:24:16Z)
• Enhancing Long Context Performance in LLMs Through Inner Loop Query Mechanism [2.919891871101241]
  変換器は入力サイズと計算複雑性の2次スケーリングを持つ。 Retrieval-augmented Generation (RAG)は、検索システムを使用することで、より長いコンテキストを処理できる。 インナーループメモリ拡張ツリー検索(ILM-TR)という新しい手法を導入する。
  論文  参考訳（メタデータ） (2024-10-11T19:49:05Z)
• EfficientRAG: Efficient Retriever for Multi-Hop Question Answering [52.64500643247252]
  マルチホップ質問応答のための効率的な検索器であるEfficientRAGを紹介する。 実験の結果、EfficientRAGは3つのオープンドメインのマルチホップ質問応答データセット上で既存のRAG手法を超越していることがわかった。
  論文  参考訳（メタデータ） (2024-08-08T06:57:49Z)
• Retrieve, Summarize, Plan: Advancing Multi-hop Question Answering with an Iterative Approach [6.549143816134531]
  二重機能要約器を備えたReSPと呼ばれる新しい反復RAG法を提案する。 マルチホップ質問応答HotpotQAと2WikiMultihopQAの実験結果から,本手法が最先端技術よりも優れていることが示された。
  論文  参考訳（メタデータ） (2024-07-18T02:19:00Z)
• Multi-Head RAG: Solving Multi-Aspect Problems with LLMs [13.638439488923671]
  検索拡張生成(RAG)は大規模言語モデル(LLM)の能力を向上させる 既存のRAGソリューションは、実質的に異なる内容の複数のドキュメントを取得する必要がある可能性のあるクエリに焦点を当てていない。 本稿では,このギャップをシンプルかつ強力なアイデアで解決する新しい手法として,MRAG(Multi-Head RAG)を提案する。
  論文  参考訳（メタデータ） (2024-06-07T16:59:38Z)
• MultiHop-RAG: Benchmarking Retrieval-Augmented Generation for Multi-Hop Queries [22.4349439498591]
  Retrieval-augmented Generation (RAG)は、関連する知識を検索することで、大きな言語モデル(LLM)を拡張する。 既存のRAGシステムはマルチホップクエリに応答するには不十分であり、複数の証拠を検索して推論する必要がある。 我々は,知識ベース,多数のマルチホップクエリのコレクション,基礎的回答,関連する支持証拠からなる新しいデータセットであるMultiHop-RAGを開発した。
  論文  参考訳（メタデータ） (2024-01-27T11:41:48Z)
• Answering Any-hop Open-domain Questions with Iterative Document Reranking [62.76025579681472]
  オープンドメインの問に答える統合QAフレームワークを提案する。 提案手法は,シングルホップおよびマルチホップのオープンドメインQAデータセットにおいて,最先端技術に匹敵する性能を継続的に達成する。
  論文  参考訳（メタデータ） (2020-09-16T04:31:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。