Fugu-MT 論文翻訳(概要): Optimizing Multi-Hop Document Retrieval Through Intermediate Representations

論文の概要: Optimizing Multi-Hop Document Retrieval Through Intermediate Representations

arxiv url: http://arxiv.org/abs/2503.04796v1
Date: Sun, 02 Mar 2025 11:33:22 GMT
ステータス: 翻訳完了
システム内更新日: 2025-03-16 08:47:11.334775
Title: Optimizing Multi-Hop Document Retrieval Through Intermediate Representations
Title（参考訳）: 中間表現によるマルチホップ文書検索の最適化
Authors: Jiaen Lin, Jingyu Liu,
Abstract要約: Retrieval-augmented Generation (RAG)は、複雑なクエリ、特にマルチホップ質問に対処する際の課題に遭遇する。次ホップ情報を取得する中間層からの中間表現を利用して外部知識を抽出するレイヤワイドRAG(L-RAG)を提案する。実験の結果、L-RAGはオープンドメインのマルチホップ質問応答データセット上で既存のRAG法よりも優れていた。
参考スコア（独自算出の注目度）: 1.2010968598596632
License:
Abstract: Retrieval-augmented generation (RAG) encounters challenges when addressing complex queries, particularly multi-hop questions. While several methods tackle multi-hop queries by iteratively generating internal queries and retrieving external documents, these approaches are computationally expensive. In this paper, we identify a three-stage information processing pattern in LLMs during layer-by-layer reasoning, consisting of extraction, processing, and subsequent extraction steps. This observation suggests that the representations in intermediate layers contain richer information compared to those in other layers. Building on this insight, we propose Layer-wise RAG (L-RAG). Unlike prior methods that focus on generating new internal queries, L-RAG leverages intermediate representations from the middle layers, which capture next-hop information, to retrieve external knowledge. L-RAG achieves performance comparable to multi-step approaches while maintaining inference overhead similar to that of standard RAG. Experimental results show that L-RAG outperforms existing RAG methods on open-domain multi-hop question-answering datasets, including MuSiQue, HotpotQA, and 2WikiMultiHopQA. The code is available in https://anonymous.4open.science/r/L-RAG-ADD5/
Abstract（参考訳）: Retrieval-augmented Generation (RAG)は、複雑なクエリ、特にマルチホップ質問に対処する際の課題に遭遇する。いくつかの手法は内部クエリを反復的に生成し、外部文書を取得することでマルチホップクエリに対処するが、これらの手法は計算コストが高い。本稿では,層間推論におけるLCMの3段階情報処理パターンを抽出,処理,抽出ステップからなる層間推論で同定する。この観察は、中間層における表現は他の層よりも豊かな情報を含んでいることを示唆している。この知見に基づいて、我々はLayer-wise RAG (L-RAG)を提案する。新しい内部クエリ生成に重点を置く従来の方法とは異なり、L-RAGは中間層からの中間表現を活用して、次のホップ情報をキャプチャし、外部知識を取得する。 L-RAGは、標準的なRAGと同様の推論オーバーヘッドを維持しながら、マルチステップアプローチに匹敵する性能を達成する。実験の結果,L-RAG は MuSiQue,HotpotQA,2WikiMultiHopQA など,オープンドメインのマルチホップ質問応答データセット上で既存のRAG 手法よりも優れていた。コードはhttps://anonymous.4open.science/r/L-RAG-ADD5/で公開されている。

関連論文リスト

LaRA: Benchmarking Retrieval-Augmented Generation and Long-Context LLMs -- No Silver Bullet for LC or RAG Routing [70.35888047551643]
本稿では,RAGとLC LLMを厳格に比較するための新しいベンチマークであるLaRAを提案する。 LaRAは4つのQAタスクカテゴリと3種類の自然発生長文の2326のテストケースを含んでいる。 RAGとLCの最適選択は,モデルのパラメータサイズ,長文機能,コンテキスト長,タスクタイプ,取得したチャンクの特性など,複雑な相互作用に依存する。
論文参考訳（メタデータ） (2025-02-14T08:04:22Z)
Can we Retrieve Everything All at Once? ARM: An Alignment-Oriented LLM-based Retrieval Method [48.14236175156835]
ARMは、データオブジェクト間の関係を探索することで、データ収集の組織とよりよく一致させることを目指している。クエリ分解の精度は最大5.2 pt、エージェントRAG(ReAct)は最大15.9 ptである。最大5.5 pt、19.3 ptのF1マッチスコアをこれらのアプローチと比較して達成する。
論文参考訳（メタデータ） (2025-01-30T18:07:19Z)
Benchmarking Multimodal Retrieval Augmented Generation with Dynamic VQA Dataset and Self-adaptive Planning Agent [102.31558123570437]
マルチモーダル大規模言語モデル(MLLM)に固有の「ハロシン化」問題を緩和する上で,mRAG(Multimodal Retrieval Augmented Generation)が重要な役割を果たしている。マルチモーダル検索のための自己適応型計画エージェントOmniSearchを提案する。
論文参考訳（メタデータ） (2024-11-05T09:27:21Z)
BRIEF: Bridging Retrieval and Inference for Multi-hop Reasoning via Compression [91.23933111083389]
Retrieval-augmented Generation (RAG)は、外部知識を統合することで、大きな言語モデル(LLM)を補完することができる。本稿では,クエリ対応マルチホップ推論を行う軽量なアプローチであるBRIEFを提案する。オープンソースモデルで構築した合成データに基づいて,BRIEFはより簡潔な要約を生成する。
論文参考訳（メタデータ） (2024-10-20T04:24:16Z)
Enhancing Long Context Performance in LLMs Through Inner Loop Query Mechanism [2.919891871101241]
変換器は入力サイズと計算複雑性の2次スケーリングを持つ。 Retrieval-augmented Generation (RAG)は、検索システムを使用することで、より長いコンテキストを処理できる。インナーループメモリ拡張ツリー検索(ILM-TR)という新しい手法を導入する。
論文参考訳（メタデータ） (2024-10-11T19:49:05Z)
EfficientRAG: Efficient Retriever for Multi-Hop Question Answering [52.64500643247252]
マルチホップ質問応答のための効率的な検索器であるEfficientRAGを紹介する。実験の結果、EfficientRAGは3つのオープンドメインのマルチホップ質問応答データセット上で既存のRAG手法を超越していることがわかった。
論文参考訳（メタデータ） (2024-08-08T06:57:49Z)
Retrieve, Summarize, Plan: Advancing Multi-hop Question Answering with an Iterative Approach [6.549143816134531]
二重機能要約器を備えたReSPと呼ばれる新しい反復RAG法を提案する。マルチホップ質問応答HotpotQAと2WikiMultihopQAの実験結果から,本手法が最先端技術よりも優れていることが示された。
論文参考訳（メタデータ） (2024-07-18T02:19:00Z)
Multi-Head RAG: Solving Multi-Aspect Problems with LLMs [13.638439488923671]
検索拡張生成(RAG)は大規模言語モデル(LLM)の能力を向上させる既存のRAGソリューションは、実質的に異なる内容の複数のドキュメントを取得する必要がある可能性のあるクエリに焦点を当てていない。本稿では,このギャップをシンプルかつ強力なアイデアで解決する新しい手法として,MRAG(Multi-Head RAG)を提案する。
論文参考訳（メタデータ） (2024-06-07T16:59:38Z)
MultiHop-RAG: Benchmarking Retrieval-Augmented Generation for Multi-Hop Queries [22.4349439498591]
Retrieval-augmented Generation (RAG)は、関連する知識を検索することで、大きな言語モデル(LLM)を拡張する。既存のRAGシステムはマルチホップクエリに応答するには不十分であり、複数の証拠を検索して推論する必要がある。我々は,知識ベース,多数のマルチホップクエリのコレクション,基礎的回答,関連する支持証拠からなる新しいデータセットであるMultiHop-RAGを開発した。
論文参考訳（メタデータ） (2024-01-27T11:41:48Z)
Answering Any-hop Open-domain Questions with Iterative Document Reranking [62.76025579681472]
オープンドメインの問に答える統合QAフレームワークを提案する。提案手法は,シングルホップおよびマルチホップのオープンドメインQAデータセットにおいて,最先端技術に匹敵する性能を継続的に達成する。
論文参考訳（メタデータ） (2020-09-16T04:31:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。