論文の概要: Query-Focused Retrieval Heads Improve Long-Context Reasoning and Re-ranking
- arxiv url: http://arxiv.org/abs/2506.09944v1
- Date: Wed, 11 Jun 2025 17:12:06 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-06-13 06:35:03.159967
- Title: Query-Focused Retrieval Heads Improve Long-Context Reasoning and Re-ranking
- Title（参考訳）: クエリに焦点をあてた検索ヘッドは、ロングコンテキスト推論を改善し、再ランク付けする
- Authors: Wuwei Zhang, Fangcong Yin, Howard Yen, Danqi Chen, Xi Ye,
- Abstract要約: QRHEAD (Query-Focused Retrieval Head) を導入し、長いコンテキストからの検索を向上するアテンションヘッドの改良を行った。
また,QRHEADの蓄積したアテンションマスを検索スコアとして利用する,効率的かつ効果的な検索ツールであるQR-RETRIEVERを導入する。
- 参考スコア（独自算出の注目度）: 31.517803331568494
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recent work has identified retrieval heads (Wu et al., 2025b), a subset of attention heads responsible for retrieving salient information in long-context language models (LMs), as measured by their copy-paste behavior in Needle-in-a-Haystack tasks. In this paper, we introduce QRHEAD (Query-Focused Retrieval Head), an improved set of attention heads that enhance retrieval from long context. We identify QRHEAD by aggregating attention scores with respect to the input query, using a handful of examples from real-world tasks (e.g., long-context QA). We further introduce QR- RETRIEVER, an efficient and effective retriever that uses the accumulated attention mass of QRHEAD as retrieval scores. We use QR- RETRIEVER for long-context reasoning by selecting the most relevant parts with the highest retrieval scores. On multi-hop reasoning tasks LongMemEval and CLIPPER, this yields over 10% performance gains over full context and outperforms strong dense retrievers. We also evaluate QRRETRIEVER as a re-ranker on the BEIR benchmark and find that it achieves strong zero-shot performance, outperforming other LLM-based re-rankers such as RankGPT. Further analysis shows that both the querycontext attention scoring and task selection are crucial for identifying QRHEAD with strong downstream utility. Overall, our work contributes a general-purpose retriever and offers interpretability insights into the long-context capabilities of LMs.
- Abstract（参考訳）: 近年の研究では、ニードル・イン・ア・ヘイスタックタスクのコピー・ペースト行動から、長文言語モデル (LM) における敬意情報を取得するためのアテンションヘッドのサブセットである検索ヘッド (Wu et al , 2025b) を特定している。
本稿では,長いコンテキストからの検索を向上する注目ヘッドセットであるQRHEAD(Query-Focused Retrieval Head)を提案する。
QRHEADは、実際のタスク(例えば、長文QA)のサンプルを用いて、入力クエリに対する注意点を集約することで識別する。
さらに,QRHEADの蓄積したアテンションマスを検索スコアとして利用する,効率的かつ効果的な検索ツールであるQR-RETRIEVERを紹介する。
QR-ReTRIEVERは,検索スコアが最も高い部分を選択することで,長文推論に使用される。
マルチホップ推論タスクのLongMemEvalとCLIPPERでは、フルコンテキスト上で10%以上のパフォーマンス向上が達成され、強い高密度検索よりもパフォーマンスが向上する。
また, QRRETRIEVER を BEIR ベンチマークで再ランカとして評価し, 高いゼロショット性能を実現し, RankGPT などの LLM ベースの再ランカよりも優れていた。
さらに,クエリコンテキストのアテンションスコアリングとタスク選択の両方がQRHEADを強力な下流ユーティリティで識別するために重要であることを示す。
全体として、本研究は汎用検索に寄与し、LMの長文処理能力に関する解釈可能性に関する洞察を提供する。
関連論文リスト
- Re-ranking Reasoning Context with Tree Search Makes Large Vision-Language Models Stronger [51.01841635655944]
大規模視覚言語モデル(LVLM)の最近の進歩は、視覚質問応答(VQA)タスクのパフォーマンスを著しく改善している。
既存の手法は、推論例による知識の不足や、抽出された知識からの不規則な応答など、依然として課題に直面している。
我々は、Reasoning Context-enriched knowledge baseとTree Search re-level methodを構築し、LVLMを強化したRCTSと呼ばれるマルチモーダルRAGフレームワークを提案する。
論文 参考訳（メタデータ） (2025-06-09T14:00:57Z) - FB-RAG: Improving RAG with Forward and Backward Lookup [4.961899585180462]
本稿では,FB-RAGと呼ばれる新しいフレームワークを提案する。
FB-RAGはベンチマークテストにおいてRAGとLong Contextのベースラインを一貫して上回っていることを示す。
また、FB-RAGはレイテンシを低減しながら性能を向上できることを示す。
論文 参考訳（メタデータ） (2025-05-22T18:31:52Z) - Training a Utility-based Retriever Through Shared Context Attribution for Retrieval-Augmented Language Models [51.608246558235166]
SCARLetは、RALMsでユーティリティベースのレトリバーをトレーニングするためのフレームワークである。
マルチタスクの一般化とパッセージ間相互作用という2つの重要な要素が組み込まれている。
ドメイン内とドメイン外の両方で、さまざまなタスクにまたがる10のデータセットに対するアプローチを評価します。
論文 参考訳（メタデータ） (2025-04-01T09:28:28Z) - Retrieval-Augmented Perception: High-Resolution Image Perception Meets Visual RAG [79.61269381878547]
マルチモーダル大言語モデル(MLLM)における高分解能画像認識の課題
本稿では,従来の専門的アプローチから脱却し,MLLMの長文能力を高めることにより,最も基本的な考え方を人事知覚に再考する。
本研究では,空間的コンテキストを保ちながら関連する画像作物を抽出・融合する学習自由フレームワークであるRetrieval-Augmented Perception (RAP)を提案する。
論文 参考訳（メタデータ） (2025-03-03T06:40:21Z) - Is Relevance Propagated from Retriever to Generator in RAG? [21.82171240511567]
RAGは外部知識を組み込むためのフレームワークであり、通常はコレクションから取得した文書の集合の形式である。
我々は、トポロジに関連のある文書からなるRAGコンテキストが下流の性能向上につながるかどうかを実証的に検討する。
論文 参考訳（メタデータ） (2025-02-20T20:21:46Z) - SEAL: Scaling to Emphasize Attention for Long-Context Retrieval [9.446971590056945]
我々は、長期文脈検索(SEAL)における注意を強調するためのスケーリングと呼ばれる新しいアプローチを導入する。
これにより、拡張コンテキスト上での大規模言語モデル(LLM)の検索性能が向上する。
論文 参考訳（メタデータ） (2025-01-25T14:09:39Z) - Toward Optimal Search and Retrieval for RAG [39.69494982983534]
Retrieval-augmented Generation (RAG)は、Large Language Models (LLM)に関連するメモリ関連の課題に対処するための有望な方法である。
ここでは、質問回答(QA)などの共通タスクに対して、レトリバーをRAGパイプラインに最適化する方法を理解することを目的としている。
論文 参考訳（メタデータ） (2024-11-11T22:06:51Z) - Iterative Utility Judgment Framework via LLMs Inspired by Relevance in Philosophy [66.95501113584541]
ユーティリティとトピック関連性は、情報検索において重要な手段である。
本稿では,リトリーバル拡張生成のサイクルの各ステップを促進させるために,反復的ユーティリティである JudgmEnt fraMework を提案する。
論文 参考訳（メタデータ） (2024-06-17T07:52:42Z) - Boosting Conversational Question Answering with Fine-Grained Retrieval-Augmentation and Self-Check [25.63538452425097]
本稿では,対話型質問応答のための細粒度検索と自己チェックを組み込んだ対話レベルのRAG手法を提案する。
特に,本手法は,対話型質問精算器,きめ細かい検索器,自己チェックに基づく応答生成器の3つのコンポーネントから構成される。
論文 参考訳（メタデータ） (2024-03-27T04:20:18Z) - ReFIT: Relevance Feedback from a Reranker during Inference [109.33278799999582]
Retrieve-and-Rerankは、ニューラル情報検索の一般的なフレームワークである。
本稿では,リランカを利用してリコールを改善する手法を提案する。
論文 参考訳（メタデータ） (2023-05-19T15:30:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。