論文の概要: Training Documents Reranker with Search Rubrics for Deep Research Agent
- arxiv url: http://arxiv.org/abs/2608.03527v1
- Date: Tue, 04 Aug 2026 12:11:14 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-05 15:30:23.167507
- Title: Training Documents Reranker with Search Rubrics for Deep Research Agent
- Title(参考訳): ディープリサーチエージェントのためのサーチルーブリックを用いたリランカー訓練用文書
- Authors: Wenhan Liu, Yu Lu, Qiaolin Xia, Hui Xu, Tong Zhao, Jian Xi, Yutao Zhu, Haijin Liang, Haibo Shi, Hao Wang, Zhicheng Dou,
- Abstract要約: 本稿では,高品質な文書集合が満たすべき要件をテキスト的に定義する検索指向のルーブリックを提案する。
さらに、検索したドキュメントから高品質なサブセットを選択するために、ドキュメントリランカ textbfRubricRanker をトレーニングします。
- 参考スコア(独自算出の注目度): 54.08506174105984
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Retrieval systems help deep research agents generate high-quality answers by providing relevant documents. However, existing retrievers typically select documents through relevance matching, while individually well-matched top-$k$ documents may not form a \textit{set} that satisfies the complex information needs of an agent query (\eg, diverse, concise and authoritative documents). In this paper, we propose search-oriented rubrics that \textit{explicitly} define the requirements that high-quality document sets should satisfy for each agent query. Our search rubrics are organized into a hierarchical structure and synthesized using a powerful LLM. Based on these search rubrics, we further train a document reranker \textbf{RubricRanker} to select a high-quality subset from retrieved documents. We design a two-stage training framework that consists of rubrics-guided supervised fine-tuning and rubric-based reinforcement learning. Extensive experiments demonstrate that RubricRanker outperforms the strongest baseline by 2.6 points on four deep research benchmarks and generalizes well to five RAG benchmarks.
- Abstract(参考訳): 検索システムは、関連するドキュメントを提供することで、ディープリサーチエージェントが高品質な回答を生成するのに役立つ。
しかし、既存のレトリバーは、関連マッチングを通じてドキュメントを選択するのが一般的であるが、個別に整合した上位$k$ドキュメントは、エージェントクエリの複雑な情報要求を満たす \textit{set} を形成できない(多種多様で簡潔で権威のある文書)。
本稿では,各エージェントクエリに対して,高品質なドキュメントセットが満足すべき要件を定義した検索指向のルークスを提案する。
検索ルーブリックは階層構造に整理され,強力なLLMを用いて合成される。
これらの検索ルーリックに基づいて、検索した文書から高品質なサブセットを選択するために、ドキュメント再ランカ \textbf{RubricRanker} をトレーニングする。
我々は,ルーブリック誘導型微調整学習とルーブリックベース強化学習を組み合わせた2段階のトレーニングフレームワークを設計する。
広範囲な実験により、RubricRankerは4つのディープリサーチベンチマークにおいて2.6ポイントで最強のベースラインを上回り、RAGベンチマークを5つまで一般化している。
関連論文リスト
- DocArena: Turning Raw Documents into Controllable Training Environments for Document Search Agents [44.01307558575661]
DocArenaは、生のドキュメントコレクションを、人間のアノテーションなしで検索エージェントのトレーニング環境に変換する。
16のドメインと49の言語にまたがる8,336のドキュメントからQAペアのDocArena-79Kを導入する。
6つのマルチモーダル文書シナリオと7つのテキストベースのQAベンチマーク実験により、DocArenaデータでトレーニングされたエージェントは、検索精度とQA品質の両方で最高のパフォーマンスを達成することが示された。
論文 参考訳(メタデータ) (2026-05-27T21:21:42Z) - Revisiting Text Ranking in Deep Research [24.324221566628125]
Black-box Web Search APIは、検索コンポーネントの体系的な分析を妨げる。
我々は、深い研究環境において、IRテキストランキング手法における重要な発見とベストプラクティスの選択を再現する。
論文 参考訳(メタデータ) (2026-02-25T00:18:07Z) - BookRAG: A Hierarchical Structure-aware Index-based Approach for Retrieval-Augmented Generation on Complex Documents [11.158307125677375]
Retrieval-Augmented Generation (RAG)は、外部の複雑なドキュメントから非常に関連性の高い情報をクエリする。
本稿では,階層構造を持つ文書を対象とした新しいRAG手法であるBookRAGを紹介する。
BookRAGは最先端のパフォーマンスを実現し、検索リコールとQA精度の両方において、ベースラインを著しく上回っている。
論文 参考訳(メタデータ) (2025-12-03T03:40:49Z) - Query Decomposition for RAG: Balancing Exploration-Exploitation [83.79639293409802]
RAGシステムは複雑なユーザ要求に対処し、それらをサブクエリに分解し、それぞれに関連する可能性のあるドキュメントを取得し、それを集約して回答を生成する。
クエリの分解とドキュメントの検索をエクスプロレーション探索設定で定式化し、一度に1つのドキュメントを検索すると、与えられたサブクエリの有用性についての信念が構築される。
我々の主な発見は、ランク情報と人的判断を用いた文書関連性の推定により、文書レベルの精度が35%向上し、α-nDCGが15%向上し、長文生成の下流タスクの性能が向上するということである。
論文 参考訳(メタデータ) (2025-10-21T13:37:11Z) - Hierarchical Retrieval: The Geometry and a Pretrain-Finetune Recipe [42.35197658021889]
一致するクエリとドキュメントのペアを類似したベクトル表現に埋め込んだデュアルエンコーダ(DE)モデルは、情報検索に広く利用されている。
本稿では,階層的検索(HR)の文脈において,文書集合が階層構造を持ち,クエリに適合する文書がすべてその祖先であるような制約について検討する。
近い文書の性能を犠牲にすることなく、長距離検索を大幅に改善するプレトレインファインチューンレシピを提案する。
論文 参考訳(メタデータ) (2025-09-19T20:35:58Z) - Chain of Retrieval: Multi-Aspect Iterative Search Expansion and Post-Order Search Aggregation for Full Paper Retrieval [68.71038700559195]
The Chain of Retrieval (COR) is a novel repeaterative framework for full-paper search。
SCIBENCH(SCIBENCH)は、クエリと候補のための全論文の完全なコンテキストとセグメント化されたコンテキストを提供するベンチマークである。
論文 参考訳(メタデータ) (2025-07-14T08:41:53Z) - Generative Retrieval Meets Multi-Graded Relevance [104.75244721442756]
GRADed Generative Retrieval (GR$2$)というフレームワークを紹介します。
GR$2$は2つの重要なコンポーネントに焦点を当てている。
マルチグレードとバイナリの関連性を持つデータセットの実験は,GR$2$の有効性を示した。
論文 参考訳(メタデータ) (2024-09-27T02:55:53Z) - STaRK: Benchmarking LLM Retrieval on Textual and Relational Knowledge Bases [93.96463520716759]
テキストと知識ベースを用いた大規模半構造検索ベンチマークSTARKを開発した。
本ベンチマークでは, 製品検索, 学術論文検索, 精密医療におけるクエリの3分野について検討した。
多様なリレーショナル情報と複雑なテキスト特性を統合した,現実的なユーザクエリを合成する,新しいパイプラインを設計する。
論文 参考訳(メタデータ) (2024-04-19T22:54:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。