論文の概要: Retrieval-in-the-Chain: Bootstrapping Large Language Models for Generative Retrieval

• arxiv url: http://arxiv.org/abs/2510.13095v1
• Date: Wed, 15 Oct 2025 02:29:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-16 20:13:28.476656
• Title: Retrieval-in-the-Chain: Bootstrapping Large Language Models for Generative Retrieval
• Title（参考訳）: Retrieval-in-the-Chain:生成検索のための大規模言語モデルのブートストラップ
• Authors: Yingchen zhang, Ruqing zhang, Jiafeng Guo, Wenjun Peng, Sen Li, Fuyu Lv,
• Abstract要約: 生成検索のための推論強化フレームワークであるReason-for-Retrieval(R4R)を提案する。 R4Rは、自由形式のチェーン・オブ・シークレット(CoT)推論をコンパクトで構造化されたフォーマットに変換し、検索プロセス中の推論を反復的に洗練する。 自然質問、MS MARCO、および実世界の項目探索ベンチマークに関する広範囲な実験により、R4Rの有効性が検証された。
• 参考スコア（独自算出の注目度）: 40.35703097974511
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Generative retrieval (GR) is an emerging paradigm that leverages large language models (LLMs) to autoregressively generate document identifiers (docids) relevant to a given query. Prior works have focused on leveraging the generative capabilities of LLMs to improve GR, while overlooking that their reasoning capabilities could likewise help. This raises a key question: Can explicit reasoning benefit GR? To investigate, we first conduct a preliminary study where an LLM is prompted to generate free-form chain-of-thought (CoT) reasoning before performing constrained docid decoding. Although this method outperforms standard GR, the generated reasoning tends to be verbose and poorly aligned with the docid space. These limitations motivate the development of a reasoning mechanism better tailored to GR. Therefore, we propose Reason-for-Retrieval (R4R), a reasoning-augmented framework for GR that converts free-form CoT reasoning into a compact, structured format, and iteratively refines the reasoning during the retrieval process. R4R augments an existing GR method by leveraging a reasoning-capable LLM that has been instruction-tuned for GR. At inference time, R4R first uses the LLM to generate an initial structured reasoning; then the same LLM alternates between (i) constrained decoding with the chosen GR method to produce candidate docids and (ii) updating the reasoning based on retrieval results to improve the next round. R4R does not require additional models or training, and instead a single LLM serves as both the reasoning generator and the retriever. Extensive experiments on Natural Questions, MS MARCO, and a real-world item-search benchmark validate the effectiveness of R4R.
• Abstract（参考訳）: 生成検索(GR)は、大規模言語モデル(LLM)を利用して、与えられたクエリに関連する文書識別子(ドシデント)を自動回帰的に生成する新興パラダイムである。 以前の研究は、GRを改善するためにLLMの生成能力を活用することに注力し、それらの推論能力が同様に役立つことを見落としていた。 これは重要な疑問を提起する。 明確な推論はGRに利益をもたらすか? 本研究はまず,LLMが制約ドシッド復号を行う前に,自由形連鎖(CoT)推論を生成するための予備的研究を行う。 この方法は標準GRより優れているが、生成された推論は冗長であり、ドシド空間と不整合である傾向がある。 これらの制限はGRに合わせた推論機構の開発を動機付けている。 そこで我々は,自由形式のCoT推論をコンパクトで構造化された形式に変換し,検索過程の推論を反復的に洗練するGR用推論拡張フレームワークであるReason-for-Retrieval (R4R)を提案する。 R4Rは、GRのために命令調整された推論可能なLLMを活用することで、既存のGRメソッドを拡張している。 推論時、R4R はまず LLM を使用して初期構造推論を生成し、次に同じ LLM を交互に置き換える。 (i)選択したGR法で制約付き復号を行い、候補ドシデントを生成し、 二 検索結果に基づいて推論を更新し、次ラウンドを改善すること。 R4Rは追加のモデルや訓練を必要とせず、代わりに単一のLCMが推論ジェネレータとレトリバーの両方として機能する。 自然質問、MS MARCO、および実世界の項目探索ベンチマークに関する広範囲な実験により、R4Rの有効性が検証された。

関連論文リスト

• ZeroGR: A Generalizable and Scalable Framework for Zero-Shot Generative Retrieval [125.19156877994612]
  生成検索(GR)は、情報検索(IR)を文書識別子(ドシデント)の生成としてフレーミングすることによって再構成する 我々は、自然言語命令を利用して幅広いIRタスクにわたってGRを拡張するゼロショット生成検索フレームワークであるtextscZeroGRを提案する。 具体的には、textscZeroGRは、3つのキーコンポーネントで構成されている: (i)不均一な文書を意味的に意味のあるドシデントに統一するLMベースのドシデントジェネレータ; (ii)自然言語タスク記述から様々なタイプのクエリを生成し、拡張する命令チューニングクエリジェネレータ。
  論文  参考訳（メタデータ） (2025-10-12T03:04:24Z)
• R3-RAG: Learning Step-by-Step Reasoning and Retrieval for LLMs via Reinforcement Learning [62.742230250513025]
  Retrieval-Augmented Generation (RAG)は、外部知識をLLM(Large Language Models)と統合し、事実の正しさと幻覚を高める。 我々は、 $textbfR$einforcement Learning を用いて LLM に $textbfR$eason と $textbfR$etrieve を段階的に学習させる $textbfR3-RAG$ を提案する。
  論文  参考訳（メタデータ） (2025-05-26T12:25:37Z)
• MCTS-RAG: Enhancing Retrieval-Augmented Generation with Monte Carlo Tree Search [61.11836311160951]
  本稿では,知識集約型タスクにおける小言語モデルの推論能力を高める新しいアプローチであるMCTS-RAGを紹介する。 通常、推論から独立して情報を取得する標準的なRAG法とは異なり、MCTS-RAGは構造化推論と適応的検索を組み合わせる。 この統合されたアプローチは意思決定を強化し、幻覚を減らし、事実の正確性と応答の整合性を向上させる。
  論文  参考訳（メタデータ） (2025-03-26T17:46:08Z)
• Search-R1: Training LLMs to Reason and Leverage Search Engines with Reinforcement Learning [50.419872452397684]
  Search-R1は推論フレームワークのための強化学習の拡張である。 リアルタイム検索とステップバイステップ推論の間に検索クエリを生成する。 性能は41%(Qwen2.5-7B)、20%(Qwen2.5-3B)で改善されている。
  論文  参考訳（メタデータ） (2025-03-12T16:26:39Z)
• Large Language Model Can Be a Foundation for Hidden Rationale-Based Retrieval [12.83513794686623]
  本稿では,隠れ合理性検索という,より困難なタイプの検索タスクを提案し,検討する。 このような問題に対処するためには、命令調整付き大規模言語モデル(LLM)とクロスエンコーダアーキテクチャが妥当な選択である可能性がある。 我々は、RaHoReによってこの検索フレームワークを命名し、感情支援会話(ESC)におけるゼロショットおよび微調整性能上の優位性を検証した。
  論文  参考訳（メタデータ） (2024-12-21T13:19:15Z)
• RAG-Star: Enhancing Deliberative Reasoning with Retrieval Augmented Verification and Refinement [85.08223786819532]
  既存の大規模言語モデル(LLM)は、例外的な問題解決能力を示すが、複雑な推論タスクに苦労する可能性がある。 検索情報を統合した新しいRAG手法である textbfRAG-Star を提案する。 Llama-3.1-8B-Instruct と GPT-4o を併用した実験により,RAG-Star は従来のRAG と推理法を著しく上回っていることが示された。
  論文  参考訳（メタデータ） (2024-12-17T13:05:36Z)
• RARE: Retrieval-Augmented Reasoning Enhancement for Large Language Models [13.478123641238277]
  RARE(Retrieval-Augmented Reasoning Enhancement)は相互推論フレームワーク(rStar)の汎用的拡張である これは、コモンセンスや医学的推論といった複雑な知識集約的なタスクに対して、大規模言語モデル(LLM)の推論精度と事実整合性を高めることを目的としている。
  論文  参考訳（メタデータ） (2024-12-03T20:52:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。