論文の概要: Token-Level Credit Assignment Optimization for Generative Document Retrieval

• arxiv url: http://arxiv.org/abs/2608.12049v1
• Date: Wed, 12 Aug 2026 13:28:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-13 19:07:54.592271
• Title: Token-Level Credit Assignment Optimization for Generative Document Retrieval
• Title（参考訳）: 生成文書検索のためのトークンレベルクレジット割り当て最適化
• Abstract要約: 生成検索モデルは、文書識別子(DocID)を自動回帰生成することで文書検索を行う 検索の有効性はDocIDの完全な生成後にのみ評価され、トークンレベルの生成とドキュメントレベルの関連性監視のミスマッチを生成する。 トークンレベル関連報酬を用いた生成検索のための微粒化強化学習フレームワークを提案する。
• 参考スコア（独自算出の注目度）: 48.04815798182699
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Generative retrieval models perform document retrieval by autoregressively generating document identifiers (DocIDs). This process naturally forms a sequential decision problem, where each decoding step selects a DocID token and the complete token sequence determines the retrieved document. However, retrieval effectiveness is typically evaluated only after the full DocID is generated, creating a mismatch between token-level generation and document-level relevance supervision. As a result, existing reinforcement learning methods for generative retrieval mostly rely on sequence-level rewards, where the same document-level feedback is propagated to all decoding steps. Such coarse-grained feedback makes it difficult to identify which token decisions are responsible for successful or failed retrieval. In this work, we propose a fine-grained reinforcement learning framework for generative retrieval with token-level relevance rewards. Instead of assigning a single reward to the entire generated DocID, we estimate step-wise rewards by measuring how each token decision changes the expected retrieval quality of the corresponding generation trajectory. This enables more precise credit assignment and encourages the policy to favor token decisions that contribute more directly to document-level relevance. We further develop practical reward estimation strategies tailored to the DocID generation process and incorporate them into a policy optimization framework. Experiments on retrieval benchmarks show that our method consistently outperforms sequence-level reward baselines, demonstrating the effectiveness of fine-grained supervision for aligning autoregressive DocID generation with retrieval objectives.
• Abstract（参考訳）: 生成検索モデルは、文書識別子(DocID)を自動回帰生成して文書検索を行う。 このプロセスは自然にシーケンシャルな決定問題を形成し、各復号ステップがDocIDトークンを選択し、完全トークンシーケンスが検索された文書を決定する。 しかし、検索の有効性はDocIDの完全生成後にのみ評価され、トークンレベルの生成とドキュメントレベルの関連性管理のミスマッチが生じる。 その結果、生成的検索のための既存の強化学習手法は、ほとんどの場合、すべてのデコードステップに同じ文書レベルのフィードバックが伝達されるシーケンスレベルの報酬に依存している。 このような粗いフィードバックは、どのトークン決定が成功したり、検索に失敗したかを特定するのを難しくする。 本研究では,トークンレベルの関連性報酬を付与した生成検索のための詳細な強化学習フレームワークを提案する。 生成したDocID全体に対して1つの報酬を割り当てる代わりに、各トークン決定が対応する生成軌跡の予測検索品質をどのように変化させるかを測定することでステップワイズ報酬を推定する。 これにより、より正確なクレジットの割り当てが可能になり、文書レベルの関連性に直接貢献するトークンの決定をポリシーに推奨する。 さらに、DocID生成プロセスに適した実用的な報酬推定戦略を開発し、それらをポリシー最適化フレームワークに組み込む。 検索ベンチマーク実験により,提案手法はシーケンスレベルの報酬ベースラインを一貫して上回り,自己回帰型DocID生成と検索目的との整合性を示す。

関連論文リスト

• Beyond Semantic IDs: Encoding Business-Value Ranking into Document Identifiers for Generative Retrieval [28.485766948414206]
  Generative Retrieval (GR) は、シーケンシャル・ツー・シーケンス生成タスクとして検索を定式化し、各ドキュメントにドキュメント識別子(DocID)を割り当て、自動回帰復号による検索を行う。 離散表現学習に基づく既存のスキームは、固有の衝突問題に悩まされる。 本稿では、DocIDをセマンティッククラスタリングとビジネス価値ランキングに分離し、衝突のない識別子を生成するCRID(Cluster-Ranked Identifier)を提案する。
  論文  参考訳（メタデータ） (2026-07-13T10:57:20Z)
• Model Editing for New Document Integration in Generative Information Retrieval [110.90609826290968]
  生成検索(GR)は文書識別子(docID)の生成として情報検索(IR)タスクを再構成する 既存のGRモデルは、新たに追加されたドキュメントへの一般化が不十分で、しばしば正しいドキュメントIDを生成できない。 DOMEは,GRモデルを非表示文書に効果的かつ効率的に適応する新しい手法である。
  論文  参考訳（メタデータ） (2026-03-03T09:13:38Z)
• DiffuGR: Generative Document Retrieval with Diffusion Language Models [80.78126312115087]
  本稿ではDiffuGRと呼ばれる拡散言語モデルを用いた生成文書検索を提案する。 推論のために、DiffuGRはDocIDトークンを並列に生成し、制御可能な多数のデノナイジングステップを通じてそれを洗練しようと試みている。 従来の左から右への自動回帰デコーディングとは対照的に、DiffuGRはより信頼性の高いDocIDトークンを生成するための新しいメカニズムを提供する。
  論文  参考訳（メタデータ） (2025-11-11T12:00:09Z)
• Learning Refined Document Representations for Dense Retrieval via Deliberate Thinking [58.69615583599489]
  Deliberate Thinking based Retriever (Debater) は、段階的な思考プロセスを導入することで文書表現を強化する新しいアプローチである。 Debaterは、いくつかのベンチマークで既存のメソッドよりも大幅に優れています。
  論文  参考訳（メタデータ） (2025-02-18T15:56:34Z)
• Order-agnostic Identifier for Large Language Model-based Generative Recommendation [94.37662915542603]
  アイテムは、ユーザ履歴をエンコードし、次のアイテムを生成するために、LLM(Large Language Models)の識別子に割り当てられる。 既存のアプローチでは、トークンシーケンス識別子を使用して、アイテムを個別のトークンシーケンスとして表現するか、IDまたはセマンティック埋め込みを使用して単一トークン識別子を使用する。 本稿では,セマンティック・トークンライザを利用するSETRecを提案する。
  論文  参考訳（メタデータ） (2025-02-15T15:25:38Z)
• ASI++: Towards Distributionally Balanced End-to-End Generative Retrieval [29.65717446547002]
  ASI++は、新しいエンドツーエンドの生成検索手法である。 バランスの取れたIDの割り当てを同時に学習し、検索性能を向上させることを目的としている。
  論文  参考訳（メタデータ） (2024-05-23T07:54:57Z)
• Planning Ahead in Generative Retrieval: Guiding Autoregressive Generation through Simultaneous Decoding [23.061797784952855]
  本稿では,文書識別子の自動生成を支援する新しい最適化および復号化手法であるPAGを紹介する。 MSMARCO と TREC Deep Learning Track のデータによる実験の結果,PAG は最先端の生成的検索モデルよりも大きなマージンで優れていることがわかった。
  論文  参考訳（メタデータ） (2024-04-22T21:50:01Z)
• GERE: Generative Evidence Retrieval for Fact Verification [57.78768817972026]
  本稿では,ジェネレーション方式で証拠を検索する最初のシステムであるGEREを提案する。 FEVERデータセットの実験結果は、GEREが最先端のベースラインよりも大幅に改善されていることを示している。
  論文  参考訳（メタデータ） (2022-04-12T03:49:35Z)
• CODER: An efficient framework for improving retrieval through COntextualized Document Embedding Reranking [11.635294568328625]
  本稿では,最小計算コストで広範囲の検索モデルの性能を向上させるためのフレームワークを提案する。 ベース密度検索法により抽出された事前計算された文書表現を利用する。 実行時に第一段階のメソッドの上に無視可能な計算オーバーヘッドを発生させ、最先端の高密度検索手法と簡単に組み合わせられるようにする。
  論文  参考訳（メタデータ） (2021-12-16T10:25:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。