論文の概要: Lost in Decoding? Reproducing and Stress-Testing the Look-Ahead Prior in Generative Retrieval

• arxiv url: http://arxiv.org/abs/2604.23396v1
• Date: Sat, 25 Apr 2026 17:58:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-28 17:12:07.313408
• Title: Lost in Decoding? Reproducing and Stress-Testing the Look-Ahead Prior in Generative Retrieval
• Title（参考訳）: 復号化における損失 : 生成的検索に先立つルックアヘッドの再生とストレステスト
• Authors: Kidist Amde Mekonnen, Yongkang Li, Yubao Tang, Simon Lupart, Maarten de Rijke,
• Abstract要約: 生成検索(GR)は、文書識別子を自動回帰生成することで文書をランク付けする。 多くのGR法は三重遅延ビームサーチに依存しており、有限ビームデコードの下で関連する接頭辞の早期刈り取りに弱い。 生成検索の計画 Ahead in Generative Retrieval (PAG) は、同時復号法を用いて、その後の逐次復号を導く文書レベルのルックアヘッドを計算することで、この障害モードを緩和する。
• 参考スコア（独自算出の注目度）: 48.348257016776195
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Generative retrieval (GR) ranks documents by autoregressively generating document identifiers. Because many GR methods rely on trie-constrained beam search, they are vulnerable to early pruning of relevant prefixes under finite-beam decoding. Planning Ahead in Generative Retrieval (PAG) mitigates this failure mode by using simultaneous decoding to compute a document-level look-ahead prior that guides subsequent sequential decoding. We reproduce PAG at inference time and stress-test its decoding behavior. Using the authors' released checkpoint and identifier/trie artifacts under the reported decoding setup, we reproduce the main effectiveness results on MS MARCO Dev and TREC-DL 2019/2020, and corroborate the reported beam-size-latency trade-off in our hardware setting. Beyond reproduction, we introduce plan drift diagnostics that quantify how intent-preserving query variations alter the planner's top-n candidate set and highest-weight planner tokens, and how these changes affect guided decoding. We find that PAG's planning signal is brittle under lexical surface-form variation: intent-preserving typos can trigger plan collapse, where the planned candidate pool shifts enough that the look-ahead bonus provides little useful guidance, effectively reverting decoding toward weaker unguided search. We further evaluate fixed-index cross-lingual robustness using non-English mMARCO queries against an English index, and assess query-side mitigation strategies that require no re-indexing; query translation provides the strongest recovery in our setting. Overall, our results confirm PAG's reported effectiveness and the benefit of planning-guided decoding under the released inference setup, while showing that these gains depend on the stability of the planning signal under realistic query variation and query-document mismatch.
• Abstract（参考訳）: 生成検索(GR)は、文書識別子を自動回帰生成することで文書をランク付けする。 多くのGR法は三重拘束ビームサーチに依存しているため、有限ビームデコードの下で関連する接頭辞の早期刈り取りに弱い。 生成検索の計画 Ahead in Generative Retrieval (PAG) は、同時復号法を用いて、その後の逐次復号を導く文書レベルのルックアヘッドを計算することで、この障害モードを緩和する。 我々は推論時にPAGを再生し、その復号動作をストレステストする。 本報告では,MS MARCO DevとTREC-DL 2019/2020の主な効果を再現し,本ハードウェア設定におけるビームサイズ・遅延トレードオフの相関付けを行う。 再生以外にも、意図保存クエリのバリエーションがプランナーの上位n候補セットと最上位プランナートークンをどのように変え、これらの変更がガイド付きデコーディングにどのように影響するかを定量化するプランドリフト診断を導入する。 意図保存型タイポは計画崩壊を引き起こすことができ、計画された候補プールが十分にシフトし、ルックアヘッドボーナスはほとんど有用なガイダンスが得られず、事実上復号化はより弱い未案内探索に還元される。 さらに、英語のmMARCOクエリを英語のインデックスに対して使用し、再インデックスを必要としないクエリ側緩和戦略を評価する。 本研究は,提案手法の有効性と,提案した推論環境下での計画誘導復号化の利点を検証し,現実的なクエリ変動やクエリ文書ミスマッチによる計画信号の安定性に依存していることを示した。

関連論文リスト

• A Parametric Memory Head for Continual Generative Retrieval [52.66674234249913]
  生成情報検索(GenIR)は、検索を単一のニューラルモデルに統合し、クエリから直接ドキュメント識別子(ドシデント)をデコードする。 逐次適応は、新たに追加された文書の検索を改善するが、以前のスライスの性能は著しく低下することを示す。 本稿では,モジュール型パラメトリックメモリヘッドで適応モデルを拡張するメモリのみの安定化ステージである,後適応メモリチューニング(PAMT)を提案する。
  論文  参考訳（メタデータ） (2026-04-25T17:38:51Z)
• Differentiable Semantic ID for Generative Recommendation [65.83703273297492]
  生成的推薦は、各項目がリッチコンテンツから学習された個別意味ID(SID)によって表現される新しいパラダイムを提供する。 実際には、SIDはレコメンデーションの正確さよりもコンテンツ再構成に最適化されるのが一般的である。 自然なアプローチは、セマンティックインデックスを差別化して、レコメンデーショングラデーションが直接SID学習に影響を与えるようにすることだ。 本稿では,ジェネレーティブレコメンデーションのための効果的な識別可能なセマンティックIDに向けた第一歩として,DIGERを提案する。
  論文  参考訳（メタデータ） (2026-01-27T15:34:11Z)
• Reinforcement Speculative Decoding for Fast Ranking [9.584558586988953]
  大規模言語モデル (LLM) は情報検索 (IR) システムやレコメンダシステム (RS) などのランキングシステムで広く採用されている。 LLMの高速ランキング推定のための強化復号法を提案する。
  論文  参考訳（メタデータ） (2025-05-23T02:25:26Z)
• Test-Time Alignment for Large Language Models via Textual Model Predictive Control [63.508812485566374]
  Textual Model Predictive Control (TMPC) は、推論時に大規模言語モデルを調整するために適応された新しい予測計画フレームワークである。 TMPCは、談話レベル翻訳、長文応答生成、プログラム合成の3つの異なるセグメンテーション特性を持つタスクで評価される。 その結果、TMPCはパフォーマンスを継続的に改善し、一般性を強調している。
  論文  参考訳（メタデータ） (2025-02-28T07:24:33Z)
• Corrective Retrieval Augmented Generation [36.04062963574603]
  Retrieval-augmented Generation (RAG) は、検索された文書の関連性に大きく依存しており、検索が失敗した場合のモデルがどのように振る舞うかについての懸念を提起する。 生成の堅牢性を改善するために,CRAG(Corrective Retrieval Augmented Generation)を提案する。 CRAGはプラグアンドプレイであり、様々なRAGベースのアプローチとシームレスに結合できる。
  論文  参考訳（メタデータ） (2024-01-29T04:36:39Z)
• Noise-Robust Dense Retrieval via Contrastive Alignment Post Training [89.29256833403167]
  Contrastive Alignment POst Training (CAPOT) は、指数再生を必要とせず、モデルロバスト性を改善する高効率な微調整法である。 CAPOTはドキュメントエンコーダを凍結することで堅牢な検索を可能にし、クエリエンコーダはノイズの多いクエリを修正されていないルートに整列させる。 MSMARCO、Natural Questions、Trivia QAパス検索のCAPOTノイズ変動を評価し、CAPOTがオーバーヘッドを伴わないデータ増大に類似した影響があることを発見した。
  論文  参考訳（メタデータ） (2023-04-06T22:16:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。