論文の概要: Lost in Decoding? Reproducing and Stress-Testing the Look-Ahead Prior in Generative Retrieval
- arxiv url: http://arxiv.org/abs/2604.23396v1
- Date: Sat, 25 Apr 2026 17:58:15 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-04-28 17:12:07.313408
- Title: Lost in Decoding? Reproducing and Stress-Testing the Look-Ahead Prior in Generative Retrieval
- Title（参考訳）: 復号化における損失 : 生成的検索に先立つルックアヘッドの再生とストレステスト
- Abstract要約: 生成検索(GR)は、文書識別子を自動回帰生成することで文書をランク付けする。
多くのGR法は三重遅延ビームサーチに依存しており、有限ビームデコードの下で関連する接頭辞の早期刈り取りに弱い。
生成検索の計画 Ahead in Generative Retrieval (PAG) は、同時復号法を用いて、その後の逐次復号を導く文書レベルのルックアヘッドを計算することで、この障害モードを緩和する。
- 参考スコア（独自算出の注目度）: 48.348257016776195
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Generative retrieval (GR) ranks documents by autoregressively generating document identifiers. Because many GR methods rely on trie-constrained beam search, they are vulnerable to early pruning of relevant prefixes under finite-beam decoding. Planning Ahead in Generative Retrieval (PAG) mitigates this failure mode by using simultaneous decoding to compute a document-level look-ahead prior that guides subsequent sequential decoding. We reproduce PAG at inference time and stress-test its decoding behavior. Using the authors' released checkpoint and identifier/trie artifacts under the reported decoding setup, we reproduce the main effectiveness results on MS MARCO Dev and TREC-DL 2019/2020, and corroborate the reported beam-size-latency trade-off in our hardware setting. Beyond reproduction, we introduce plan drift diagnostics that quantify how intent-preserving query variations alter the planner's top-n candidate set and highest-weight planner tokens, and how these changes affect guided decoding. We find that PAG's planning signal is brittle under lexical surface-form variation: intent-preserving typos can trigger plan collapse, where the planned candidate pool shifts enough that the look-ahead bonus provides little useful guidance, effectively reverting decoding toward weaker unguided search. We further evaluate fixed-index cross-lingual robustness using non-English mMARCO queries against an English index, and assess query-side mitigation strategies that require no re-indexing; query translation provides the strongest recovery in our setting. Overall, our results confirm PAG's reported effectiveness and the benefit of planning-guided decoding under the released inference setup, while showing that these gains depend on the stability of the planning signal under realistic query variation and query-document mismatch.
- Abstract（参考訳）: 生成検索(GR)は、文書識別子を自動回帰生成することで文書をランク付けする。
多くのGR法は三重拘束ビームサーチに依存しているため、有限ビームデコードの下で関連する接頭辞の早期刈り取りに弱い。
生成検索の計画 Ahead in Generative Retrieval (PAG) は、同時復号法を用いて、その後の逐次復号を導く文書レベルのルックアヘッドを計算することで、この障害モードを緩和する。
我々は推論時にPAGを再生し、その復号動作をストレステストする。
本報告では,MS MARCO DevとTREC-DL 2019/2020の主な効果を再現し,本ハードウェア設定におけるビームサイズ・遅延トレードオフの相関付けを行う。
再生以外にも、意図保存クエリのバリエーションがプランナーの上位n候補セットと最上位プランナートークンをどのように変え、これらの変更がガイド付きデコーディングにどのように影響するかを定量化するプランドリフト診断を導入する。
意図保存型タイポは計画崩壊を引き起こすことができ、計画された候補プールが十分にシフトし、ルックアヘッドボーナスはほとんど有用なガイダンスが得られず、事実上復号化はより弱い未案内探索に還元される。
さらに、英語のmMARCOクエリを英語のインデックスに対して使用し、再インデックスを必要としないクエリ側緩和戦略を評価する。
本研究は,提案手法の有効性と,提案した推論環境下での計画誘導復号化の利点を検証し,現実的なクエリ変動やクエリ文書ミスマッチによる計画信号の安定性に依存していることを示した。
関連論文リスト
- WIDE: Wildcard Inference with Dynamic Expansion for Cross-Modal Generative Retrieval [11.681276883454288]
クロスモーダル検索における強制幻覚の問題を解決するために,動的拡張を用いたワイルドカード推論(WIDE)を提案する。
復号生成フェーズでは、非対称性を意識したワイルドカード復号(AWD)が意味的な盲点を検出し、強制決定的な識別子の代わりにワイルドカードを出力する。
BSR(Blind-Spot Re- rank)は、離散生成信頼度と連続的な意味的類似性を組み合わせたハイブリッドスコアリング機構を用いて、拡張候補プールを評価する。
論文 参考訳（メタデータ） (2026-09-03T08:55:05Z) - GUIDE: Generative Unsupervised Chinese Query Correction via Phonetic and Visual Shared-ID Encoding [14.765897981494186]
コンテンツプラットフォーム上での検索およびクエリレコメンデーションには,中国語クエリ修正(CQC)が重要である。
コンフュージョン・テーマ・明確化パラダイムに基づくCQCのための生成的教師なしフレームワークであるtextscGUIDEを提案する。
textscGUIDEは、音声または視覚的に混乱した文字を共有IDでエンコードし、エンコーダ・デコーダアーキテクチャで元のクエリを再構築する。
論文 参考訳（メタデータ） (2026-08-26T03:54:26Z) - Beyond Fixed Depths and Widths: Optimizing Textual Decoding Tries in LLM-based Generative Recommendation [59.20704286413859]
本稿では,テキスト用語IDとその基盤となるデコードトリエを共設計する新しいフレームワークを提案する。
BONSAIは最先端のベースラインよりも21.6%向上している。
論文 参考訳（メタデータ） (2026-07-18T04:31:02Z) - Deeper is Not Always Better: Mitigating the Alignment Tax via Confident Layer Decoding [92.1521161575198]
我々は、最も信頼性の高いニアファイナル層を動的に選択する、トレーニング不要なデコーディング戦略であるConfident Decodingを紹介する。
密集型および混合型LLMの実験は、挑戦的推論ベンチマークにおいて一貫した利得を示す。
論文 参考訳（メタデータ） (2026-06-20T07:03:26Z) - Closing the Indexing-Decoding Gap in Multimodal Generative Retrieval via Prefix Retention Optimization [68.48718919047127]
マルチモーダル生成検索式は、複数のモーダル検索を離散識別子生成として定義し、外部埋め込みよりも明示的な類似性探索を不要とする。
既存の手法では、残差量子化によって識別子を構築し、トリエ制約ビームサーチでデコードする。
この組み合わせは、インデックス化とデコーディングのギャップを導入している: 識別子学習の目的は、再構成や対照的な損失を含むが、デコーディング中にプレフィックスの識別性を明示的に強制しない。
1)プレフィックスの格付け蒸留は、リストワイドロスを用いた事前量子化埋め込みによって誘導されるプレフィックスと整合する; (ii)語彙スケジューリングは、コードブックを増大させる。
論文 参考訳（メタデータ） (2026-06-08T09:15:47Z) - A Parametric Memory Head for Continual Generative Retrieval [52.66674234249913]
生成情報検索(GenIR)は、検索を単一のニューラルモデルに統合し、クエリから直接ドキュメント識別子(ドシデント)をデコードする。
逐次適応は、新たに追加された文書の検索を改善するが、以前のスライスの性能は著しく低下することを示す。
本稿では,モジュール型パラメトリックメモリヘッドで適応モデルを拡張するメモリのみの安定化ステージである,後適応メモリチューニング(PAMT)を提案する。
論文 参考訳（メタデータ） (2026-04-25T17:38:51Z) - Differentiable Semantic ID for Generative Recommendation [65.83703273297492]
生成的推薦は、各項目がリッチコンテンツから学習された個別意味ID(SID)によって表現される新しいパラダイムを提供する。
実際には、SIDはレコメンデーションの正確さよりもコンテンツ再構成に最適化されるのが一般的である。
自然なアプローチは、セマンティックインデックスを差別化して、レコメンデーショングラデーションが直接SID学習に影響を与えるようにすることだ。
本稿では,ジェネレーティブレコメンデーションのための効果的な識別可能なセマンティックIDに向けた第一歩として,DIGERを提案する。
論文 参考訳（メタデータ） (2026-01-27T15:34:11Z) - Do LLMs Know They Are Being Tested? Evaluation Awareness and Incentive-Sensitive Failures in GPT-OSS-20B [1.948261185683419]
本研究では,「評価香り」がコンメンシュレート能力を得ることなく測定性能を膨らませるかどうかを考察する。
6つのペアのA/Bシナリオを実行し、タスク内容を保持し、フレーミングの異なる状態でデコードします。
再現可能なA/Bフレームワーク(バンキング、バリデータ、ラン毎のスコア、スクリプト)と実践的なガイダンスを提供する。
論文 参考訳（メタデータ） (2025-10-08T09:49:05Z) - Reinforcement Speculative Decoding for Fast Ranking [9.584558586988953]
大規模言語モデル (LLM) は情報検索 (IR) システムやレコメンダシステム (RS) などのランキングシステムで広く採用されている。
LLMの高速ランキング推定のための強化復号法を提案する。
論文 参考訳（メタデータ） (2025-05-23T02:25:26Z) - Test-Time Alignment for Large Language Models via Textual Model Predictive Control [63.508812485566374]
Textual Model Predictive Control (TMPC) は、推論時に大規模言語モデルを調整するために適応された新しい予測計画フレームワークである。
TMPCは、談話レベル翻訳、長文応答生成、プログラム合成の3つの異なるセグメンテーション特性を持つタスクで評価される。
その結果、TMPCはパフォーマンスを継続的に改善し、一般性を強調している。
論文 参考訳（メタデータ） (2025-02-28T07:24:33Z) - Corrective Retrieval Augmented Generation [36.04062963574603]
Retrieval-augmented Generation (RAG) は、検索された文書の関連性に大きく依存しており、検索が失敗した場合のモデルがどのように振る舞うかについての懸念を提起する。
生成の堅牢性を改善するために,CRAG(Corrective Retrieval Augmented Generation)を提案する。
CRAGはプラグアンドプレイであり、様々なRAGベースのアプローチとシームレスに結合できる。
論文 参考訳（メタデータ） (2024-01-29T04:36:39Z) - Noise-Robust Dense Retrieval via Contrastive Alignment Post Training [89.29256833403167]
Contrastive Alignment POst Training (CAPOT) は、指数再生を必要とせず、モデルロバスト性を改善する高効率な微調整法である。
CAPOTはドキュメントエンコーダを凍結することで堅牢な検索を可能にし、クエリエンコーダはノイズの多いクエリを修正されていないルートに整列させる。
MSMARCO、Natural Questions、Trivia QAパス検索のCAPOTノイズ変動を評価し、CAPOTがオーバーヘッドを伴わないデータ増大に類似した影響があることを発見した。
論文 参考訳（メタデータ） (2023-04-06T22:16:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。