Lost in Decoding? Reproducing and Stress-Testing the Look-Ahead Prior in Generative Retrieval
Abstractの概要
本論文は、著者らが公開したチェックポイント、識別子セット、およびトライを用いて、生成的検索におけるPlanning Ahead（PAG）を再現し、クエリの変動およびクロスリンガルクエリシフト条件下で手法のストレステストを実施している。本研究は、PAGのプランニング段階がトライ制約付きビームサーチ中に文書レベルのルックアヘッドボーナスをどのように供給するかに焦点を当て、候補セットドリフト、プランナートークンドリフト、プランスワッピング、プランコラプスに関する診断指標を導入している。報告された推論設定の下で、再現結果はMS MARCO DevおよびTREC-DL 2019/2020において元の有効性と絶対差0.002以内で一致し、予想されるビームサイズ対レイテンシのトレードオフも確認された。再現を超えて、著者らは語彙的なクエリ変動（スペルミス、同義語、言い換え）がプランニング信号を不安定化させ、プランニング誘導デコーディングの有用性を低下させることを示し、固定インデックスのクロスリンガル検索では、英語へのクエリ翻訳が軽量なプランナートークンアライメントよりも多くの性能を回復することを示している。
新規性
本論文の主な新規性は、エンドツーエンドのランキング指標のみを評価するのではなく、中間的なプランニング信号を計測するPAGの体系的な再現およびロバスト性分析にある。明示的なプランドリフトおよびプランコラプスの診断指標（CandOverlap@K、TokJaccard@ℓ、PlanSwapDrop、SeqGain）を導入し、再インデックス化を回避するクエリ側の緩和戦略を伴う固定インデックスのクロスリンガルクエリシフトへの評価を拡張している。
成果
公開されたアーティファクトを使用して、著者らはPAGの主要な有効性を絶対差0.002以内で再現し、MS MARCO DevでMRR@10が0.386、TREC-DL 2019/2020でNDCG@10が0.703/0.701であった。ストレステストでは、スペルミス、同義語置換、言い換えが語順変更（0.014）よりも大幅に大きな有効性の低下（例：DL19でスペルミスによるNDCG@10の0.217低下）を引き起こし、候補セットおよびプランナートークンのオーバーラップも対応して低下することが示された。固定英語インデックスを用いたクロスリンガル設定では、クエリ翻訳が最も強力な回復を示し（例：オランダ語のMRR@10が0.090から0.230に改善）、プランナートークンアライメントは部分的な改善にとどまった。
論文の注目点
- 公開されたPAGアーティファクトは、論文の主要な推論時有効性結果を絶対差0.002以内で再現するのに十分であり、定性的なビームサイズ対レイテンシのトレードオフも確認された。アブレーションにより、ルックアヘッド項の除去がMRR@10を0.036低下させ、プランニングのみの検索ではさらに0.083低下することが確認された。
- プランニング信号は語彙的な表層形の変動に対して脆弱であり、候補セットオーバーラップ（CandOverlap@100）はスペルミスや同義語で0.31〜0.50に低下する（語順変更では約0.80）。TREC-DLにおけるより困難な摂動ではプランコラプス率が9.6〜11.6%に達し、誘導デコーディングの弱体化と一致している。
- 固定英語インデックスの下では、クロスリンガル性能は大幅に低下し（例：オランダ語のナイーブなMRR@10は0.090）、クエリを英語に翻訳する方が軽量なプランナートークンアライメントよりもプランナーオーバーラップと検索品質の回復に大幅に効果的である（オランダ語MRR@10：0.230対0.107）。