A Parametric Memory Head for Continual Generative Retrieval
Abstractの概要
本論文は、単一のエンコーダ・デコーダモデルがクエリから文書識別子を直接生成して文書を検索する生成的情報検索（GenIR）における継続的適応の課題に取り組んでいる。著者らは、新しい文書スライスが逐次追加される際、標準的な適応手法（フルファインチューニングおよびLoRA）が最新スライスの検索性能を向上させる一方で、以前のスライスの性能を大幅に低下させることを示し、顕著な安定性と可塑性のトレードオフを明らかにしている。この問題を緩和するため、適応後メモリチューニング（PAMT）と呼ばれる2段階フレームワークを提案しており、第1段階でバックボーンを新しい文書に適応させた後、それを凍結し、モジュール型パラメトリックメモリヘッド（PMH）を用いたメモリのみの安定化段階を適用する。PMHはプロダクトキーメモリとして実装され、プレフィックストライ制約付きデコーディング時にスパースな隠れ空間補正を生成し、第2段階ではアクセス頻度および逆履歴頻度統計に基づいて選択された固定予算のメモリ値行のみを更新する。
新規性
本論文は、継続的GenIRのための「適応後安定化」フレームワークを導入し、新しい文書スライスの学習（第1段階）と適応後のメモリのみの安定化段階（第2段階）を分離している。そのパラメトリックメモリヘッドはデコーダ側のプロダクトキーメモリであり、バックボーンのさらなる最適化ではなく、現セッションのアクセス頻度と逆履歴頻度によって選択された更新可能行を用いた値のみのスパース更新により、トライ有効トークンスコアのみを再較正する。
成果
MS MARCOおよびNatural QuestionsのExpandedプロトコルにおいて、PAMTは以前のスライスの保持性能を一貫して改善しつつ、新スライスの性能を概ね維持している。符号付き後方転移はMS MARCOのFull FT-SPQで-55.72から-22.64に、NQのFull FT-TUで-25.93から-9.16に改善された。制御実験により、検索空間の拡大のみでは軽微な保持性能低下（例：MS MARCOでHit@10が2.95pp以下の低下）しか生じないことが確認され、更新に起因する干渉が劣化の主要因であることが示された。PAMTはMixLoRA-DSIなどの既存の継続的GenIRベースラインに対して安定性ギャップを縮小するが、インデックスベースの検索器は全体的により安定している。
論文の注目点
- GenIRにおける逐次適応は、新たに追加された文書の検索性能を向上させる一方で、以前にインデックスされたスライスに対して深刻な忘却を引き起こす（例：MS MARCOのFull FT-SPQでBWT±が-55.72）。このパターンはフルファインチューニングとLoRAの両設定、およびセマンティックプロダクト量子化とキーワードベースの識別子スキームの両方で一貫して観察される。
- PAMTは第1段階後に適応済みバックボーンとルーティングコンポーネントを凍結し、アクセス頻度×逆履歴頻度選択を用いてPMH値行のスパース予算（例：160,000行中10,000行）のみを更新することで、過去の教師データを再利用せずにdocidデコーディングを再較正する。
- キーワードベースのタイトル+URL識別子は継続的設定においてセマンティックプロダクト量子化識別子よりも安定しており、PAMTはテストされた継続的GenIR手法の中で最良の安定性・可塑性トレードオフを達成する（例：NQのPAMT-Full FT-TUでBWT±が-9.16）が、DPR-HNなどのインデックスベース検索器は全体的により安定している。