論文の概要: Residual Trajectory Distillation for Generative Retrieval

• arxiv url: http://arxiv.org/abs/2609.39319v1
• Date: Wed, 30 Sep 2026 08:59:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-01 18:57:27.4661
• Title: Residual Trajectory Distillation for Generative Retrieval
• Title（参考訳）: 生成検索のための残留軌跡蒸留法
• Abstract要約: 生成的検索は、離散意味的ID(SID)を持つ項目を表現するために使用される 標準検索訓練は、選択されたコードのみを監督し、それらを生成する残留軌跡を破棄する。 本稿では,ResTD(Residual Trajectory Distillation framework)を紹介する。
• 参考スコア（独自算出の注目度）: 26.594708944920868
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Generative retrieval has emerged as a general retrieval paradigm, representing items with discrete Semantic IDs (SIDs) and retrieving them through autoregressive identifier generation. When SIDs are constructed with residual quantization (RQ), standard retrieval training supervises only the selected codes and discards the residual trajectories that produce them. The same hard code can nevertheless arise from different preferences over competing codewords, while the residual trajectory also contains information about subsequent quantization decisions. As a result, hard SID supervision collapses distinct quantization behaviors into identical targets and leaves information available during indexing unused in retrieval training. We introduce ResTD, a Residual Trajectory Distillation framework that transfers this discarded indexing information into retrieval training. Treating the frozen RQ indexer as a process teacher, it distills residual-induced codeword preferences into SID-decoding states. This supervision recovers distinctions hidden by hard assignments and allows earlier decoder states to capture information about subsequent quantization decisions before the corresponding SID suffix is generated. In this way, richer information from SID construction is incorporated into retrieval learning while preserving the original retrieval index and inference procedure. Experiments on multilingual e-commerce retrieval show consistent improvements over strong baselines and matched training controls. Controlled comparisons show that residual-derived targets outperform the tested codebook-only soft targets. Representation probes further show that future codebook preferences become more recoverable from earlier decoder states. ResTD can also be readily extended beyond retrieval to generative recommendation. Code is available at: https://github.com/Nevaeh7/iclr2027_ResTD.git.
• Abstract（参考訳）: 生成検索は汎用検索パラダイムとして登場し、個別のセマンティックID(SID)を持つ項目を表現し、自己回帰識別子生成を通じてそれらを検索する。 SIDが残留量子化(RQ)で構築されると、標準検索訓練は選択されたコードのみを監督し、それらを生成する残留軌跡を破棄する。 それにもかかわらず、同じハードコードは競合するコードワードよりも異なる好みから生じる可能性があるが、残りの軌道にはその後の量子化決定に関する情報も含まれている。 その結果、厳密なSID監視は、異なる量子化動作を同一のターゲットに分解し、検索訓練で未使用のインデックス作成時に利用可能な情報を残す。 本稿では,ResTD(Residual Trajectory Distillation framework)を紹介する。 凍結したRQインデクサをプロセス教師として扱い、残余誘起コードワードの好みをSID復号状態に蒸留する。 この監視は、ハードな割り当てによって隠された区別を回復し、対応するSID接尾辞が生成される前に、初期デコーダ状態がその後の量子化決定に関する情報をキャプチャすることを可能にする。 このようにして、元の検索インデックスと推論手順を保持しつつ、SID構築からのリッチな情報を検索学習に組み込む。 多言語eコマース検索の実験では、強いベースラインと一致したトレーニング制御よりも一貫した改善が見られた。 制御された比較の結果、残差由来のターゲットはテストされたコードブックのみのソフトターゲットよりも優れていた。 Representation probesは、以前のデコーダ状態から将来のコードブックの好みが回復可能であることを示している。 ResTDは検索を超えて生成レコメンデーションまで容易に拡張できる。 コードは、https://github.com/Nevaeh7/iclr2027_ResTD.gitで入手できる。

関連論文リスト

• CodeHID: Learning an Addressable Hierarchical Code Index for Generative Code Retrieval [16.418964135916433]
  本稿では,コード検索タスクをフラットな候補マッチングから粗いセマンティックアドレス生成へと再構成する生成コード検索フレームワークであるCodeHIDを提案する。 CodeHIDは2つのコアコンポーネントに依存している。まず、Pseudo-Neighbor Guided DocID Learningは、多レベル残留量子化と$k$-nearest-neighbor pseudo-supervisionを適用することで、グローバルな静的階層インデックスを構築する。 第2に、Dual-Phase DocID Generation Guidanceは、トレーニング側ランキングの強化、ハードネガティブとランク蒸留、推論側候補制約、プレフィックス対応デコードを組み合わせて、この固定インデックスを確実にナビゲートする。
  論文  参考訳（メタデータ） (2026-08-25T05:35:17Z)
• Closing the Indexing-Decoding Gap in Multimodal Generative Retrieval via Prefix Retention Optimization [68.48718919047127]
  マルチモーダル生成検索式は、複数のモーダル検索を離散識別子生成として定義し、外部埋め込みよりも明示的な類似性探索を不要とする。 既存の手法では、残差量子化によって識別子を構築し、トリエ制約ビームサーチでデコードする。 この組み合わせは、インデックス化とデコーディングのギャップを導入している: 識別子学習の目的は、再構成や対照的な損失を含むが、デコーディング中にプレフィックスの識別性を明示的に強制しない。 1)プレフィックスの格付け蒸留は、リストワイドロスを用いた事前量子化埋め込みによって誘導されるプレフィックスと整合する; (ii)語彙スケジューリングは、コードブックを増大させる。
  論文  参考訳（メタデータ） (2026-06-08T09:15:47Z)
• DREAM: Dynamic Refinement of Early Assignment Mappings [7.781421530363403]
  現在のメソッドは、ユーザーからの十分なフィードバックが観測される前に、オフライントークン化を通じて各アイテムに1つの静的識別子を割り当てる。 我々は、このワンショットコミットメントを、SIDベースの生成レコメンデーションにおける基本的なコールドスタートボトルネックとみなす。 本稿では,この欠陥を解決する3段階のフレームワークであるDREAMを提案する。
  論文  参考訳（メタデータ） (2026-06-05T06:21:01Z)
• Differentiable Semantic ID for Generative Recommendation [65.83703273297492]
  生成的推薦は、各項目がリッチコンテンツから学習された個別意味ID(SID)によって表現される新しいパラダイムを提供する。 実際には、SIDはレコメンデーションの正確さよりもコンテンツ再構成に最適化されるのが一般的である。 自然なアプローチは、セマンティックインデックスを差別化して、レコメンデーショングラデーションが直接SID学習に影響を与えるようにすることだ。 本稿では,ジェネレーティブレコメンデーションのための効果的な識別可能なセマンティックIDに向けた第一歩として,DIGERを提案する。
  論文  参考訳（メタデータ） (2026-01-27T15:34:11Z)
• DiffuGR: Generative Document Retrieval with Diffusion Language Models [80.78126312115087]
  本稿ではDiffuGRと呼ばれる拡散言語モデルを用いた生成文書検索を提案する。 推論のために、DiffuGRはDocIDトークンを並列に生成し、制御可能な多数のデノナイジングステップを通じてそれを洗練しようと試みている。 従来の左から右への自動回帰デコーディングとは対照的に、DiffuGRはより信頼性の高いDocIDトークンを生成するための新しいメカニズムを提供する。
  論文  参考訳（メタデータ） (2025-11-11T12:00:09Z)
• Noise-Robust Dense Retrieval via Contrastive Alignment Post Training [89.29256833403167]
  Contrastive Alignment POst Training (CAPOT) は、指数再生を必要とせず、モデルロバスト性を改善する高効率な微調整法である。 CAPOTはドキュメントエンコーダを凍結することで堅牢な検索を可能にし、クエリエンコーダはノイズの多いクエリを修正されていないルートに整列させる。 MSMARCO、Natural Questions、Trivia QAパス検索のCAPOTノイズ変動を評価し、CAPOTがオーバーヘッドを伴わないデータ増大に類似した影響があることを発見した。
  論文  参考訳（メタデータ） (2023-04-06T22:16:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。