論文の概要: Computed, not Memorized: Bit-Factorized Identifiers for Efficient Generative Retrieval

• arxiv url: http://arxiv.org/abs/2610.17467v1
• Date: Mon, 12 Oct 2026 22:30:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:15.465453
• Title: Computed, not Memorized: Bit-Factorized Identifiers for Efficient Generative Retrieval
• Title（参考訳）: メモリ化されていないComputerd: 効率的な生成検索のためのビットベクトル識別器
• Abstract要約: 本稿では,生成検索のための数値DocID設計を提案する。 既存の数値DocIDとは異なり、トークンはインデックス作成トレーニング中に記憶された埋め込みを通してのみ意味を持ち、各ビットはモデルの表現からその意味を導き出す。 実験の結果,DocID設計は文書検索を著しく改善し,文書に匹敵する性能を維持していることがわかった。
• 参考スコア（独自算出の注目度）: 19.75528358898079
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Generative retrieval is known for its efficient end-to-end indexing and retrieval. In particular, numeric Document Identifiers (DocIDs) are generally more efficient because they are shorter and generally fixed-length sequences over a small vocabulary, requiring fewer decoding steps during beam search. However, they tend to generalize poorly to unseen documents and must be learned during indexing-stage training. In this paper, we propose a numeric DocID design for generative retrieval that enables better adaptation to unseen documents without retraining.Our DocID design inherits the language model's knowledge: each DocID is a sequence of tokens factorized into bits, and each token is scored as the sum of its bits. Unlike existing numeric DocIDs, whose tokens carry meaning only through embeddings memorized during indexing training, each bit here derives its meaning from the model's representation. Therefore, the DocIDs of unseen documents remain scorable without retraining.Experiments on three benchmarks show that our DocID design substantially improves unseen-document retrieval while maintaining comparable performance on seen documents. It achieves over 20 percentage points higher Hit@10 on unseen documents and up to 7 times lower inference latency than existing numeric DocID designs on NQ320K and TriviaQA, while performing only 3 percentage points below weight-update methods on MS MARCO without additional training. These results show that an appropriate DocID design can heavily reduce retraining costs when adapting generative retrievers to new documents.
• Abstract（参考訳）: 生成的検索は、その効率的なエンドツーエンドの索引付けと検索で知られている。 特に、数値文書識別器(DocID)は、小語彙よりも短く、一般に固定長のシーケンスであるため、ビームサーチにおいて復号ステップを少なくするため、一般的により効率的である。 しかし、それらは目に見えない文書に一般化しがちであり、索引付け段階の訓練で学ばなければならない。 本稿では,生成検索のための数値DocID設計を提案する。我々のDocID設計は,言語モデルの知識を継承し,各DocIDはビットに分解されたトークンのシーケンスであり,各トークンはそのビットの和としてスコアされる。 既存の数値DocIDとは異なり、トークンはインデックス作成トレーニング中に記憶された埋め込みを通してのみ意味を持ち、各ビットはモデルの表現からその意味を導き出す。 そこで,3つのベンチマークによる実験結果から,文書の文書検索性能を著しく向上させるとともに,文書の文書検索性能を向上することが示された。 NQ320K と TriviaQA の既存の数値 DocID 設計よりも最大で 7 倍の遅延時間で、MS MARCO の重み付け方法よりもわずか 3 パーセント低い。 これらの結果から、DocID設計は、生成的検索を新しい文書に適応させる際の再学習コストを大幅に削減できることが示された。

関連論文リスト

• Token-Level Credit Assignment Optimization for Generative Document Retrieval [48.04815798182699]
  生成検索モデルは、文書識別子(DocID)を自動回帰生成することで文書検索を行う 検索の有効性はDocIDの完全な生成後にのみ評価され、トークンレベルの生成とドキュメントレベルの関連性監視のミスマッチを生成する。 トークンレベル関連報酬を用いた生成検索のための微粒化強化学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2026-08-12T13:28:56Z)
• Model Editing for New Document Integration in Generative Information Retrieval [110.90609826290968]
  生成検索(GR)は文書識別子(docID)の生成として情報検索(IR)タスクを再構成する 既存のGRモデルは、新たに追加されたドキュメントへの一般化が不十分で、しばしば正しいドキュメントIDを生成できない。 DOMEは,GRモデルを非表示文書に効果的かつ効率的に適応する新しい手法である。
  論文  参考訳（メタデータ） (2026-03-03T09:13:38Z)
• CAT-ID$^2$: Category-Tree Integrated Document Identifier Learning for Generative Retrieval In E-commerce [35.700374519868724]
  大規模言語モデル(LLM)の機能を統合する効果的なパラダイムとして,ジェネレーティブ検索(GR)が注目されている。 GRの主な課題は、強力な表現力を持つドキュメントID(DocIDS)を構築する方法である。 本稿では,従来のカテゴリ情報をセマンティックIDに組み込んだ新しいID学習手法であるCategory-Tree Integrated Document IDentifier (CAT-ID$2$)を提案する。
  論文  参考訳（メタデータ） (2025-11-03T11:21:35Z)
• Hierarchical corpus encoder: Fusing generative retrieval and dense indices [39.56098961341313]
  生成検索は、クエリに基づいた文書IDの条件付き生成にシーケンスモデルを用いる。 これにより、ゼロショット検索のパフォーマンスが向上したが、トレーニング中に見えないドキュメントをサポートすることは困難である。 本稿では,階層型コーパスエンコーダ(HCE)を提案する。
  論文  参考訳（メタデータ） (2025-02-26T06:43:09Z)
• Learning Refined Document Representations for Dense Retrieval via Deliberate Thinking [58.69615583599489]
  Deliberate Thinking based Retriever (Debater) は、段階的な思考プロセスを導入することで文書表現を強化する新しいアプローチである。 Debaterは、いくつかのベンチマークで既存のメソッドよりも大幅に優れています。
  論文  参考訳（メタデータ） (2025-02-18T15:56:34Z)
• Continual Learning for Generative Retrieval over Dynamic Corpora [115.79012933205756]
  生成検索(GR)はパラメトリックモデルに基づいて関連文書の識別子(ドシデクス)を直接予測する。 クエリに応答する能力を保ちながら、新しいドキュメントをインクリメンタルにインデックスする能力は、GRモデルを適用する上で不可欠である。 我々は,CLEVERモデルのための新しい連続学習モデルを提案し,GRのための連続学習に2つの大きな貢献をした。
  論文  参考訳（メタデータ） (2023-08-29T01:46:06Z)
• DSI++: Updating Transformer Memory with New Documents [95.70264288158766]
  DSI++は、DSIが新たなドキュメントをインクリメンタルにインデクシングするための継続的な学習課題である。 新たな文書の連続的な索引付けは,それまでの索引付け文書をかなり忘れてしまうことを示す。 文書の擬似クエリをサンプルとして生成メモリを導入し、連続的なインデックス付け中に補足することで、検索タスクの忘れを防止する。
  論文  参考訳（メタデータ） (2022-12-19T18:59:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。