論文の概要: A Systematic Study of Semantic ID Spaces for Generative Information Retrieval

• arxiv url: http://arxiv.org/abs/2610.08732v1
• Date: Tue, 06 Oct 2026 17:33:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-08 02:58:30.150833
• Title: A Systematic Study of Semantic ID Spaces for Generative Information Retrieval
• Title（参考訳）: 生成情報検索のための意味的ID空間の体系的研究
• Abstract要約: 有効な数値DocIDを定義する特性,メトリクス,トレードオフについて検討する。 まず、製品量子化(PQ)と残留量子化(RQ)を統合する統一フレームワークを提案する。 第2に、DocIDの品質を定量化し、フルモデルトレーニングのオーバーヘッドを伴わずに構造的忠実度を評価するために、トレーニング不要で本質的なメトリクスのセットを定義する。
• 参考スコア（独自算出の注目度）: 8.989500435806498
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Generative Information Retrieval (GIR) has emerged as a transformative paradigm, shifting document retrieval from a traditional "retrieve-and-rank" workflow to sequence-to-sequence generation, where a model directly predicts document identifiers (DocIDs). While the semantic design of these DocIDs is known to be critical for performance, a fundamental question remains under-explored: what makes a good DocID? Current approaches rely heavily on computationally expensive downstream evaluations, hindering systematic analysis and rapid iteration. In this work, we address this challenge by presenting a comprehensive study on the properties, metrics, and trade-offs that define effective numerical DocIDs. Specifically, our contributions are threefold: First, we propose a unified framework that unifies Product Quantization (PQ) and Residual Quantization (RQ), and their hybrid variants within a single design space. This enables us to systematically study key DocID properties, such as hierarchy versus parallelism, as well as the impact of hyperparameters like DocID length and codebook size. Second, we define a suite of training-free, intrinsic metrics, to quantify DocID quality and evaluate structural fidelity without the overhead of full model training. Through extensive experiments on MS MARCO 300K and NQ320K, we analyze how these structural properties influence retrieval effectiveness.
• Abstract（参考訳）: 生成情報検索 (Generative Information Retrieval, GIR) は、文書検索を従来の"検索とランク"のワークフローからシーケンス・ツー・シーケンス生成に移行し、モデルが文書識別子(DocID)を直接予測する、変換パラダイムとして登場した。 これらのDocIDのセマンティック設計はパフォーマンスにとって重要なものであることが知られているが、根本的な疑問は未解決のままである。 現在のアプローチは計算コストのかかる下流の評価に大きく依存しており、体系的な分析と迅速な反復を妨げる。 本研究では, 有効な数値DocIDを定義する特性, メトリクス, トレードオフに関する包括的な研究をすることで, この課題に対処する。 まず、製品量子化(PQ)とResidual Quantization(RQ)を統一する統一的なフレームワークを提案します。 これにより、階層構造と並列性といった重要なDocID特性や、DocIDの長さやコードブックサイズといったハイパーパラメータの影響を体系的に研究することができる。 第2に、DocIDの品質を定量化し、フルモデルトレーニングのオーバーヘッドを伴わずに構造的忠実度を評価するために、トレーニング不要で本質的なメトリクスのセットを定義する。 MARCO 300K と NQ320K に関する広範な実験を通じて,これらの構造特性が検索効率に与える影響を解析した。

関連論文リスト

• Token-Level Credit Assignment Optimization for Generative Document Retrieval [48.04815798182699]
  生成検索モデルは、文書識別子(DocID)を自動回帰生成することで文書検索を行う 検索の有効性はDocIDの完全な生成後にのみ評価され、トークンレベルの生成とドキュメントレベルの関連性監視のミスマッチを生成する。 トークンレベル関連報酬を用いた生成検索のための微粒化強化学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2026-08-12T13:28:56Z)
• Beyond Semantic IDs: Encoding Business-Value Ranking into Document Identifiers for Generative Retrieval [28.485766948414206]
  Generative Retrieval (GR) は、シーケンシャル・ツー・シーケンス生成タスクとして検索を定式化し、各ドキュメントにドキュメント識別子(DocID)を割り当て、自動回帰復号による検索を行う。 離散表現学習に基づく既存のスキームは、固有の衝突問題に悩まされる。 本稿では、DocIDをセマンティッククラスタリングとビジネス価値ランキングに分離し、衝突のない識別子を生成するCRID(Cluster-Ranked Identifier)を提案する。
  論文  参考訳（メタデータ） (2026-07-13T10:57:20Z)
• DocSeeker: Structured Visual Reasoning with Evidence Grounding for Long Document Understanding [63.257540233507626]
  本稿では、構造化解析、局所化、推論のワークフローを実行するためにモデルを必要とするパラダイムを提案する。 ショートページトレーニングから超長文書への堅牢な一般化を示し、視覚的検索・拡張生成システムと自然に相乗効果を示す。
  論文  参考訳（メタデータ） (2026-04-14T14:39:26Z)
• Model Editing for New Document Integration in Generative Information Retrieval [110.90609826290968]
  生成検索(GR)は文書識別子(docID)の生成として情報検索(IR)タスクを再構成する 既存のGRモデルは、新たに追加されたドキュメントへの一般化が不十分で、しばしば正しいドキュメントIDを生成できない。 DOMEは,GRモデルを非表示文書に効果的かつ効率的に適応する新しい手法である。
  論文  参考訳（メタデータ） (2026-03-03T09:13:38Z)
• OIDA-QA: A Multimodal Benchmark for Analyzing the Opioid Industry Documents Archive [50.468138755368805]
  オピオイド危機は公衆衛生にとって重要な瞬間である。 UCSF-JHU Opioid Industry Documents Archive(OIDA)に公開されているデータと文書 本稿では,文書属性に応じて元のデータセットを整理することで,この問題に対処する。
  論文  参考訳（メタデータ） (2025-11-13T03:27:32Z)
• ASI++: Towards Distributionally Balanced End-to-End Generative Retrieval [29.65717446547002]
  ASI++は、新しいエンドツーエンドの生成検索手法である。 バランスの取れたIDの割り当てを同時に学習し、検索性能を向上させることを目的としている。
  論文  参考訳（メタデータ） (2024-05-23T07:54:57Z)
• CorpusLM: Towards a Unified Language Model on Corpus for Knowledge-Intensive Tasks [20.390672895839757]
  Retrieval-augmented Generation (RAG) は、事実精度を高めるための一般的なソリューションとして登場した。 従来の検索モジュールは、大きなドキュメントインデックスと生成タスクとの切り離しに依存していることが多い。 生成検索,クローズドブック生成,RAGを統合した統一言語モデルである textbfCorpusLM を提案する。
  論文  参考訳（メタデータ） (2024-02-02T06:44:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。