論文の概要: Does Generative Retrieval Overcome the Limitations of Dense Retrieval?

• arxiv url: http://arxiv.org/abs/2509.22116v1
• Date: Fri, 26 Sep 2025 09:38:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-29 20:57:54.339212
• Title: Does Generative Retrieval Overcome the Limitations of Dense Retrieval?
• Title（参考訳）: 生成検索は高密度検索の限界を克服するか?
• Authors: Yingchen Zhang, Ruqing Zhang, Jiafeng Guo, Maarten de Rijke, Yixing Fan, Xueqi Cheng,
• Abstract要約: 生成的検索(GR)はニューラル情報検索の新しいパラダイムとして登場した。 本研究では,GRが高密度検索(DR)から学習目的と表現能力の両方において根本的に分岐するかを検討する。
• 参考スコア（独自算出の注目度）: 117.49076770892583
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Generative retrieval (GR) has emerged as a new paradigm in neural information retrieval, offering an alternative to dense retrieval (DR) by directly generating identifiers of relevant documents. In this paper, we theoretically and empirically investigate how GR fundamentally diverges from DR in both learning objectives and representational capacity. GR performs globally normalized maximum-likelihood optimization and encodes corpus and relevance information directly in the model parameters, whereas DR adopts locally normalized objectives and represents the corpus with external embeddings before computing similarity via a bilinear interaction. Our analysis suggests that, under scaling, GR can overcome the inherent limitations of DR, yielding two major benefits. First, with larger corpora, GR avoids the sharp performance degradation caused by the optimization drift induced by DR's local normalization. Second, with larger models, GR's representational capacity scales with parameter size, unconstrained by the global low-rank structure that limits DR. We validate these theoretical insights through controlled experiments on the Natural Questions and MS MARCO datasets, across varying negative sampling strategies, embedding dimensions, and model scales. But despite its theoretical advantages, GR does not universally outperform DR in practice. We outline directions to bridge the gap between GR's theoretical potential and practical performance, providing guidance for future research in scalable and robust generative retrieval.
• Abstract（参考訳）: 生成検索(GR)はニューラル情報検索の新しいパラダイムとして登場し、関連する文書の識別子を直接生成することで、高密度検索(DR)に代わるものを提供する。 本稿では,GRが学習目的と表現能力の両方において,DRから根本的に分離する方法を理論的かつ実証的に検討する。 GRはグローバルに正規化された最大形最適化を実行し、モデルパラメータに直接コーパスと関連情報をエンコードする一方、DRは局所正規化された目的を採用し、双線形相互作用を介して類似性を計算する前に外部埋め込みでコーパスを表現する。 我々の分析では、GRはDRの固有の限界を克服し、2つの大きな利点をもたらすことを示唆している。 第一に、より大きなコーパスにより、GRはDRの局所正規化による最適化ドリフトによるシャープな性能劣化を回避する。 第2に、GRの表現能力はパラメータサイズでスケールし、DRを制限するグローバルな低ランク構造によって制約されない。我々はこれらの理論的洞察を、様々な負のサンプリング戦略、埋め込み次元、モデルスケールで、自然質問とMS MARCOデータセットの制御実験を通じて検証する。 しかし、理論上の優位性にもかかわらず、GRは実際にはDRを普遍的に上回っていない。 我々はGRの理論的ポテンシャルと実用性能のギャップを埋める方向を概説し、スケーラブルで堅牢な生成的検索における今後の研究のためのガイダンスを提供する。

関連論文リスト

• On the Effect of Negative Gradient in Group Relative Deep Reinforcement Optimization [52.76330545825083]
  強化学習(RL)は,大規模言語モデル(LLM)の推論能力の向上に人気がある。 従来認識されていなかった Lazy Likelihood Displacement (LLD) 現象を同定し, トレーニング中に正答率がわずかに増加するか, あるいは低下する可能性が示唆された。 従来のDPOベースのアプローチとは異なり、NTHRはGRPOのグループベースの構造を利用して、適切な応答をアンカーとして利用し、重要なトークンを識別する。
  論文  参考訳（メタデータ） (2025-05-24T18:58:51Z)
• DGRO: Enhancing LLM Reasoning via Exploration-Exploitation Control and Reward Variance Management [18.953750405635393]
  Decoupled Group Reward Optimization (DGRO) は、大規模言語モデル(LLM)推論のための一般的なRLアルゴリズムである。 我々はDGROが平均96.9%の精度でLogicデータセットの最先端性能を達成することを示し、数学的なベンチマークで強い一般化を示す。
  論文  参考訳（メタデータ） (2025-05-19T10:44:49Z)
• Accelerating Adaptive Retrieval Augmented Generation via Instruction-Driven Representation Reduction of Retrieval Overlaps [16.84310001807895]
  本稿では,A-RAG法に適用可能なモデルに依存しないアプローチを提案する。 具体的には、キャッシュアクセスと並列生成を使用して、それぞれプリフィルとデコードステージを高速化する。
  論文  参考訳（メタデータ） (2025-05-19T05:39:38Z)
• Constrained Auto-Regressive Decoding Constrains Generative Retrieval [71.71161220261655]
  ジェネレーティブ検索は、従来の検索インデックスデータ構造を1つの大規模ニューラルネットワークに置き換えようとしている。 本稿では,制約とビームサーチという2つの本質的な視点から,制約付き自己回帰生成の固有の制約について検討する。
  論文  参考訳（メタデータ） (2025-04-14T06:54:49Z)
• An In-depth Investigation of Sparse Rate Reduction in Transformer-like Models [32.04194224236952]
  スパースレートリダクション(SRR)と呼ばれる情報理論目的関数を提案する。 SRRは正の相関係数を持ち、パスノルムやシャープネスベースなど他の基準値よりも優れていることを示す。 ベンチマーク画像分類データセットの正規化として,SRRを用いて一般化を改善することができることを示す。
  論文  参考訳（メタデータ） (2024-11-26T07:44:57Z)
• How to Train Your DRAGON: Diverse Augmentation Towards Generalizable Dense Retrieval [80.54532535622988]
  教師付き検索とゼロショット検索の両方において高い精度を達成するために、一般化可能な高密度検索を訓練できることが示される。 多様な拡張で訓練された高密度レトリバーであるDRAGONは、教師付きおよびゼロショット評価の両方において最先端の有効性を実現する最初のBERTベースサイズのDRである。
  論文  参考訳（メタデータ） (2023-02-15T03:53:26Z)
• Understanding Overparameterization in Generative Adversarial Networks [56.57403335510056]
  generative adversarial network (gans) は、非凹型ミニマックス最適化問題を訓練するために用いられる。 ある理論は、グローバル最適解に対する勾配降下 (gd) の重要性を示している。 ニューラルネットワークジェネレータと線形判別器を併用した多層GANにおいて、GDAは、基礎となる非凹面min-max問題の大域的なサドル点に収束することを示す。
  論文  参考訳（メタデータ） (2021-04-12T16:23:37Z)
• Learning Domain Invariant Representations for Generalizable Person Re-Identification [71.35292121563491]
  ReID(Generalizable person Re-Identification)は、最近のコンピュータビジョンコミュニティで注目を集めている。 DIR-ReID(Domain Invariant Representations for Generalizable Person Re-Identification)という新しい一般化フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-03-29T18:59:48Z)
• Restrained Generative Adversarial Network against Overfitting in Numeric Data Augmentation [9.265768052866786]
  Generative Adversarial Network (GAN) は、画像データセットを増強する一般的なスキームの1つである。 本研究では, GAN における生成元 G が低次元空間における数値データの生成に失敗することを示す。 本稿では,過度な適合を抑制するため,損失関数の独立性を理論的に抑制する手法を提案する。
  論文  参考訳（メタデータ） (2020-10-26T13:01:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。