論文の概要: REDSI: Addressing the Reproducibility and Evaluation Consistency of Differentiable Search Indexing for Document Retrieval

• arxiv url: http://arxiv.org/abs/2609.08860v1
• Date: Tue, 08 Sep 2026 15:07:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-11 15:27:29.601606
• Title: REDSI: Addressing the Reproducibility and Evaluation Consistency of Differentiable Search Indexing for Document Retrieval
• Title（参考訳）: REDSI:文書検索のための微分検索インデックス作成の再現性と評価の整合性について
• Abstract要約: 微分検索インデックス(DSI)は、生成検索のデファクトベースラインとなっている。 3つの識別子タイプすべてをサポートする最初のオープンソースDSI実装であるReDSIを紹介する。 実験により,従来のDSIベースラインと競合する,あるいは強い結果が得られた。
• 参考スコア（独自算出の注目度）: 5.322573418661521
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: The differentiable search index (DSI) framework (Tay et al., 2022) has become the de facto baseline for generative retrieval. However, DSI is hard to reproduce: no public implementation covers all three original document identifier types (atomic, naive, semantic), reported results vary widely, and the ubiquitous NQ320K dataset is built from Natural Questions through diverse and underspecified preprocessing. We introduce ReDSI, the first open-source DSI implementation supporting all three identifier types, together with a parameterizable and well-documented NQ320K construction pipeline. Experimentally, we achieve results that are competitive with or stronger than previous DSI baselines. Moreover, we conduct extensive experiments under model downscaling, covering retrieval effectiveness, parameter efficiency, training methods and decoding strategies, opening novel directions for future research.
• Abstract（参考訳）: 識別可能な検索インデックス(DSI)フレームワーク(Tay et al , 2022)は、生成検索のデファクトベースラインとなっている。 しかし、DSIは再現が困難である: 公開実装が3つの元のドキュメント識別子タイプ(アトミック、ナイーブ、セマンティック)全てをカバーすることはなく、報告された結果は大きく異なり、ユビキタスなNQ320Kデータセットは、多様で不特定な事前処理によってNature Questionsから構築されている。 3つの識別子タイプすべてをサポートする最初のオープンソースDSI実装であるReDSIと、パラメータ化可能で文書化されたNQ320K構築パイプラインを紹介する。 実験により,従来のDSIベースラインと競合する,あるいは強い結果が得られた。 さらに、モデルダウンスケーリングによる広範囲な実験を行い、検索効率、パラメータ効率、訓練方法、復号化戦略を網羅し、今後の研究に向けた新たな方向性を開拓する。

関連論文リスト

• Generative Universal Multimodal Retrieval with Dual-role Identifiers [1.0981910170846492]
  本稿ではDrIGを提案する。DrIGはDual-role Identifierを特徴とするユニバーサルマルチモーダル検索のための新しい生成フレームワークである。 DrIGは、多種多様なタスクにまたがって、最先端のマルチモーダルベースラインを一貫して上回り、一方、ハイブリッドリグレードは、強い高密度レトリバーに対して好適な効率効率効率のトレードオフを実現する。
  論文  参考訳（メタデータ） (2026-08-13T09:10:09Z)
• Beyond Fixed Depths and Widths: Optimizing Textual Decoding Tries in LLM-based Generative Recommendation [59.20704286413859]
  本稿では,テキスト用語IDとその基盤となるデコードトリエを共設計する新しいフレームワークを提案する。 BONSAIは最先端のベースラインよりも21.6%向上している。
  論文  参考訳（メタデータ） (2026-07-18T04:31:02Z)
• Benchmarking Deep Search over Heterogeneous Enterprise Data [73.55304268238474]
  検索強化生成(RAG)の形式を評価するための新しいベンチマークを提案する。 RAGは、多種多様な、しかし関連するソースに対して、ソースを意識したマルチホップ推論を必要とする。 製品計画、開発、サポートステージをまたいだビジネスをシミュレートする合成データパイプラインを使用して構築します。
  論文  参考訳（メタデータ） (2025-06-29T08:34:59Z)
• Inducing Diversity in Differentiable Search Indexing [1.747623282473278]
  我々は、MMR(Maximal Marginal Relevance)にインスパイアされたDSIシステムの訓練のためのバランス関係と新しい情報内容(多様性)について検討する。 我々は,NQ320KおよびSMARCOデータセットを用いて,その妥当性と多様性を定量的に評価した。
  論文  参考訳（メタデータ） (2025-02-05T00:21:17Z)
• ASI++: Towards Distributionally Balanced End-to-End Generative Retrieval [29.65717446547002]
  ASI++は、新しいエンドツーエンドの生成検索手法である。 バランスの取れたIDの割り当てを同時に学習し、検索性能を向上させることを目的としている。
  論文  参考訳（メタデータ） (2024-05-23T07:54:57Z)
• DSI++: Updating Transformer Memory with New Documents [95.70264288158766]
  DSI++は、DSIが新たなドキュメントをインクリメンタルにインデクシングするための継続的な学習課題である。 新たな文書の連続的な索引付けは,それまでの索引付け文書をかなり忘れてしまうことを示す。 文書の擬似クエリをサンプルとして生成メモリを導入し、連続的なインデックス付け中に補足することで、検索タスクの忘れを防止する。
  論文  参考訳（メタデータ） (2022-12-19T18:59:34Z)
• Bridging the Gap Between Indexing and Retrieval for Differentiable Search Index with Query Generation [98.02743096197402]
  Differentiable Search Index (DSI) は情報検索の新たなパラダイムである。 そこで我々は, DSI-QG と呼ばれる, DSI のための簡易かつ効果的な索引付けフレームワークを提案する。 DSI-QG が元の DSI モデルより有意に優れていたことを示す。
  論文  参考訳（メタデータ） (2022-06-21T06:21:23Z)
• Autoregressive Search Engines: Generating Substrings as Document Identifiers [53.0729058170278]
  自動回帰言語モデルは、回答を生成するデファクト標準として現れています。 これまでの研究は、探索空間を階層構造に分割する方法を探究してきた。 本研究では,検索空間の任意の構造を強制しない代替として,経路内のすべてのngramを識別子として使用することを提案する。
  論文  参考訳（メタデータ） (2022-04-22T10:45:01Z)
• Transformer Memory as a Differentiable Search Index [102.41278496436948]
  本稿では,文字列クエリを関連するドシデントに直接マップするテキストからテキストモデルを学ぶ新しいパラダイムであるdiffariable Search Index (DSI)を紹介する。 文書とその識別子の表現方法、訓練手順のバリエーション、モデルとコーパスサイズ間の相互作用について検討する。
  論文  参考訳（メタデータ） (2022-02-14T19:12:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。