論文の概要: Transformer Memory as a Differentiable Search Index

• arxiv url: http://arxiv.org/abs/2202.06991v1
• Date: Mon, 14 Feb 2022 19:12:43 GMT
• ステータス: 処理完了
• システム内更新日: 2022-02-16 13:21:56.176507
• Title: Transformer Memory as a Differentiable Search Index
• Title（参考訳）: 微分検索指標としてのトランスフォーマーメモリ
• Authors: Yi Tay, Vinh Q. Tran, Mostafa Dehghani, Jianmo Ni, Dara Bahri, Harsh Mehta, Zhen Qin, Kai Hui, Zhe Zhao, Jai Gupta, Tal Schuster, William W. Cohen, Donald Metzler
• Abstract要約: 本稿では,文字列クエリを関連するドシデントに直接マップするテキストからテキストモデルを学ぶ新しいパラダイムであるdiffariable Search Index (DSI)を紹介する。 文書とその識別子の表現方法、訓練手順のバリエーション、モデルとコーパスサイズ間の相互作用について検討する。
• 参考スコア（独自算出の注目度）: 102.41278496436948
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this paper, we demonstrate that information retrieval can be accomplished with a single Transformer, in which all information about the corpus is encoded in the parameters of the model. To this end, we introduce the Differentiable Search Index (DSI), a new paradigm that learns a text-to-text model that maps string queries directly to relevant docids; in other words, a DSI model answers queries directly using only its parameters, dramatically simplifying the whole retrieval process. We study variations in how documents and their identifiers are represented, variations in training procedures, and the interplay between models and corpus sizes. Experiments demonstrate that given appropriate design choices, DSI significantly outperforms strong baselines such as dual encoder models. Moreover, DSI demonstrates strong generalization capabilities, outperforming a BM25 baseline in a zero-shot setup.
• Abstract（参考訳）: 本稿では,コーパスに関するすべての情報をモデルパラメータにエンコードした単一のトランスを用いて,情報検索を行うことができることを示す。 そこで本研究では,文字列クエリを関連するドシデントに直接マッピングするテキスト・ツー・テキストモデルを学習する新たなパラダイムである差分検索インデックス(DSI)を紹介し,DSIモデルがパラメータのみを使用してクエリに応答し,検索プロセス全体を劇的に単純化する。 文書とその識別子の表現方法,トレーニング手順のバリエーション,モデルとコーパスサイズ間の相互作用について検討した。 実験により、適切な設計選択が与えられた場合、DSIはデュアルエンコーダモデルのような強力なベースラインを著しく上回ることを示した。 さらに、dsiは強力な一般化能力を示し、ゼロショット設定のbm25ベースラインよりも優れている。

関連論文リスト

• De-DSI: Decentralised Differentiable Search Index [0.0]
  De-DSIは、情報検索のための真の分散化で大きな言語モデルを融合するフレームワークである。 分散された環境での差別化検索インデックス(DSI)の概念を使用して、新しいユーザクエリとドキュメント識別子を効率的に接続する。
  論文  参考訳（メタデータ） (2024-04-18T14:51:55Z)
• How Does Generative Retrieval Scale to Millions of Passages? [68.98628807288972]
  各種コーパス尺度における生成的検索手法の実証的研究を行った。 我々は8.8Mパスのコーパスで数百万のパスに生成検索をスケールし、モデルサイズを最大11Bパラメータまで評価する。 生成的検索は、小さなコーパス上の最先端のデュアルエンコーダと競合するが、数百万のパスへのスケーリングは依然として重要で未解決の課題である。
  論文  参考訳（メタデータ） (2023-05-19T17:33:38Z)
• DSI++: Updating Transformer Memory with New Documents [95.70264288158766]
  DSI++は、DSIが新たなドキュメントをインクリメンタルにインデクシングするための継続的な学習課題である。 新たな文書の連続的な索引付けは,それまでの索引付け文書をかなり忘れてしまうことを示す。 文書の擬似クエリをサンプルとして生成メモリを導入し、連続的なインデックス付け中に補足することで、検索タスクの忘れを防止する。
  論文  参考訳（メタデータ） (2022-12-19T18:59:34Z)
• Bridging the Gap Between Indexing and Retrieval for Differentiable Search Index with Query Generation [98.02743096197402]
  Differentiable Search Index (DSI) は情報検索の新たなパラダイムである。 そこで我々は, DSI-QG と呼ばれる, DSI のための簡易かつ効果的な索引付けフレームワークを提案する。 DSI-QG が元の DSI モデルより有意に優れていたことを示す。
  論文  参考訳（メタデータ） (2022-06-21T06:21:23Z)
• UnifieR: A Unified Retriever for Large-Scale Retrieval [84.61239936314597]
  大規模な検索は、クエリを与えられた巨大なコレクションから関連ドキュメントをリコールすることである。 事前学習型言語モデル(PLM)に基づく最近の検索手法は,高密度ベクターあるいはレキシコンに基づくパラダイムに大別することができる。 本論文では,高密度ベクトルとレキシコンに基づく検索を2つの表現能力を持つ1つのモデルで統合する学習フレームワークUnifieRを提案する。
  論文  参考訳（メタデータ） (2022-05-23T11:01:59Z)
• Autoregressive Search Engines: Generating Substrings as Document Identifiers [53.0729058170278]
  自動回帰言語モデルは、回答を生成するデファクト標準として現れています。 これまでの研究は、探索空間を階層構造に分割する方法を探究してきた。 本研究では,検索空間の任意の構造を強制しない代替として,経路内のすべてのngramを識別子として使用することを提案する。
  論文  参考訳（メタデータ） (2022-04-22T10:45:01Z)
• Coarse-to-Fine Memory Matching for Joint Retrieval and Classification [0.7081604594416339]
  共同検索と分類のための新しいエンドツーエンド言語モデルを提案する。 FEVERファクト検証データセットの標準ブラインドテストセットで評価する。 我々は、モデルを分析・制約するためのこの設定に、模範監査を拡張します。
  論文  参考訳（メタデータ） (2020-11-29T05:06:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。