論文の概要: Contextualized Generative Retrieval

• arxiv url: http://arxiv.org/abs/2210.02068v2
• Date: Fri, 7 Oct 2022 05:15:16 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-10 10:19:29.447636
• Title: Contextualized Generative Retrieval
• Title（参考訳）: 文脈化生成検索
• Authors: Hyunji Lee, Jaeyoung Kim, Hoyeon Chang, Hanseok Oh, Sohee Yang, Vlad Karpukhin, Yi Lu, Minjoon Seo
• Abstract要約: 生成検索の復号段階におけるボクタブ埋め込みとしてコンテキスト型埋め込みを用いたコンテキスト型生成検索モデルを提案する。 文書検索タスクにおけるバニラボクタブ埋め込みのみを用いた生成検索よりも,文脈的ボクタブ埋め込みによる生成検索の方が高い性能を示す。
• 参考スコア（独自算出の注目度）: 20.48110257050808
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The text retrieval task is mainly performed in two ways: the bi-encoder approach and the generative approach. The bi-encoder approach maps the document and query embeddings to common vector space and performs a nearest neighbor search. It stably shows high performance and efficiency across different domains but has an embedding space bottleneck as it interacts in L2 or inner product space. The generative retrieval model retrieves by generating a target sequence and overcomes the embedding space bottleneck by interacting in the parametric space. However, it fails to retrieve the information it has not seen during the training process as it depends solely on the information encoded in its own model parameters. To leverage the advantages of both approaches, we propose Contextualized Generative Retrieval model, which uses contextualized embeddings (output embeddings of a language model encoder) as vocab embeddings at the decoding step of generative retrieval. The model uses information encoded in both the non-parametric space of contextualized token embeddings and the parametric space of the generative retrieval model. Our approach of generative retrieval with contextualized vocab embeddings shows higher performance than generative retrieval with only vanilla vocab embeddings in the document retrieval task, an average of 6% higher performance in KILT (NQ, TQA) and 2X higher in NQ-320k, suggesting the benefits of using contextualized embedding in generative retrieval models.
• Abstract（参考訳）: テキスト検索タスクは主にバイエンコーダアプローチと生成アプローチの2つの方法で実行される。 bi-encoderアプローチは、ドキュメントとクエリ埋め込みを共通のベクトル空間にマッピングし、最も近い隣接探索を実行する。 安定して異なる領域間で高い性能と効率を示すが、L2または内部積空間で相互作用する埋め込み空間ボトルネックを持つ。 生成検索モデルは、ターゲットシーケンスを生成して検索し、パラメトリック空間内での相互作用により埋め込み空間ボトルネックを克服する。 しかし、自身のモデルパラメータで符号化された情報のみに依存するため、トレーニングプロセス中に見ていない情報を取得することができない。 両手法の利点を活かすために,文脈化埋め込み(言語モデルエンコーダの出力埋め込み)を,生成検索の復号化ステップにおけるvocab埋め込みとして利用する文脈化生成検索モデルを提案する。 このモデルは文脈化トークン埋め込みの非パラメトリック空間と生成検索モデルのパラメトリック空間の両方にエンコードされた情報を使用する。 文脈化vocab埋め込みによる生成検索のアプローチは,文書検索タスクにバニラvocab埋め込みのみを用いた生成検索よりも高い性能を示し,klt(nq,tqa)で平均6%,nq-320kで2倍の性能を示し,生成検索モデルで文脈化埋め込みを使用することの利点を示唆する。

関連論文リスト

• Less is More: Making Smaller Language Models Competent Subgraph Retrievers for Multi-hop KGQA [51.3033125256716]
  本研究では,小言語モデルで処理される条件生成タスクとして,サブグラフ検索タスクをモデル化する。 2億2千万のパラメータからなる基本生成部分グラフ検索モデルでは,最先端モデルと比較して競合検索性能が向上した。 LLMリーダを接続した最大の3Bモデルは、WebQSPとCWQベンチマークの両方で、SOTAのエンドツーエンドパフォーマンスを新たに設定します。
  論文  参考訳（メタデータ） (2024-10-08T15:22:36Z)
• Adapting Dual-encoder Vision-language Models for Paraphrased Retrieval [55.90407811819347]
  モデルが類似した結果を返すことを目的とした,パラフレーズ付きテキスト画像検索の課題について考察する。 我々は、大きなテキストコーパスで事前訓練された言語モデルから始まる二重エンコーダモデルを訓練する。 CLIPやOpenCLIPのような公開デュアルエンコーダモデルと比較して、最高の適応戦略で訓練されたモデルは、パラフレーズクエリのランク付けの類似性を大幅に向上させる。
  論文  参考訳（メタデータ） (2024-05-06T06:30:17Z)
• Noise-Robust Dense Retrieval via Contrastive Alignment Post Training [89.29256833403167]
  Contrastive Alignment POst Training (CAPOT) は、指数再生を必要とせず、モデルロバスト性を改善する高効率な微調整法である。 CAPOTはドキュメントエンコーダを凍結することで堅牢な検索を可能にし、クエリエンコーダはノイズの多いクエリを修正されていないルートに整列させる。 MSMARCO、Natural Questions、Trivia QAパス検索のCAPOTノイズ変動を評価し、CAPOTがオーバーヘッドを伴わないデータ増大に類似した影響があることを発見した。
  論文  参考訳（メタデータ） (2023-04-06T22:16:53Z)
• Re-ViLM: Retrieval-Augmented Visual Language Model for Zero and Few-Shot Image Captioning [153.98100182439165]
  本稿では,Flamingo上に構築されたRetrieval-augmented Visual Language Model,Re-ViLMを紹介する。 外部データベースに特定の知識を明示的に格納することで、モデルパラメータの数を減らすことができる。 Re-ViLMは画像・テキスト生成タスクの性能を大幅に向上させることを示した。
  論文  参考訳（メタデータ） (2023-02-09T18:57:56Z)
• Inflected Forms Are Redundant in Question Generation Models [27.49894653349779]
  本稿では,エンコーダ・デコーダ・フレームワークを用いた質問生成の性能向上手法を提案する。 まず,エンコーダの入力から入力された単語を識別し,根語に置き換える。 次に,エンコード・デコーダ・フレームワークにおける以下の動作の組合せとしてQGを適用することを提案する。質問語の生成,ソースシーケンスからの単語のコピー,単語変換型の生成である。
  論文  参考訳（メタデータ） (2023-01-01T13:08:11Z)
• Efficient Nearest Neighbor Language Models [114.40866461741795]
  非パラメトリックニューラルネットワークモデル(NLM)は、外部データストアを用いてテキストの予測分布を学習する。 比較性能を維持しながら、推論速度の最大6倍の高速化を実現する方法を示す。
  論文  参考訳（メタデータ） (2021-09-09T12:32:28Z)
• Exploration of Visual Features and their weighted-additive fusion for Video Captioning [0.7388859384645263]
  ビデオキャプションは、自然言語を使ってビデオ内のイベントを記述するモデルに挑戦する一般的なタスクである。 本研究では,最先端の畳み込みニューラルネットワークから派生した様々な視覚特徴表現を用いて,高レベルの意味的文脈をキャプチャする能力について検討する。
  論文  参考訳（メタデータ） (2021-01-14T07:21:13Z)
• Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks [133.93803565077337]
  検索強化生成モデルは、事前訓練されたパラメトリックメモリと非パラメトリックメモリを組み合わせて言語生成を行う。 我々は、RAGモデルが、最先端パラメトリックのみのセク2セックベースラインよりも、より具体的で、多様で、現実的な言語を生成することを示す。
  論文  参考訳（メタデータ） (2020-05-22T21:34:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。