論文の概要: Nonparametric Decoding for Generative Retrieval

• arxiv url: http://arxiv.org/abs/2210.02068v3
• Date: Sun, 28 May 2023 21:05:13 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-31 03:22:11.263490
• Title: Nonparametric Decoding for Generative Retrieval
• Title（参考訳）: 生成検索のための非パラメトリックデコーディング
• Authors: Hyunji Lee, Jaeyoung Kim, Hoyeon Chang, Hanseok Oh, Sohee Yang, Vlad Karpukhin, Yi Lu, Minjoon Seo
• Abstract要約: 既存の生成検索モデルに適用可能な非パラメトリックデコーディング(Npデコーディング)を提案する。 Npデコーディングはデータとパラメータの効率が良く、ゼロショット設定では高い性能を示す。
• 参考スコア（独自算出の注目度）: 20.48110257050808
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The generative retrieval model depends solely on the information encoded in its model parameters without external memory, its information capacity is limited and fixed. To overcome the limitation, we propose Nonparametric Decoding (Np Decoding) which can be applied to existing generative retrieval models. Np Decoding uses nonparametric contextualized vocab embeddings (external memory) rather than vanilla vocab embeddings as decoder vocab embeddings. By leveraging the contextualized vocab embeddings, the generative retrieval model is able to utilize both the parametric and nonparametric space. Evaluation over 9 datasets (8 single-hop and 1 multi-hop) in the document retrieval task shows that applying Np Decoding to generative retrieval models significantly improves the performance. We also show that Np Decoding is data- and parameter-efficient, and shows high performance in the zero-shot setting.
• Abstract（参考訳）: 生成検索モデルは、外部メモリのないモデルパラメータで符号化された情報のみに依存し、その情報容量は制限され固定される。 この制限を克服するため,既存の生成検索モデルに適用可能な非パラメトリックデコーディング(Npデコーディング)を提案する。 npデコードでは、バニラボカブ組込みをデコーダボカブ組込みとしてではなく、非パラメトリックコンテキスト化vocab組込み(外部メモリ)を使用する。 文脈化されたvocab埋め込みを利用することで、生成的検索モデルはパラメトリック空間と非パラメトリック空間の両方を利用することができる。 文書検索タスクにおける9つのデータセット(シングルホップ8個、マルチホップ1個)に対する評価は、生成的検索モデルにNpデコードを適用することにより、性能が大幅に向上することを示している。 また、Npデコーディングはデータおよびパラメータ効率が高く、ゼロショット設定では高い性能を示す。

関連論文リスト

• Less is More: Making Smaller Language Models Competent Subgraph Retrievers for Multi-hop KGQA [51.3033125256716]
  本研究では,小言語モデルで処理される条件生成タスクとして,サブグラフ検索タスクをモデル化する。 2億2千万のパラメータからなる基本生成部分グラフ検索モデルでは,最先端モデルと比較して競合検索性能が向上した。 LLMリーダを接続した最大の3Bモデルは、WebQSPとCWQベンチマークの両方で、SOTAのエンドツーエンドパフォーマンスを新たに設定します。
  論文  参考訳（メタデータ） (2024-10-08T15:22:36Z)
• Adapting Dual-encoder Vision-language Models for Paraphrased Retrieval [55.90407811819347]
  モデルが類似した結果を返すことを目的とした,パラフレーズ付きテキスト画像検索の課題について考察する。 我々は、大きなテキストコーパスで事前訓練された言語モデルから始まる二重エンコーダモデルを訓練する。 CLIPやOpenCLIPのような公開デュアルエンコーダモデルと比較して、最高の適応戦略で訓練されたモデルは、パラフレーズクエリのランク付けの類似性を大幅に向上させる。
  論文  参考訳（メタデータ） (2024-05-06T06:30:17Z)
• Noise-Robust Dense Retrieval via Contrastive Alignment Post Training [89.29256833403167]
  Contrastive Alignment POst Training (CAPOT) は、指数再生を必要とせず、モデルロバスト性を改善する高効率な微調整法である。 CAPOTはドキュメントエンコーダを凍結することで堅牢な検索を可能にし、クエリエンコーダはノイズの多いクエリを修正されていないルートに整列させる。 MSMARCO、Natural Questions、Trivia QAパス検索のCAPOTノイズ変動を評価し、CAPOTがオーバーヘッドを伴わないデータ増大に類似した影響があることを発見した。
  論文  参考訳（メタデータ） (2023-04-06T22:16:53Z)
• Re-ViLM: Retrieval-Augmented Visual Language Model for Zero and Few-Shot Image Captioning [153.98100182439165]
  本稿では,Flamingo上に構築されたRetrieval-augmented Visual Language Model,Re-ViLMを紹介する。 外部データベースに特定の知識を明示的に格納することで、モデルパラメータの数を減らすことができる。 Re-ViLMは画像・テキスト生成タスクの性能を大幅に向上させることを示した。
  論文  参考訳（メタデータ） (2023-02-09T18:57:56Z)
• Inflected Forms Are Redundant in Question Generation Models [27.49894653349779]
  本稿では,エンコーダ・デコーダ・フレームワークを用いた質問生成の性能向上手法を提案する。 まず,エンコーダの入力から入力された単語を識別し,根語に置き換える。 次に,エンコード・デコーダ・フレームワークにおける以下の動作の組合せとしてQGを適用することを提案する。質問語の生成,ソースシーケンスからの単語のコピー,単語変換型の生成である。
  論文  参考訳（メタデータ） (2023-01-01T13:08:11Z)
• Efficient Nearest Neighbor Language Models [114.40866461741795]
  非パラメトリックニューラルネットワークモデル(NLM)は、外部データストアを用いてテキストの予測分布を学習する。 比較性能を維持しながら、推論速度の最大6倍の高速化を実現する方法を示す。
  論文  参考訳（メタデータ） (2021-09-09T12:32:28Z)
• Exploration of Visual Features and their weighted-additive fusion for Video Captioning [0.7388859384645263]
  ビデオキャプションは、自然言語を使ってビデオ内のイベントを記述するモデルに挑戦する一般的なタスクである。 本研究では,最先端の畳み込みニューラルネットワークから派生した様々な視覚特徴表現を用いて,高レベルの意味的文脈をキャプチャする能力について検討する。
  論文  参考訳（メタデータ） (2021-01-14T07:21:13Z)
• Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks [133.93803565077337]
  検索強化生成モデルは、事前訓練されたパラメトリックメモリと非パラメトリックメモリを組み合わせて言語生成を行う。 我々は、RAGモデルが、最先端パラメトリックのみのセク2セックベースラインよりも、より具体的で、多様で、現実的な言語を生成することを示す。
  論文  参考訳（メタデータ） (2020-05-22T21:34:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。