論文の概要: ED2LM: Encoder-Decoder to Language Model for Faster Document Re-ranking Inference

• arxiv url: http://arxiv.org/abs/2204.11458v1
• Date: Mon, 25 Apr 2022 06:26:29 GMT
• ステータス: 処理完了
• システム内更新日: 2022-04-26 14:57:45.896762
• Title: ED2LM: Encoder-Decoder to Language Model for Faster Document Re-ranking Inference
• Title（参考訳）: ED2LM: 高速な文書再ランク推論のための言語モデルへのエンコーダデコーダ
• Authors: Kai Hui, Honglei Zhuang, Tao Chen, Zhen Qin, Jing Lu, Dara Bahri, Ji Ma, Jai Prakash Gupta, Cicero Nogueira dos Santos, Yi Tay, Don Metzler
• Abstract要約: 本稿では,再ランク付けのための新しいトレーニングおよび推論パラダイムを提案する。 文書形式を用いて事前訓練したエンコーダ・デコーダモデルを精査し,クエリ生成を行う。 このエンコーダ-デコーダアーキテクチャは,推論中にデコーダのみの言語モデルに分解可能であることを示す。
• 参考スコア（独自算出の注目度）: 70.36083572306839
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: State-of-the-art neural models typically encode document-query pairs using cross-attention for re-ranking. To this end, models generally utilize an encoder-only (like BERT) paradigm or an encoder-decoder (like T5) approach. These paradigms, however, are not without flaws, i.e., running the model on all query-document pairs at inference-time incurs a significant computational cost. This paper proposes a new training and inference paradigm for re-ranking. We propose to finetune a pretrained encoder-decoder model using in the form of document to query generation. Subsequently, we show that this encoder-decoder architecture can be decomposed into a decoder-only language model during inference. This results in significant inference time speedups since the decoder-only architecture only needs to learn to interpret static encoder embeddings during inference. Our experiments show that this new paradigm achieves results that are comparable to the more expensive cross-attention ranking approaches while being up to 6.8X faster. We believe this work paves the way for more efficient neural rankers that leverage large pretrained models.
• Abstract（参考訳）: 最先端のニューラルモデルは通常、クロスアテンションを使用してドキュメント-クエリペアをエンコードする。 この目的のために、モデルは通常、エンコーダのみ(BERTのような)パラダイムまたはエンコーダ-デコーダ(T5のような)アプローチを使用する。 しかし、これらのパラダイムには欠陥がなく、すなわち推論時にすべてのクエリドキュメントペアでモデルを実行すると、かなりの計算コストがかかる。 本稿では,新たなトレーニングと推論のパラダイムを提案する。 本稿では,クエリ生成のための文書形式を用いたプリトレーニングエンコーダ・デコーダモデルを提案する。 その後、このエンコーダ-デコーダアーキテクチャを推論中にデコーダのみの言語モデルに分解できることを示す。 この結果、デコーダのみのアーキテクチャでは、推論中に静的エンコーダの埋め込みを解釈することしか学ばないため、推論時間を大幅に高速化する。 私たちの実験では、この新しいパラダイムは6.8倍高速で、より高価なクロスアテンションランキングアプローチに匹敵する結果を達成しています。 この研究は、大きな事前訓練されたモデルを活用するより効率的なニューラルランサーの道を開いたと信じています。

関連論文リスト

• Faster Diffusion: Rethinking the Role of the Encoder for Diffusion Model Inference [95.42299246592756]
  本稿では,UNetエンコーダについて検討し,エンコーダの特徴を実証的に分析する。 エンコーダの特徴は最小限に変化するが,デコーダの特徴は時間段階によって大きく異なる。 我々は、テキスト・ツー・ビデオ、パーソナライズド・ジェネレーション、参照誘導ジェネレーションといった他のタスクに対するアプローチを検証する。
  論文  参考訳（メタデータ） (2023-12-15T08:46:43Z)
• Hierarchical Attention Encoder Decoder [2.4366811507669115]
  自己回帰モデリングは、多くの実世界の応用を持つ複雑で斬新なシーケンスを生成することができる。 これらのモデルはアウトプットを自動回帰的に生成しなければなりません。 階層型リカレントデコーダアーキテクチャに基づくモデルを提案する。
  論文  参考訳（メタデータ） (2023-06-01T18:17:23Z)
• Improving Code Search with Hard Negative Sampling Based on Fine-tuning [15.341959871682981]
  本稿では,クエリとコードの結合を共同で符号化するコード検索のためのクロスエンコーダアーキテクチャを提案する。 また、両エンコーダとクロスエンコーダをカスケードしたRetriever-Ranker(RR)フレームワークを導入し、評価とオンラインサービスの有効性を高める。
  論文  参考訳（メタデータ） (2023-05-08T07:04:28Z)
• Decoder-Only or Encoder-Decoder? Interpreting Language Model as a Regularized Encoder-Decoder [75.03283861464365]
  seq2seqタスクは、与えられた入力ソースシーケンスに基づいてターゲットシーケンスを生成することを目的としている。 伝統的に、seq2seqタスクのほとんどはエンコーダによって解決され、ソースシーケンスとデコーダをエンコードしてターゲットテキストを生成する。 最近、デコーダのみの言語モデルをseq2seqタスクに直接適用する、多くの新しいアプローチが出現しました。
  論文  参考訳（メタデータ） (2023-04-08T15:44:29Z)
• Pre-Training Transformer Decoder for End-to-End ASR Model with Unpaired Speech Data [145.95460945321253]
  本稿では,音響単位,すなわち擬似符号を用いたエンコーダ・デコーダネットワークのための2つの事前学習タスクを提案する。 提案したSpeech2Cは,デコーダを事前学習することなく,単語誤り率(WER)を19.2%削減できる。
  論文  参考訳（メタデータ） (2022-03-31T15:33:56Z)
• UniXcoder: Unified Cross-Modal Pre-training for Code Representation [65.6846553962117]
  プログラミング言語のためのクロスモーダル事前学習モデルUniXcoderを提案する。 木の構造情報を全て保持するシーケンス構造でASTを変換する1対1のマッピング手法を提案する。 我々は,UniXcoderを9つのデータセット上で5つのコード関連タスクで評価する。
  論文  参考訳（メタデータ） (2022-03-08T04:48:07Z)
• Cross-Thought for Sentence Encoder Pre-training [89.32270059777025]
  Cross-Thoughtは、事前トレーニングシーケンスエンコーダに対する新しいアプローチである。 我々は、Transformerベースのシーケンスエンコーダを、多数の短いシーケンスに対してトレーニングする。 質問応答とテキストのエンコーダタスクの実験は、事前学習したエンコーダが最先端のエンコーダより優れていることを示す。
  論文  参考訳（メタデータ） (2020-10-07T21:02:41Z)
• Regularized Forward-Backward Decoder for Attention Models [5.257115841810258]
  トレーニング期間中に第2復号器を組み込んだ新たな正規化手法を提案する。 このデコーダは、事前に時間反転ターゲットラベルに最適化されており、将来の文脈から知識を追加することで、トレーニング中に標準デコーダをサポートする。 より小さなTEDLiumv2とより大きなLibriSpeechデータセットに対する我々のアプローチを評価し、両者で一貫した改善を実現した。
  論文  参考訳（メタデータ） (2020-06-15T16:04:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。