論文の概要: Once is Enough: A Light-Weight Cross-Attention for Fast Sentence Pair Modeling

• arxiv url: http://arxiv.org/abs/2210.05261v3
• Date: Sun, 22 Oct 2023 10:38:48 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-25 14:47:18.576113
• Title: Once is Enough: A Light-Weight Cross-Attention for Fast Sentence Pair Modeling
• Title（参考訳）: once is enough: 高速文対モデリングのための軽量クロスアテンション
• Authors: Yuanhang Yang, Shiyi Qi, Chuanyi Liu, Qifan Wang, Cuiyun Gao, and Zenglin Xu
• Abstract要約: トランスフォーマーベースのモデルは文ペアモデリングタスクで大きな成功を収めた。 最近の研究は、より高速な計算のためのデュアルエンコーダと遅延相互作用アーキテクチャを提案する。 本稿では,効率的な文ペアモデリングのための新しいパラダイムMixEncoderを提案する。
• 参考スコア（独自算出の注目度）: 40.865668249839
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Transformer-based models have achieved great success on sentence pair modeling tasks, such as answer selection and natural language inference (NLI). These models generally perform cross-attention over input pairs, leading to prohibitive computational costs. Recent studies propose dual-encoder and late interaction architectures for faster computation. However, the balance between the expressive of cross-attention and computation speedup still needs better coordinated. To this end, this paper introduces a novel paradigm MixEncoder for efficient sentence pair modeling. MixEncoder involves a light-weight cross-attention mechanism. It conducts query encoding only once while modeling the query-candidate interaction in parallel. Extensive experiments conducted on four tasks demonstrate that our MixEncoder can speed up sentence pairing by over 113x while achieving comparable performance as the more expensive cross-attention models.
• Abstract（参考訳）: トランスフォーマーベースのモデルは、応答選択や自然言語推論(NLI)といった文対モデリングタスクで大きな成功を収めた。 これらのモデルは通常、入力ペアに対してクロスアテンションを実行するため、計算コストは禁じられる。 近年、高速計算のためのデュアルエンコーダと遅延インタラクションアーキテクチャを提案する。 しかし、クロスアテンションの表現と計算スピードアップのバランスはいまだよく調整する必要がある。 そこで本稿では,効率的な文対モデリングのための新しいパラダイムミックスエンコーダを提案する。 mixencoderには軽量なクロスアテンション機構がある。 クエリ-候補相互作用を並列にモデリングしながら、クエリエンコーディングのみを実行する。 4つのタスクで実施された大規模な実験により、MixEncoderは、より高価なクロスアテンションモデルと同等の性能を保ちながら、文ペアリングを113倍高速化できることが示された。

関連論文リスト

• Promises and Pitfalls of Generative Masked Language Modeling: Theoretical Framework and Practical Guidelines [74.42485647685272]
  GMLM(Generative Masked Language Models)に焦点を当てる。 我々は,マルコフ連鎖の入力として使用されるマスキングにより,データ分布の条件付き確率に適合するモデルを訓練し,モデルからサンプルを抽出する。 我々は,T5モデルを並列デコーディングに適応させ,最小品質の犠牲を伴って機械翻訳における2～3倍の高速化を実現した。
  論文  参考訳（メタデータ） (2024-07-22T18:00:00Z)
• Fast Inference from Transformers via Speculative Decoding [3.950600027250452]
  Transformersのような大規模な自己回帰モデルからの推論は遅く、Kトークンの復号化はモデルのKシリアル実行を伴います。 本研究では,複数のトークンを並列に計算することで,自動回帰モデルから高速にサンプリングするアルゴリズムである投機的復号化を導入する。
  論文  参考訳（メタデータ） (2022-11-30T17:33:28Z)
• Paraformer: Fast and Accurate Parallel Transformer for Non-autoregressive End-to-End Speech Recognition [62.83832841523525]
  そこで我々はParaformerと呼ばれる高速かつ高精度な並列トランスを提案する。 出力トークンの数を正確に予測し、隠れた変数を抽出する。 10倍以上のスピードアップで、最先端のARトランスフォーマーに匹敵するパフォーマンスを実現することができる。
  論文  参考訳（メタデータ） (2022-06-16T17:24:14Z)
• ED2LM: Encoder-Decoder to Language Model for Faster Document Re-ranking Inference [70.36083572306839]
  本稿では,再ランク付けのための新しいトレーニングおよび推論パラダイムを提案する。 文書形式を用いて事前訓練したエンコーダ・デコーダモデルを精査し,クエリ生成を行う。 このエンコーダ-デコーダアーキテクチャは,推論中にデコーダのみの言語モデルに分解可能であることを示す。
  論文  参考訳（メタデータ） (2022-04-25T06:26:29Z)
• Distilled Dual-Encoder Model for Vision-Language Understanding [50.42062182895373]
  本稿では,視覚言語理解タスクのためのデュアルエンコーダモデルをトレーニングするための多モードアテンション蒸留フレームワークを提案する。 プレトレーニングと微調整の両方にクロスモーダルアテンション蒸留を適用することで,さらなる改良が期待できることを示す。
  論文  参考訳（メタデータ） (2021-12-16T09:21:18Z)
• Predicting Attention Sparsity in Transformers [0.9786690381850356]
  本稿では, 遠心注意の空間パターンを計算前に同定するモデルであるスペーサーファインダーを提案する。 我々の研究は、予測された注目グラフの間隔とリコールの間のトレードオフを広範囲に分析することで、モデル効率を研究するための新しい角度を提供する。
  論文  参考訳（メタデータ） (2021-09-24T20:51:21Z)
• Retrieve Fast, Rerank Smart: Cooperative and Joint Approaches for Improved Cross-Modal Retrieval [80.35589927511667]
  画像中のすべての単語やオブジェクトに係わるクロスアテンション機構を備えたTransformerベースのアーキテクチャを頼りに、クロスモーダル検索プロセスのテキストとビジュアルインプットへの最先端のアプローチ。 事前学習したテキスト画像のマルチモーダルモデルを効率的な検索モデルに変換する新しい微調整フレームワークを提案する。 我々は,モノリンガル,マルチリンガル,ゼロショットにおける一連の標準クロスモーダル検索ベンチマーク実験を行い,最先端クロスエンコーダに対する精度向上と大幅な効率向上を実証した。
  論文  参考訳（メタデータ） (2021-03-22T15:08:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。