論文の概要: Exploring Dual Encoder Architectures for Question Answering

• arxiv url: http://arxiv.org/abs/2204.07120v1
• Date: Thu, 14 Apr 2022 17:21:14 GMT
• ステータス: 処理完了
• システム内更新日: 2022-04-15 15:02:28.825122
• Title: Exploring Dual Encoder Architectures for Question Answering
• Title（参考訳）: 質問応答のためのデュアルエンコーダアーキテクチャの検討
• Authors: Zhe Dong, Jianmo Ni, Dan Bikel, Enrique Alfonseca, Yuan Wang, Chen Qu, Imed Zitouni
• Abstract要約: デュアルエンコーダは質問応答(QA)と情報検索(IR)タスクによく使われてきた。 デュアルエンコーダには、SDE(Siamese Duals)とADE(Asymmetric Dual Architectures)の2種類がある。
• 参考スコア（独自算出の注目度）: 17.59582094233306
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Dual encoders have been used for question-answering (QA) and information retrieval (IR) tasks with good results. There are two major types of dual encoders, Siamese Dual Encoders (SDE), with parameters shared across two encoders, and Asymmetric Dual Encoder (ADE), with two distinctly parameterized encoders. In this work, we explore the dual encoder architectures for QA retrieval tasks. By evaluating on MS MARCO and the MultiReQA benchmark, we show that SDE performs significantly better than ADE. We further propose three different improved versions of ADEs. Based on the evaluation of QA retrieval tasks and direct analysis of the embeddings, we demonstrate that sharing parameters in projection layers would enable ADEs to perform competitively with SDEs.
• Abstract（参考訳）: デュアルエンコーダは質問応答(QA)と情報検索(IR)タスクによく使われてきた。 デュアルエンコーダには2つの主要なタイプがある: siamese dual encoder (sde) パラメータは2つのエンコーダで共有され、非対称デュアルエンコーダ (ade) は2つの異なるパラメータ化されたエンコーダを持つ。 本研究では,QA検索タスクのためのデュアルエンコーダアーキテクチャについて検討する。 MARCOとMultiReQAのベンチマークを用いて、SDEはADEよりもかなり優れた性能を示した。 さらに、ADEの3つの異なる改良版を提案する。 提案手法は,QA検索タスクの評価と埋め込みの直接解析に基づいて,プロジェクション層におけるパラメータの共有により,ADEがSDEと競合できることを示す。

関連論文リスト

• SamToNe: Improving Contrastive Loss for Dual Encoder Retrieval Models with Same Tower Negatives [4.864332428224798]
  デュアルエンコーダをトレーニングする標準的な方法は、バッチ内の負のコントラスト損失を使用することである。 そこで本研究では,同じエンコーダタワーからのクエリやドキュメントを負に付加することで,コントラスト学習の目的を改良する。 また、SamToNeは、対称と非対称の両方の二重エンコーダの検索品質を効果的に向上できることを示した。
  論文  参考訳（メタデータ） (2023-06-05T00:43:37Z)
• A Symmetric Dual Encoding Dense Retrieval Framework for Knowledge-Intensive Visual Question Answering [16.52970318866536]
  KI-VQA (Knowledge-Intensive Visual Question Answering) とは、画像に答えがない画像についての質問に答えることである。 本稿では, KI-VQAタスクのための新しいパイプラインを提案する。
  論文  参考訳（メタデータ） (2023-04-26T16:14:39Z)
• Quick Dense Retrievers Consume KALE: Post Training Kullback Leibler Alignment of Embeddings for Asymmetrical dual encoders [89.29256833403169]
  我々は,高密度検索手法の推論効率を高めるための効率的かつ正確な手法であるKulback Leibler Alignment of Embeddings (KALE)を紹介した。 KALEは、バイエンコーダトレーニング後の従来の知識蒸留を拡張し、完全なリトレーニングやインデックス生成なしに効率的なクエリエンコーダ圧縮を可能にする。 KALEと非対称トレーニングを用いることで、3倍高速な推論を持つにもかかわらず、DistilBERTの性能を超えるモデルを生成することができる。
  論文  参考訳（メタデータ） (2023-03-31T15:44:13Z)
• Task-Aware Specialization for Efficient and Robust Dense Retrieval for Open-Domain Question Answering [85.08146789409354]
  我々は高密度検索のための新しいアーキテクチャであるタスクアウェアドメイン(TASER)を提案する。 TASERは単一のエンコーダで共有ブロックと特殊ブロックをインターリーブすることでパラメータ共有を可能にする。 実験の結果,TASERの精度はBM25を上回り,パラメータの約60%を2エンコーダ高密度検索器として用いることができた。
  論文  参考訳（メタデータ） (2022-10-11T05:33:25Z)
• Revisiting Code Search in a Two-Stage Paradigm [67.02322603435628]
  TOSSは2段階のフュージョンコード検索フレームワークである。 まずIRベースのバイエンコーダモデルを使用して、少数のトップkコード候補を効率的にリコールする。 その後、より微細なクロスエンコーダを使用してランク付けを行う。
  論文  参考訳（メタデータ） (2022-08-24T02:34:27Z)
• Enhancing Dual-Encoders with Question and Answer Cross-Embeddings for Answer Retrieval [29.16807969384253]
  デュアルエンコーダは質問応答システム(QA)における回答検索のための有望なメカニズムである。 質問応答のクロス埋め込みと新しい幾何アライメント機構(GAM)を備えたデュアルエンコーダモデルを構築するためのフレームワークを提案する。 本フレームワークはDual-Encodersモデルを大幅に改善し,複数の回答検索データセット上で最先端の手法より優れている。
  論文  参考訳（メタデータ） (2022-06-07T02:39:24Z)
• LoopITR: Combining Dual and Cross Encoder Architectures for Image-Text Retrieval [117.15862403330121]
  共同学習のためのネットワークにおいて,デュアルエンコーダとクロスエンコーダを組み合わせたLoopITRを提案する。 具体的には、二重エンコーダをクロスエンコーダに強陰性を与え、より識別性の高いクロスエンコーダを用いてその予測を二重エンコーダに戻す。
  論文  参考訳（メタデータ） (2022-03-10T16:41:12Z)
• Question Answering Infused Pre-training of General-Purpose Contextualized Representations [70.62967781515127]
  汎用的文脈表現学習のための質問応答(QA)に基づく事前学習目的を提案する。 我々は、より正確なクロスエンコーダモデルの予測と一致するように、個別にパスと質問をエンコードするバイエンコーダQAモデルをトレーニングすることで、この目標を達成する。 ゼロショット, 少数ショットのパラフレーズ検出において, RoBERTa-large と過去の最先端のどちらよりも大幅に改善した。
  論文  参考訳（メタデータ） (2021-06-15T14:45:15Z)
• Dual-decoder Transformer for Joint Automatic Speech Recognition and Multilingual Speech Translation [71.54816893482457]
  自動音声認識(ASR)と多言語音声翻訳(ST)を共同で行う新しいモデルアーキテクチャであるデュアルデコーダトランスフォーマを導入する。 我々のモデルはオリジナルのTransformerアーキテクチャに基づいているが、2つのデコーダで構成されており、それぞれが1つのタスク(ASRまたはST)を担っている。
  論文  参考訳（メタデータ） (2020-11-02T04:59:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。