論文の概要: Enhancing Dual-Encoders with Question and Answer Cross-Embeddings for Answer Retrieval

• arxiv url: http://arxiv.org/abs/2206.02978v1
• Date: Tue, 7 Jun 2022 02:39:24 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-08 13:52:30.612932
• Title: Enhancing Dual-Encoders with Question and Answer Cross-Embeddings for Answer Retrieval
• Title（参考訳）: 回答検索のための質問と回答によるデュアルエンコーダの強化
• Authors: Yanmeng Wang, Jun Bai, Ye Wang, Jianfei Zhang, Wenge Rong, Zongcheng Ji, Shaojun Wang, Jing Xiao
• Abstract要約: デュアルエンコーダは質問応答システム(QA)における回答検索のための有望なメカニズムである。 質問応答のクロス埋め込みと新しい幾何アライメント機構(GAM)を備えたデュアルエンコーダモデルを構築するためのフレームワークを提案する。 本フレームワークはDual-Encodersモデルを大幅に改善し,複数の回答検索データセット上で最先端の手法より優れている。
• 参考スコア（独自算出の注目度）: 29.16807969384253
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Dual-Encoders is a promising mechanism for answer retrieval in question answering (QA) systems. Currently most conventional Dual-Encoders learn the semantic representations of questions and answers merely through matching score. Researchers proposed to introduce the QA interaction features in scoring function but at the cost of low efficiency in inference stage. To keep independent encoding of questions and answers during inference stage, variational auto-encoder is further introduced to reconstruct answers (questions) from question (answer) embeddings as an auxiliary task to enhance QA interaction in representation learning in training stage. However, the needs of text generation and answer retrieval are different, which leads to hardness in training. In this work, we propose a framework to enhance the Dual-Encoders model with question answer cross-embeddings and a novel Geometry Alignment Mechanism (GAM) to align the geometry of embeddings from Dual-Encoders with that from Cross-Encoders. Extensive experimental results show that our framework significantly improves Dual-Encoders model and outperforms the state-of-the-art method on multiple answer retrieval datasets.
• Abstract（参考訳）: デュアルエンコーダは質問応答システム(QA)における回答検索のための有望なメカニズムである。 現在、ほとんどの従来のデュアルエンコーダは、一致するスコアだけで質問や回答の意味表現を学習している。 研究者らは、スコアリング機能においてQA相互作用機能を導入することを提案したが、推論段階では効率が低かった。 推論段階の間、質問と回答の独立した符号化を維持するため、トレーニング段階における表現学習におけるqaインタラクションを強化する補助タスクとして質問(回答)埋め込みから回答(質問)を再構築するために、変分オートエンコーダがさらに導入される。 しかし、テキスト生成と回答検索の必要性は異なるため、訓練の難しさにつながる。 本研究では,質問応答のクロスエンベディングによるデュアルエンコーダモデルと,デュアルエンコーダからの埋め込みの形状をクロスエンコーダの形状と整合させる新しい幾何アライメント機構(gam)を提案する。 広範な実験結果から,マルチ回答検索データセットでは,デュアルエンコーダモデルが大幅に改善され,最先端手法よりも優れていた。

関連論文リスト

• Retrieval-Augmented Natural Language Reasoning for Explainable Visual Question Answering [2.98667511228225]
  ReReは、事前訓練されたクリップビジョンエンコーダと事前訓練されたGPT-2言語モデルをデコーダとして使用するエンコーダ/デコーダアーキテクチャモデルである。 ReReは、VQA精度と説明スコアにおいて従来の手法よりも優れており、より説得力があり信頼性の高いNLEの改善を示している。
  論文  参考訳（メタデータ） (2024-08-30T04:39:43Z)
• Exploring Diverse Methods in Visual Question Answering [0.6707149143800017]
  本研究では,GAN(Generative Adversarial Networks),オートエンコーダ,アテンション機構を用いた視覚質問応答(VQA)の改善手法について検討する。 GANベースのアプローチは、イメージと質問入力に条件付き回答の埋め込みを生成することを目的としており、より複雑なタスクに苦労する可能性を示している。 オートエンコーダベースのテクニックは、質問や画像に対する最適な埋め込みの学習に重点を置いており、複雑な質問に対する能力の向上により、GANと同等の結果が得られる。
  論文  参考訳（メタデータ） (2024-04-21T07:34:44Z)
• Quick Dense Retrievers Consume KALE: Post Training Kullback Leibler Alignment of Embeddings for Asymmetrical dual encoders [89.29256833403169]
  我々は,高密度検索手法の推論効率を高めるための効率的かつ正確な手法であるKulback Leibler Alignment of Embeddings (KALE)を紹介した。 KALEは、バイエンコーダトレーニング後の従来の知識蒸留を拡張し、完全なリトレーニングやインデックス生成なしに効率的なクエリエンコーダ圧縮を可能にする。 KALEと非対称トレーニングを用いることで、3倍高速な推論を持つにもかかわらず、DistilBERTの性能を超えるモデルを生成することができる。
  論文  参考訳（メタデータ） (2023-03-31T15:44:13Z)
• Modeling Multi-hop Question Answering as Single Sequence Prediction [88.72621430714985]
  本稿では,単純な生成手法(PathFid)を提案する。 PathFidは、マルチホップ質問に対する回答を解決するための推論プロセスを明示的にモデル化する。 実験の結果,PathFidは2つのマルチホップQAデータセットに対して高い性能向上をもたらすことが示された。
  論文  参考訳（メタデータ） (2022-05-18T21:57:59Z)
• Exploring Dual Encoder Architectures for Question Answering [17.59582094233306]
  デュアルエンコーダは質問応答(QA)と情報検索(IR)タスクによく使われてきた。 デュアルエンコーダには、SDE(Siamese Duals)とADE(Asymmetric Dual Architectures)の2種類がある。
  論文  参考訳（メタデータ） (2022-04-14T17:21:14Z)
• Double Retrieval and Ranking for Accurate Question Answering [120.69820139008138]
  本研究では,トランスフォーマーを用いた解答選択モデルに導入された解答検証ステップが,問合せ解答における解答の精度を大幅に向上させることを示す。 AS2のためのよく知られた3つのデータセットの結果は、最先端の一貫性と大幅な改善を示している。
  論文  参考訳（メタデータ） (2022-01-16T06:20:07Z)
• Distilled Dual-Encoder Model for Vision-Language Understanding [50.42062182895373]
  本稿では,視覚言語理解タスクのためのデュアルエンコーダモデルをトレーニングするための多モードアテンション蒸留フレームワークを提案する。 プレトレーニングと微調整の両方にクロスモーダルアテンション蒸留を適用することで,さらなる改良が期待できることを示す。
  論文  参考訳（メタデータ） (2021-12-16T09:21:18Z)
• Hybrid Autoregressive Solver for Scalable Abductive Natural Language Inference [2.867517731896504]
  本稿では,高密度バイエンコーダと説明力のスパースモデルとを自己回帰的に結合するハイブリッド誘導型解法を提案する。 提案するフレームワークは,最先端のクロスエンコーダに匹敵する性能を実現することができることを示す。
  論文  参考訳（メタデータ） (2021-07-25T19:29:53Z)
• Question Answering Infused Pre-training of General-Purpose Contextualized Representations [70.62967781515127]
  汎用的文脈表現学習のための質問応答(QA)に基づく事前学習目的を提案する。 我々は、より正確なクロスエンコーダモデルの予測と一致するように、個別にパスと質問をエンコードするバイエンコーダQAモデルをトレーニングすることで、この目標を達成する。 ゼロショット, 少数ショットのパラフレーズ検出において, RoBERTa-large と過去の最先端のどちらよりも大幅に改善した。
  論文  参考訳（メタデータ） (2021-06-15T14:45:15Z)
• Crossing Variational Autoencoders for Answer Retrieval [50.17311961755684]
  質問・回答アライメントと質問・回答セマンティクスは、表現を学ぶための重要な信号である。 そこで本研究では,回答を一致させた質問を生成し,回答を一致した質問で生成することで,変分自動エンコーダを横断する手法を提案する。
  論文  参考訳（メタデータ） (2020-05-06T01:59:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。