論文の概要: Encoder Adaptation of Dense Passage Retrieval for Open-Domain Question Answering

• arxiv url: http://arxiv.org/abs/2110.01599v1
• Date: Mon, 4 Oct 2021 17:51:07 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-05 16:39:51.622198
• Title: Encoder Adaptation of Dense Passage Retrieval for Open-Domain Question Answering
• Title（参考訳）: オープンドメイン質問応答のためのデンスパス検索のエンコーダ適応
• Authors: Minghan Li, Jimmy Lin
• Abstract要約: 我々は,他のドメインからのOODパス/問い合わせエンコーダと組み合わせた場合,IND(In-distriion)質問/パスエンコーダがいかに一般化するかを検討する。 通訳エンコーダは一般化の下界に強い影響を与えるが,質問エンコーダは一般に上界に影響を及ぼすと考えられる。
• 参考スコア（独自算出の注目度）: 44.853870854321066
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: One key feature of dense passage retrievers (DPR) is the use of separate question and passage encoder in a bi-encoder design. Previous work on generalization of DPR mainly focus on testing both encoders in tandem on out-of-distribution (OOD) question-answering (QA) tasks, which is also known as domain adaptation. However, it is still unknown how DPR's individual question/passage encoder affects generalization. Specifically, in this paper, we want to know how an in-distribution (IND) question/passage encoder would generalize if paired with an OOD passage/question encoder from another domain. We refer to this challenge as \textit{encoder adaptation}. To answer this question, we inspect different combinations of DPR's question and passage encoder learned from five benchmark QA datasets on both in-domain and out-of-domain questions. We find that the passage encoder has more influence on the lower bound of generalization while the question encoder seems to affect the upper bound in general. For example, applying an OOD passage encoder usually hurts the retrieval accuracy while an OOD question encoder sometimes even improves the accuracy.
• Abstract（参考訳）: 密閉通路レトリバー(dpr)の1つの重要な特徴は、バイエンコーダの設計において別々の質問と通路エンコーダを使用することである。 DPRの一般化に関するこれまでの研究は、主にドメイン適応(Domain adapt)としても知られるOOD (Out-of-distriion) Question-Awering (QA) タスクのタンデムにおける両エンコーダのテストに重点を置いていた。 しかし、DPRの個別問合せエンコーダが一般化にどのように影響するかはいまだ不明である。 具体的には、他のドメインからのOODパス/問い合わせエンコーダと組み合わせた場合、IND/パスエンコーダがいかに一般化するかを知りたい。 この課題を \textit{encoder adaptation} と呼ぶ。 この質問に答えるために、ドメイン内およびドメイン外の問合せに関する5つのベンチマークQAデータセットから得られたDPRの問合せと通過エンコーダの異なる組み合わせを検査する。 その結果、パッセージエンコーダは一般化の下限により多くの影響を与え、クエスチョンエンコーダは一般に上界に影響を及ぼすように見える。 例えば、OODパスエンコーダの適用は通常、検索精度を損なうが、OOD質問エンコーダは時に精度を向上する。

関連論文リスト

• Hold Me Tight: Stable Encoder-Decoder Design for Speech Enhancement [1.4037575966075835]
  生のオーディオの1Dフィルターは訓練が困難で、しばしば不安定に悩まされる。 これらの問題は、理論駆動とデータ駆動のアプローチを組み合わせたハイブリッドソリューションによって解決される。
  論文  参考訳（メタデータ） (2024-08-30T15:49:31Z)
• FastFiD: Improve Inference Efficiency of Open Domain Question Answering via Sentence Selection [61.9638234358049]
  FastFiDは、エンコードされたパスで文の選択を実行する新しいアプローチである。 これにより、価値ある文を保持するのに役立ち、回答を生成するのに必要な文脈長を減らすことができる。
  論文  参考訳（メタデータ） (2024-08-12T17:50:02Z)
• Think Twice before Driving: Towards Scalable Decoders for End-to-End Autonomous Driving [74.28510044056706]
  既存のメソッドは通常、分離されたエンコーダ-デコーダパラダイムを採用する。 本研究は,この問題を2つの原則で緩和することを目的としている。 まず、エンコーダの特徴に基づいて、粗い将来の位置と行動を予測する。 そして、その位置と動作を条件に、将来のシーンを想像して、それに従って運転した場合にその影響を確認する。
  論文  参考訳（メタデータ） (2023-05-10T15:22:02Z)
• Decoder-Only or Encoder-Decoder? Interpreting Language Model as a Regularized Encoder-Decoder [75.03283861464365]
  seq2seqタスクは、与えられた入力ソースシーケンスに基づいてターゲットシーケンスを生成することを目的としている。 伝統的に、seq2seqタスクのほとんどはエンコーダによって解決され、ソースシーケンスとデコーダをエンコードしてターゲットテキストを生成する。 最近、デコーダのみの言語モデルをseq2seqタスクに直接適用する、多くの新しいアプローチが出現しました。
  論文  参考訳（メタデータ） (2023-04-08T15:44:29Z)
• Task-Aware Specialization for Efficient and Robust Dense Retrieval for Open-Domain Question Answering [85.08146789409354]
  我々は高密度検索のための新しいアーキテクチャであるタスクアウェアドメイン(TASER)を提案する。 TASERは単一のエンコーダで共有ブロックと特殊ブロックをインターリーブすることでパラメータ共有を可能にする。 実験の結果,TASERの精度はBM25を上回り,パラメータの約60%を2エンコーダ高密度検索器として用いることができた。
  論文  参考訳（メタデータ） (2022-10-11T05:33:25Z)
• Enhancing Dual-Encoders with Question and Answer Cross-Embeddings for Answer Retrieval [29.16807969384253]
  デュアルエンコーダは質問応答システム(QA)における回答検索のための有望なメカニズムである。 質問応答のクロス埋め込みと新しい幾何アライメント機構(GAM)を備えたデュアルエンコーダモデルを構築するためのフレームワークを提案する。 本フレームワークはDual-Encodersモデルを大幅に改善し,複数の回答検索データセット上で最先端の手法より優れている。
  論文  参考訳（メタデータ） (2022-06-07T02:39:24Z)
• Trans-Encoder: Unsupervised sentence-pair modelling through self- and mutual-distillations [22.40667024030858]
  バイエンコーダは固定次元の文表現を生成し、計算効率が良い。 クロスエンコーダは、アテンションヘッドを利用して、より優れたパフォーマンスのために文間相互作用を利用することができる。 Trans-Encoderは、2つの学習パラダイムを反復的なジョイントフレームワークに統合し、拡張されたバイ・エンコーダとクロス・エンコーダを同時に学習する。
  論文  参考訳（メタデータ） (2021-09-27T14:06:47Z)
• Question Answering Infused Pre-training of General-Purpose Contextualized Representations [70.62967781515127]
  汎用的文脈表現学習のための質問応答(QA)に基づく事前学習目的を提案する。 我々は、より正確なクロスエンコーダモデルの予測と一致するように、個別にパスと質問をエンコードするバイエンコーダQAモデルをトレーニングすることで、この目標を達成する。 ゼロショット, 少数ショットのパラフレーズ検出において, RoBERTa-large と過去の最先端のどちらよりも大幅に改善した。
  論文  参考訳（メタデータ） (2021-06-15T14:45:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。