論文の概要: Task-Aware Specialization for Efficient and Robust Dense Retrieval for Open-Domain Question Answering

• arxiv url: http://arxiv.org/abs/2210.05156v2
• Date: Mon, 22 May 2023 20:38:56 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-25 01:23:10.348508
• Title: Task-Aware Specialization for Efficient and Robust Dense Retrieval for Open-Domain Question Answering
• Title（参考訳）: オープンドメイン質問応答の効率的かつロバストな検索のためのタスクアウェア特殊化
• Authors: Hao Cheng, Hao Fang, Xiaodong Liu, Jianfeng Gao
• Abstract要約: 我々は高密度検索のための新しいアーキテクチャであるタスクアウェアドメイン(TASER)を提案する。 TASERは単一のエンコーダで共有ブロックと特殊ブロックをインターリーブすることでパラメータ共有を可能にする。 実験の結果,TASERの精度はBM25を上回り,パラメータの約60%を2エンコーダ高密度検索器として用いることができた。
• 参考スコア（独自算出の注目度）: 85.08146789409354
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Given its effectiveness on knowledge-intensive natural language processing tasks, dense retrieval models have become increasingly popular. Specifically, the de-facto architecture for open-domain question answering uses two isomorphic encoders that are initialized from the same pretrained model but separately parameterized for questions and passages. This bi-encoder architecture is parameter-inefficient in that there is no parameter sharing between encoders. Further, recent studies show that such dense retrievers underperform BM25 in various settings. We thus propose a new architecture, Task-aware Specialization for dense Retrieval (TASER), which enables parameter sharing by interleaving shared and specialized blocks in a single encoder. Our experiments on five question answering datasets show that TASER can achieve superior accuracy, surpassing BM25, while using about 60% of the parameters as bi-encoder dense retrievers. In out-of-domain evaluations, TASER is also empirically more robust than bi-encoder dense retrievers. Our code is available at https://github.com/microsoft/taser.
• Abstract（参考訳）: 知識集約型自然言語処理タスクにおいて有効性を考えると,高密度検索モデルはますます人気が高まっている。 具体的には、オープンドメインの質問応答のためのデファクトアーキテクチャは、2つの同型エンコーダを使用しており、同じ事前学習されたモデルから初期化されるが、質問や文に対して個別にパラメータ化されている。 このバイエンコーダアーキテクチャは、エンコーダ間にパラメータ共有がないため、パラメータ非効率である。 さらに、最近の研究では、これらの高密度レトリバーが様々な環境でBM25を過小評価している。 そこで我々は,1つのエンコーダで共有ブロックと特殊ブロックをインターリーブすることでパラメータ共有を可能にする,高密度検索のためのタスクアウェア・スペシャライゼーション(TASER)を提案する。 5つの質問応答データセットを用いた実験により,TASERはBM25を上回り,パラメータの約60%を2エンコーダ密度検索器として利用した。 ドメイン外評価では、TASERはバイエンコーダの高密度レトリバーよりも実験的に堅牢である。 私たちのコードはhttps://github.com/microsoft/taser.comで利用可能です。

関連論文リスト

• Mixture of Parrots: Experts improve memorization more than reasoning [72.445819694797]
  専門家の数が増えるにつれて、推論能力が飽和している間に記憶性能が一貫して向上することを示す。 専門家の増加は知識集約的なタスクの解決に役立ちますが、推論タスクには同じようなメリットが得られません。
  論文  参考訳（メタデータ） (2024-10-24T17:54:41Z)
• Improving Code Search with Hard Negative Sampling Based on Fine-tuning [15.341959871682981]
  本稿では,クエリとコードの結合を共同で符号化するコード検索のためのクロスエンコーダアーキテクチャを提案する。 また、両エンコーダとクロスエンコーダをカスケードしたRetriever-Ranker(RR)フレームワークを導入し、評価とオンラインサービスの有効性を高める。
  論文  参考訳（メタデータ） (2023-05-08T07:04:28Z)
• MASTER: Multi-task Pre-trained Bottlenecked Masked Autoencoders are Better Dense Retrievers [140.0479479231558]
  本研究では,様々な事前学習タスクをマルチタスク事前学習モデル(MASTER)に統合することを目的とする。 MASTERは共有エンコーダのマルチデコーダアーキテクチャを利用して、タスク全体にわたる豊富なセマンティック情報を高密度ベクトルに圧縮する表現ボトルネックを構築することができる。
  論文  参考訳（メタデータ） (2022-12-15T13:57:07Z)
• In Defense of Cross-Encoders for Zero-Shot Retrieval [4.712097135437801]
  バイエンコーダとクロスエンコーダは、多くの最先端のパイプラインで広く使われている。 クロスエンコーダのパラメータ数と初期クエリ文書間相互作用は,検索モデルの一般化能力において重要な役割を担っている。
  論文  参考訳（メタデータ） (2022-12-12T18:50:03Z)
• UniKGQA: Unified Retrieval and Reasoning for Solving Multi-hop Question Answering Over Knowledge Graph [89.98762327725112]
  KGQA(Multi-hop Question Answering over Knowledge Graph)は、自然言語の質問で言及されているトピックエンティティから、複数のホップを持つ回答エンティティを見つけることを目的としている。 我々は、モデルアーキテクチャとパラメータ学習の両方において、検索と推論を統合することで、マルチホップKGQAタスクの新しいアプローチであるUniKGQAを提案する。
  論文  参考訳（メタデータ） (2022-12-02T04:08:09Z)
• An Efficient Memory-Augmented Transformer for Knowledge-Intensive NLP Tasks [40.81306982129298]
  パラメトリックおよび検索強化モデルは、計算効率と予測精度の点で相補的な長所を持つ。 効率的なメモリ拡張トランス(EMAT)を提案する。 外部の知識をキーバリューメモリにエンコードし、メモリクエリの高速な最大内部製品検索を利用する。
  論文  参考訳（メタデータ） (2022-10-30T08:34:49Z)
• Large Dual Encoders Are Generalizable Retrievers [26.42937314291077]
  モデルサイズをスケールアップすることで,様々な検索タスクにおいて大幅な改善がもたらされることを示す。 textbf Generalizable textbfT5-based dense textbfRetrievers (GTR), outform %ColBERTcitekhattab2020colbert and existing sparse and dense retriever。
  論文  参考訳（メタデータ） (2021-12-15T05:33:27Z)
• Efficient Retrieval Optimized Multi-task Learning [16.189136169520424]
  本稿では,自己指導型タスク,知識検索,抽出質問応答を共同で訓練するための新しい検索最適化マルチタスク(ROM)フレームワークを提案する。 我々のROMアプローチは、複数のタスクに効率的にスケーリングできる統一的で一般化可能なフレームワークを提供する。 当社のフレームワークでは,近年のQAメソッドよりも同等あるいは優れたパフォーマンスを実現していますが,パラメータの数を大幅に削減しています。
  論文  参考訳（メタデータ） (2021-04-20T17:16:34Z)
• ClarQ: A large-scale and diverse dataset for Clarification Question Generation [67.1162903046619]
  そこで我々は,スタックエクスチェンジから抽出したポストコメンデーションに基づいて,多様な,大規模な明確化質問データセットの作成を支援する,新しいブートストラップフレームワークを考案した。 質問応答の下流タスクに適用することで,新たに作成したデータセットの有用性を定量的に示す。 我々はこのデータセットを公開し、ダイアログと質問応答システムの拡張という大きな目標を掲げて、質問生成の分野の研究を促進する。
  論文  参考訳（メタデータ） (2020-06-10T17:56:50Z)
• Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks [133.93803565077337]
  検索強化生成モデルは、事前訓練されたパラメトリックメモリと非パラメトリックメモリを組み合わせて言語生成を行う。 我々は、RAGモデルが、最先端パラメトリックのみのセク2セックベースラインよりも、より具体的で、多様で、現実的な言語を生成することを示す。
  論文  参考訳（メタデータ） (2020-05-22T21:34:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。