論文の概要: MASTER: Multi-task Pre-trained Bottlenecked Masked Autoencoders are Better Dense Retrievers

• arxiv url: http://arxiv.org/abs/2212.07841v1
• Date: Thu, 15 Dec 2022 13:57:07 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-16 17:29:28.743946
• Title: MASTER: Multi-task Pre-trained Bottlenecked Masked Autoencoders are Better Dense Retrievers
• Title（参考訳）: MASTER:マルチタスクで事前訓練された自動エンコーダ
• Authors: Kun Zhou, Xiao Liu, Yeyun Gong, Wayne Xin Zhao, Daxin Jiang, Nan Duan, Ji-Rong Wen
• Abstract要約: 学習目的の異なる複数の事前学習タスクを統一するマルチタスク事前学習モデルMASTERを提案する。 共有ディープエンコーダを組み込むことにより,タスク間の豊富な意味情報を高密度ベクトルに圧縮し,アーキテクチャにおける表現ボトルネックを構築する。 提案手法は,従来の最先端の高密度検索手法よりも優れていた。
• 参考スコア（独自算出の注目度）: 140.0479479231558
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Dense retrieval aims to map queries and passages into low-dimensional vector space for efficient similarity measuring, showing promising effectiveness in various large-scale retrieval tasks. Since most existing methods commonly adopt pre-trained Transformers (e.g. BERT) for parameter initialization, some work focuses on proposing new pre-training tasks for compressing the useful semantic information from passages into dense vectors, achieving remarkable performances. However, it is still challenging to effectively capture the rich semantic information and relations about passages into the dense vectors via one single particular pre-training task. In this work, we propose a multi-task pre-trained model, MASTER, that unifies and integrates multiple pre-training tasks with different learning objectives under the bottlenecked masked autoencoder architecture. Concretely, MASTER utilizes a multi-decoder architecture to integrate three types of pre-training tasks: corrupted passages recovering, related passage recovering and PLMs outputs recovering. By incorporating a shared deep encoder, we construct a representation bottleneck in our architecture, compressing the abundant semantic information across tasks into dense vectors. The first two types of tasks concentrate on capturing the semantic information of passages and relationships among them within the pre-training corpus. The third one can capture the knowledge beyond the corpus from external PLMs (e.g. GPT-2). Extensive experiments on several large-scale passage retrieval datasets have shown that our approach outperforms the previous state-of-the-art dense retrieval methods. Our code and data are publicly released in https://github.com/microsoft/SimXNS
• Abstract（参考訳）: 高密度検索は,クエリとパッセージを低次元ベクトル空間にマッピングし,効率的な類似度測定を行うことを目的としている。 既存のほとんどのメソッドはパラメータ初期化のために事前訓練されたトランスフォーマー(例えばBERT)を採用するため、パスから高密度ベクトルへ有用な意味情報を圧縮する新しい事前学習タスクの提案に焦点が当てられている。 しかし、1つの特定の事前学習タスクによって、高密度ベクトルへの経路に関する豊富な意味情報や関係を効果的に捉えることは依然として困難である。 本研究では,マルチタスク事前学習モデルであるmasterを提案し,ボトルネックのあるマスク付きオートエンコーダアーキテクチャの下で,異なる学習目標を持つ複数の事前学習タスクを統合し統合する。 具体的には、MASTERはマルチデコーダアーキテクチャを使用して、3種類の事前訓練タスクを統合する。 共有ディープエンコーダを組み込むことにより,タスク間の豊富な意味情報を高密度ベクトルに圧縮し,アーキテクチャにおける表現ボトルネックを構築する。 最初の2つのタスクは、事前学習コーパス内のパスとそれらの間の関係のセマンティック情報を取得することに集中する。 3つ目は、外部のPLM(例えばGPT-2)からコーパス以外の知識を捉えることができる。 大規模経路検索データセットの広範囲な実験により,従来手法よりも優れた検索手法が得られた。 私たちのコードとデータはhttps://github.com/microsoft/SimXNSで公開されています。

関連論文リスト

• Task-Distributionally Robust Data-Free Meta-Learning [99.56612787882334]
  Data-Free Meta-Learning (DFML)は、複数の事前学習モデルを活用することで、独自のトレーニングデータを必要とせずに、新しいタスクを効率的に学習することを目的としている。 TDS(Task-Distribution Shift)とTDC(Task-Distribution Corruption)の2つの大きな課題を初めて明らかにした。
  論文  参考訳（メタデータ） (2023-11-23T15:46:54Z)
• CL-MAE: Curriculum-Learned Masked Autoencoders [49.24994655813455]
  本稿では,自己指導型再建作業の複雑さを継続的に増大させるために,マスキング戦略を更新するカリキュラム学習手法を提案する。 我々は、ImageNet上でCL-MAE(Curriculum-Learned Masked Autoencoder)をトレーニングし、MAEよりも優れた表現学習能力を示すことを示す。
  論文  参考訳（メタデータ） (2023-08-31T09:13:30Z)
• Pre-training Multi-task Contrastive Learning Models for Scientific Literature Understanding [52.723297744257536]
  事前学習言語モデル(LM)は、科学文献理解タスクにおいて有効であることを示す。 文献理解タスク間の共通知識共有を容易にするために,マルチタスクのコントラスト学習フレームワークであるSciMultを提案する。
  論文  参考訳（メタデータ） (2023-05-23T16:47:22Z)
• TransCoder: Towards Unified Transferable Code Representation Learning Inspired by Human Skills [31.75121546422898]
  本稿では,コード表現学習のためのTransCoderについて述べる。 我々は、メタラーナーとして調整可能なプレフィックスエンコーダを用いて、クロスタスクおよびクロス言語変換可能な知識をキャプチャする。 本手法は, 各種コード関連タスクの性能向上と相互強化の促進に寄与する。
  論文  参考訳（メタデータ） (2023-05-23T06:59:22Z)
• KnowDA: All-in-One Knowledge Mixture Model for Data Augmentation in Few-Shot NLP [68.43279384561352]
  既存のデータ拡張アルゴリズムはタスク非依存のルールや微調整の汎用事前訓練言語モデルを利用する。 これらの手法は、簡単なタスク固有の知識を持ち、単純なタスクにおいて弱いベースラインのための低品質な合成データを得るに限られる。 我々は,様々なNLPタスクを予め学習したエンコーダ/デコーダLMの知識混合データ拡張モデル(KnowDA)を提案する。
  論文  参考訳（メタデータ） (2022-06-21T11:34:02Z)
• Uni-Perceiver: Pre-training Unified Architecture for Generic Perception for Zero-shot and Few-shot Tasks [73.63892022944198]
  我々はUni-Perceiverという汎用認識アーキテクチャを提案する。 様々なモダリティやタスクを、統一されたモデリングと共有パラメータで処理します。 その結果、チューニングなしで事前学習したモデルは、新しいタスクでも合理的なパフォーマンスを達成できることがわかった。
  論文  参考訳（メタデータ） (2021-12-02T18:59:50Z)
• Efficient Retrieval Optimized Multi-task Learning [16.189136169520424]
  本稿では,自己指導型タスク,知識検索,抽出質問応答を共同で訓練するための新しい検索最適化マルチタスク(ROM)フレームワークを提案する。 我々のROMアプローチは、複数のタスクに効率的にスケーリングできる統一的で一般化可能なフレームワークを提供する。 当社のフレームワークでは,近年のQAメソッドよりも同等あるいは優れたパフォーマンスを実現していますが,パラメータの数を大幅に削減しています。
  論文  参考訳（メタデータ） (2021-04-20T17:16:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。