論文の概要: RetroMAE: Pre-training Retrieval-oriented Transformers via Masked Auto-Encoder

• arxiv url: http://arxiv.org/abs/2205.12035v1
• Date: Tue, 24 May 2022 12:43:04 GMT
• ステータス: 処理完了
• システム内更新日: 2022-05-25 22:46:35.458090
• Title: RetroMAE: Pre-training Retrieval-oriented Transformers via Masked Auto-Encoder
• Title（参考訳）: RetroMAE: Masked Auto-Encoderによる検索指向トランスの事前トレーニング
• Authors: Zheng Liu, Yingxia Shao
• Abstract要約: 本稿では,RetroMAE として知られる Masked Auto-Encoder に基づく高密度検索のための新しい事前学習フレームワークを提案する。 私たちは、英語のWikipediaやBookCorpusでBERTのようなエンコーダを事前訓練しています。
• 参考スコア（独自算出の注目度）: 15.24707645921207
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Pre-trained models have demonstrated superior power on many important tasks. However, it is still an open problem of designing effective pre-training strategies so as to promote the models' usability on dense retrieval. In this paper, we propose a novel pre-training framework for dense retrieval based on the Masked Auto-Encoder, known as RetroMAE. Our proposed framework is highlighted for the following critical designs: 1) a MAE based pre-training workflow, where the input sentence is polluted on both encoder and decoder side with different masks, and original sentence is reconstructed based on both sentence embedding and masked sentence; 2) asymmetric model architectures, with a large-scale expressive transformer for sentence encoding and a extremely simplified transformer for sentence reconstruction; 3) asymmetric masking ratios, with a moderate masking on the encoder side (15%) and an aggressive masking ratio on the decoder side (50~90%). We pre-train a BERT like encoder on English Wikipedia and BookCorpus, where it notably outperforms the existing pre-trained models on a wide range of dense retrieval benchmarks, like MS MARCO, Open-domain Question Answering, and BEIR.
• Abstract（参考訳）: 事前訓練されたモデルは、多くの重要なタスクにおいて優れた能力を示している。 しかし, 集中検索におけるモデルのユーザビリティ向上のために, 効果的な事前学習戦略を設計するという課題はいまだに未解決である。 本稿では,RetroMAE として知られる Masked Auto-Encoder に基づく高密度検索のための新しい事前学習フレームワークを提案する。 提案するフレームワークは以下の重要な設計で強調される。 1) 入力文をエンコーダ側とデコーダ側の両方に異なるマスクで汚染し、原文を埋め込み及びマスク文の両方に基づいて再構成するMAEに基づく事前学習ワークフロー 2) 文符号化用大規模表現変換器及び文再構成用極端に簡略化された非対称モデルアーキテクチャ 3)非対称マスキング比は、エンコーダ側には適度なマスキング(15%)、デコーダ側には攻撃的なマスキング比(50〜90%)を有する。 そこでは、ms marco、open-domain question answering、beirといった多種多様な検索ベンチマークで、既存の事前学習モデルよりも優れています。

関連論文リスト

• Bringing Masked Autoencoders Explicit Contrastive Properties for Point Cloud Self-Supervised Learning [116.75939193785143]
  画像領域における視覚変換器(ViT)のコントラスト学習(CL)は、従来の畳み込みバックボーンのCLに匹敵する性能を達成した。 ViTで事前訓練した3Dポイントクラウドでは、マスク付きオートエンコーダ(MAE)モデリングが主流である。
  論文  参考訳（メタデータ） (2024-07-08T12:28:56Z)
• Drop your Decoder: Pre-training with Bag-of-Word Prediction for Dense Passage Retrieval [26.00149743478937]
  マスケードオートエンコーダの事前学習は,高密度検索システムの初期化・拡張技術として広く普及している。 マスク付きオートエンコーダのデコーダを、完全に単純化されたBag-of-Word予測タスクに置き換えることで、従来のMAEの修正を提案する。 提案手法は,新たなパラメータを必要とせずに,大規模検索ベンチマークにおける最先端の検索性能を実現する。
  論文  参考訳（メタデータ） (2024-01-20T15:02:33Z)
• Regress Before Construct: Regress Autoencoder for Point Cloud Self-supervised Learning [18.10704604275133]
  Masked Autoencoders (MAE) は、2Dおよび3Dコンピュータビジョンのための自己教師型学習において有望な性能を示した。 我々は、ポイントクラウド自己教師型学習のための回帰オートエンコーダの新しいスキーム、Point Regress AutoEncoder (Point-RAE)を提案する。 本手法は, 各種下流タスクの事前学習において効率よく, 一般化可能である。
  論文  参考訳（メタデータ） (2023-09-25T17:23:33Z)
• CoT-MAE v2: Contextual Masked Auto-Encoder with Multi-view Modeling for Passage Retrieval [34.08763911138496]
  本研究は、コンテキストマスキング自動エンコーダにマルチビューモデリングをもたらす。 このマルチビュー事前学習手法をCoT-MAE v2と呼ぶ。
  論文  参考訳（メタデータ） (2023-04-05T08:00:38Z)
• Quick Dense Retrievers Consume KALE: Post Training Kullback Leibler Alignment of Embeddings for Asymmetrical dual encoders [89.29256833403169]
  我々は,高密度検索手法の推論効率を高めるための効率的かつ正確な手法であるKulback Leibler Alignment of Embeddings (KALE)を紹介した。 KALEは、バイエンコーダトレーニング後の従来の知識蒸留を拡張し、完全なリトレーニングやインデックス生成なしに効率的なクエリエンコーダ圧縮を可能にする。 KALEと非対称トレーニングを用いることで、3倍高速な推論を持つにもかかわらず、DistilBERTの性能を超えるモデルを生成することができる。
  論文  参考訳（メタデータ） (2023-03-31T15:44:13Z)
• ConTextual Mask Auto-Encoder for Dense Passage Retrieval [49.49460769701308]
  CoT-MAEは,高密度経路抽出のための簡易かつ効果的な生成前訓練法である。 文のセマンティクスを高密度ベクトルに圧縮する学習は、自己教師付きおよび文脈教師付きマスキングによる自動エンコーディングによって行われる。 我々は,大規模経路探索ベンチマークの実験を行い,強力なベースラインよりも大幅に改善されたことを示す。
  論文  参考訳（メタデータ） (2022-08-16T11:17:22Z)
• MAE-AST: Masked Autoencoding Audio Spectrogram Transformer [11.814012909512307]
  本稿では,音声と音声の分類のための音声スペクトル変換器(SSAST)モデルに対する簡易かつ強力な改良を提案する。 我々は、SSASTが事前トレーニング中に非常に高いマスキング比(75%)を使用するという知見を活用する。 MAEライクな事前トレーニングは,バニラSSASTよりも3倍のスピードアップと2倍のメモリ使用量の削減を可能にする。
  論文  参考訳（メタデータ） (2022-03-30T22:06:13Z)
• Context Autoencoder for Self-Supervised Representation Learning [64.63908944426224]
  符号化された表現空間で予測を行うことにより、符号化器を事前訓練する。 ネットワークはエンコーダ/レグレッサ/デコーダアーキテクチャである。 下流タスクにおける転送性能の向上によるCAEの有効性を実証する。
  論文  参考訳（メタデータ） (2022-02-07T09:33:45Z)
• Masked Autoencoders Are Scalable Vision Learners [60.97703494764904]
  Masked Autoencoders (MAE) は、コンピュータビジョンのためのスケーラブルな自己教師型学習システムである。 我々は入力画像のランダムなパッチを隠蔽し、欠落したピクセルを再構成する。 これら2つの設計を結合することで,大規模モデルを効率的かつ効率的にトレーニングすることが可能になります。
  論文  参考訳（メタデータ） (2021-11-11T18:46:40Z)
• Cross-Thought for Sentence Encoder Pre-training [89.32270059777025]
  Cross-Thoughtは、事前トレーニングシーケンスエンコーダに対する新しいアプローチである。 我々は、Transformerベースのシーケンスエンコーダを、多数の短いシーケンスに対してトレーニングする。 質問応答とテキストのエンコーダタスクの実験は、事前学習したエンコーダが最先端のエンコーダより優れていることを示す。
  論文  参考訳（メタデータ） (2020-10-07T21:02:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。