論文の概要: Masked Autoencoders As The Unified Learners For Pre-Trained Sentence
Representation
- arxiv url: http://arxiv.org/abs/2208.00231v1
- Date: Sat, 30 Jul 2022 14:34:55 GMT
- ステータス: 処理完了
- システム内更新日: 2022-08-02 13:29:24.102349
- Title: Masked Autoencoders As The Unified Learners For Pre-Trained Sentence
Representation
- Title（参考訳）: Masked Autoencodersは、事前学習された文表現のための統一学習者
- Authors: Alexander Liu, Samuel Yang
- Abstract要約: 我々は、最近提案されたMAEスタイルの事前学習戦略であるRetroMAEを拡張し、幅広い文表現タスクをサポートする。
最初のステージでは、ベースモデルが学習されるWikipedia、BookCorpusなど、一般的なコーパス上でRetroMAEを実行する。
第2段階はドメイン固有のデータ、例えばMS MARCOやNLIで行われ、ベースモデルはRetroMAEとコントラスト学習に基づいて継続的に訓練される。
- 参考スコア（独自算出の注目度）: 77.47617360812023
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Despite the progresses on pre-trained language models, there is a lack of
unified frameworks for pre-trained sentence representation. As such, it calls
for different pre-training methods for specific scenarios, and the pre-trained
models are likely to be limited by their universality and representation
quality. In this work, we extend the recently proposed MAE style pre-training
strategy, RetroMAE, such that it may effectively support a wide variety of
sentence representation tasks. The extended framework consists of two stages,
with RetroMAE conducted throughout the process. The first stage performs
RetroMAE over generic corpora, like Wikipedia, BookCorpus, etc., from which the
base model is learned. The second stage takes place on domain-specific data,
e.g., MS MARCO and NLI, where the base model is continuingly trained based on
RetroMAE and contrastive learning. The pre-training outputs at the two stages
may serve different applications, whose effectiveness are verified with
comprehensive experiments. Concretely, the base model are proved to be
effective for zero-shot retrieval, with remarkable performances achieved on
BEIR benchmark. The continuingly pre-trained models further benefit more
downstream tasks, including the domain-specific dense retrieval on MS MARCO,
Natural Questions, and the sentence embeddings' quality for standard STS and
transfer tasks in SentEval. The empirical insights of this work may inspire the
future design of sentence representation pre-training. Our pre-trained models
and source code will be released to the public communities.
- Abstract（参考訳）: 事前訓練された言語モデルの進歩にもかかわらず、事前訓練された文表現のための統一されたフレームワークがない。
そのため、特定のシナリオに対して異なる事前学習方法を求め、事前学習されたモデルは、その普遍性と表現品質によって制限される可能性が高い。
本研究では,最近提案されたMAEスタイル事前学習戦略であるRetroMAEを拡張し,多種多様な文表現タスクを効果的にサポートする。
拡張フレームワークは2つのステージで構成され、RetroMAEはプロセス全体にわたって実行される。
最初のステージでは、ベースモデルが学習されるWikipedia、BookCorpusなど、一般的なコーパス上でRetroMAEを実行する。
第2段階はドメイン固有のデータ、例えばMS MARCOやNLIで行われ、ベースモデルはRetroMAEとコントラスト学習に基づいて継続的に訓練される。
2段階の事前学習出力は異なる用途に役立ち、その効果は総合的な実験で検証される。
具体的には、ベースモデルがゼロショット検索に有効であることが証明され、BEIRベンチマークで顕著な性能が得られた。
事前訓練されたモデルは、MS MARCOのドメイン固有密度検索、Natural Questions、標準STSの文埋め込みの品質、SentEvalの転送タスクなど、より下流のタスクにさらに恩恵をもたらす。
この研究の実証的な洞察は、文表現の事前学習の将来の設計を刺激する可能性がある。
トレーニング済みのモデルとソースコードは、パブリックコミュニティにリリースされます。
関連論文リスト
- Deciphering Cross-Modal Alignment in Large Vision-Language Models with Modality Integration Rate [118.37653302885607]
本稿では,LVLM(Large Vision Language Models)のマルチモーダル事前学習品質を示すために,MIR(Modality Integration Rate)を提案する。
MIRは、トレーニングデータ選択、トレーニング戦略スケジュール、モデルアーキテクチャ設計に重点を置いて、トレーニング前の結果を改善する。
論文 参考訳（メタデータ） (2024-10-09T17:59:04Z) - Generate to Understand for Representation [3.5325087487696463]
GURは、言語モデリングと対照的な学習目標を単一のトレーニングステップで組み合わせた事前トレーニングフレームワークである。
GURはラベル付きトレーニングデータなしで印象的な結果を実現し、ゼロショット設定でリコールベンチマークでレシーバーとして、トレーニング済みのすべてのベースラインを上回ります。
論文 参考訳（メタデータ） (2023-06-14T06:00:18Z) - RetroMAE-2: Duplex Masked Auto-Encoder For Pre-Training
Retrieval-Oriented Language Models [12.37229805276939]
本稿では,DupMAE(Duplex Masked Auto-Encoder)と呼ばれる新しい事前学習手法を提案する。
事前訓練されたモデルのすべてのコンテキスト化埋め込みを活用できる品質意味表現を改善するように設計されている。
論文 参考訳（メタデータ） (2023-05-04T05:37:22Z) - ZhichunRoad at Amazon KDD Cup 2022: MultiTask Pre-Training for
E-Commerce Product Search [4.220439000486713]
検索結果の質を向上させるために,頑健な多言語モデルを提案する。
事前学習の段階では、mlmタスク、分類タスク、コントラスト学習タスクを採用する。
微調整段階では、自信ある学習、指数的移動平均法(EMA)、対人訓練(FGM)、正規化ドロップアウト戦略(R-Drop)を用いる。
論文 参考訳（メタデータ） (2023-01-31T07:31:34Z) - Reinforcement Learning with Action-Free Pre-Training from Videos [95.25074614579646]
本稿では,ビデオにおける生成前学習を通じて動的理解に役立つ表現を学習するフレームワークを提案する。
我々のフレームワークは、視覚に基づく強化学習の最終性能とサンプル効率の両方を著しく改善する。
論文 参考訳（メタデータ） (2022-03-25T19:44:09Z) - An Exploration of Self-Supervised Pretrained Representations for
End-to-End Speech Recognition [98.70304981174748]
本稿では,事前訓練された音声表現の一般応用,高度なエンドツーエンド自動音声認識(E2E-ASR)モデルに焦点をあてる。
いくつかの事前訓練された音声表現を選択し、E2E-ASRのための様々なオープンソースおよび公開コーパスの実験結果を示す。
論文 参考訳（メタデータ） (2021-10-09T15:06:09Z) - COCO-LM: Correcting and Contrasting Text Sequences for Language Model
Pretraining [59.169836983883656]
COCO-LMは、チャレンジングなエラーとテキストシーケンスの変換によって言語モデルを事前学習する新しい自己監視学習フレームワークです。
COCO-LMは、オリジナルのテキストシーケンスでマスク&予測トークンに補助言語モデルを採用しています。
分析の結果,coco-lmのアドバンテージは,困難なトレーニング信号,よりコンテキスト化されたトークン表現,正規化されたシーケンス表現であることがわかった。
論文 参考訳（メタデータ） (2021-02-16T22:24:29Z) - Unsupervised Paraphrasing with Pretrained Language Models [85.03373221588707]
教師なし環境で,事前学習した言語モデルを用いて高品質なパラフレーズを生成する訓練パイプラインを提案する。
提案手法は,タスク適応,自己スーパービジョン,動的ブロッキング(Dynamic Blocking)という新しい復号アルゴリズムから構成される。
提案手法は,Quora Question PairとParaNMTの両方のデータセット上で,最先端の性能を達成できることを示す。
論文 参考訳（メタデータ） (2020-10-24T11:55:28Z) - ImageBERT: Cross-modal Pre-training with Large-scale Weak-supervised
Image-Text Data [9.3935916515127]
画像-テキスト共同埋め込みのための視覚教師付き事前学習モデルである ImageBERT を導入する。
我々のモデルはTransformerベースのモデルであり、入力として異なるモダリティを取り、それらの関係をモデル化する。
論文 参考訳（メタデータ） (2020-01-22T11:35:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。