論文の概要: Cross-Thought for Sentence Encoder Pre-training

• arxiv url: http://arxiv.org/abs/2010.03652v1
• Date: Wed, 7 Oct 2020 21:02:41 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-09 23:28:52.061788
• Title: Cross-Thought for Sentence Encoder Pre-training
• Title（参考訳）: 文エンコーダ事前学習のためのクロス思考
• Authors: Shuohang Wang, Yuwei Fang, Siqi Sun, Zhe Gan, Yu Cheng, Jing Jiang, Jingjing Liu
• Abstract要約: Cross-Thoughtは、事前トレーニングシーケンスエンコーダに対する新しいアプローチである。 我々は、Transformerベースのシーケンスエンコーダを、多数の短いシーケンスに対してトレーニングする。 質問応答とテキストのエンコーダタスクの実験は、事前学習したエンコーダが最先端のエンコーダより優れていることを示す。
• 参考スコア（独自算出の注目度）: 89.32270059777025
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this paper, we propose Cross-Thought, a novel approach to pre-training sequence encoder, which is instrumental in building reusable sequence embeddings for large-scale NLP tasks such as question answering. Instead of using the original signals of full sentences, we train a Transformer-based sequence encoder over a large set of short sequences, which allows the model to automatically select the most useful information for predicting masked words. Experiments on question answering and textual entailment tasks demonstrate that our pre-trained encoder can outperform state-of-the-art encoders trained with continuous sentence signals as well as traditional masked language modeling baselines. Our proposed approach also achieves new state of the art on HotpotQA (full-wiki setting) by improving intermediate information retrieval performance.
• Abstract（参考訳）: 本稿では,質問応答などの大規模NLPタスクに再利用可能なシーケンス埋め込みを構築する上で有用な,事前学習シーケンスエンコーダの新たなアプローチであるCross-Thoughtを提案する。 全文の元の信号を使う代わりに、多くの短い列のセットでトランスフォーマーベースのシーケンスエンコーダを訓練し、マスクされた単語を予測するのに最も有用な情報を自動で選択する。 質問応答とテキストによる係り受けタスクの実験により、学習済みエンコーダは、従来のマスク付き言語モデリングベースラインと同様に、連続文信号で訓練された最先端エンコーダよりも優れています。 提案手法は,中間情報検索性能を向上させることにより,HotpotQA(フルwiki設定)に関する新たな技術を実現する。

関連論文リスト

• Drop your Decoder: Pre-training with Bag-of-Word Prediction for Dense Passage Retrieval [26.00149743478937]
  マスケードオートエンコーダの事前学習は,高密度検索システムの初期化・拡張技術として広く普及している。 マスク付きオートエンコーダのデコーダを、完全に単純化されたBag-of-Word予測タスクに置き換えることで、従来のMAEの修正を提案する。 提案手法は,新たなパラメータを必要とせずに,大規模検索ベンチマークにおける最先端の検索性能を実現する。
  論文  参考訳（メタデータ） (2024-01-20T15:02:33Z)
• Challenging Decoder helps in Masked Auto-Encoder Pre-training for Dense Passage Retrieval [10.905033385938982]
  Masked Auto-Encoder (MAE) 事前トレーニングアーキテクチャが最も有望である。 本稿では,デコーダの難易度を高めるために,ポイントワイド相互情報に基づく新しいトークン重要マスキング戦略を提案する。
  論文  参考訳（メタデータ） (2023-05-22T16:27:10Z)
• Wav2Seq: Pre-training Speech-to-Text Encoder-Decoder Models Using Pseudo Languages [58.43299730989809]
  本稿では,音声データに対するエンコーダ・デコーダモデルの両部分を事前学習するための,最初の自己教師型アプローチであるWav2Seqを紹介する。 我々は、コンパクトな離散表現として擬似言語を誘導し、自己教師付き擬似音声認識タスクを定式化する。 このプロセスは独自のものであり、低コストの第2段階のトレーニングとして適用することができる。
  論文  参考訳（メタデータ） (2022-05-02T17:59:02Z)
• Hierarchical Sketch Induction for Paraphrase Generation [79.87892048285819]
  本稿では、高密度符号化の分解を学習するHRQ-VAE(Hierarchical Refinement Quantized Variational Autoencoders)を紹介する。 HRQ-VAEを用いて、入力文の構文形式を階層化の経路としてエンコードすることで、テスト時の構文スケッチをより容易に予測できる。
  論文  参考訳（メタデータ） (2022-03-07T15:28:36Z)
• Sentence Bottleneck Autoencoders from Transformer Language Models [53.350633961266375]
  我々は、事前訓練されたフリーズトランスフォーマー言語モデルから文レベルのオートエンコーダを構築する。 我々は、文ボトルネックと1層修飾トランスフォーマーデコーダのみを訓練しながら、マスク付き言語モデリングの目的を生成的・認知的言語として適応する。 本研究では,テキスト類似性タスク,スタイル転送,単一文分類タスクにおける事前学習されたトランスフォーマーからの表現をGLUEベンチマークで抽出する手法よりも,大規模な事前学習モデルよりも少ないパラメータを用いて,より高品質な文表現を実現することを示す。
  論文  参考訳（メタデータ） (2021-08-31T19:39:55Z)
• Less is More: Pre-training a Strong Siamese Encoder Using a Weak Decoder [75.84152924972462]
  多くの実世界のアプリケーションはSiameseネットワークを使用して、テキストシーケンスを大規模に効率的にマッチングします。 本稿では,シームズアーキテクチャにおけるシーケンスマッチング専用の言語モデルを事前学習する。
  論文  参考訳（メタデータ） (2021-02-18T08:08:17Z)
• Neural Syntactic Preordering for Controlled Paraphrase Generation [57.5316011554622]
  私たちの研究は、構文変換を使用して、ソース文をソフトに"リオーダー"し、神経パラフレージングモデルをガイドします。 まず、入力文が与えられた場合、エンコーダ・デコーダモデルを用いて、実行可能な構文再構成のセットを導出する。 次に、提案した各再構成を用いて位置埋め込みのシーケンスを生成し、最終的なエンコーダ-デコーダパラフレーズモデルが特定の順序でソース語に従属することを奨励する。
  論文  参考訳（メタデータ） (2020-05-05T09:02:25Z)
• On the impressive performance of randomly weighted encoders in summarization tasks [3.5407857489235206]
  本研究では,列列モデルの一般クラスにおける非訓練ランダムエンコーダの性能について検討する。 抽象的な要約作業において,その性能と完全学習エンコーダの性能を比較した。
  論文  参考訳（メタデータ） (2020-02-21T01:47:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。