論文の概要: Pre-training via Paraphrasing

• arxiv url: http://arxiv.org/abs/2006.15020v1
• Date: Fri, 26 Jun 2020 14:43:43 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-16 20:36:57.824888
• Title: Pre-training via Paraphrasing
• Title（参考訳）: パラフレージングによる予習
• Authors: Mike Lewis, Marjan Ghazvininejad, Gargi Ghosh, Armen Aghajanyan, Sida Wang, Luke Zettlemoyer
• Abstract要約: 教師なし多言語パラフレージング目的を用いて学習した,事前学習されたシーケンス・ツー・シーケンスモデルであるMARGEを紹介する。 ランダムな初期化のみを前提として,検索と再構築を共同で行うことができることを示す。 例えば、追加のタスク固有のトレーニングがなければ、文書翻訳のBLEUスコアは最大35.8に達する。
• 参考スコア（独自算出の注目度）: 96.79972492585112
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We introduce MARGE, a pre-trained sequence-to-sequence model learned with an unsupervised multi-lingual multi-document paraphrasing objective. MARGE provides an alternative to the dominant masked language modeling paradigm, where we self-supervise the reconstruction of target text by retrieving a set of related texts (in many languages) and conditioning on them to maximize the likelihood of generating the original. We show it is possible to jointly learn to do retrieval and reconstruction, given only a random initialization. The objective noisily captures aspects of paraphrase, translation, multi-document summarization, and information retrieval, allowing for strong zero-shot performance on several tasks. For example, with no additional task-specific training we achieve BLEU scores of up to 35.8 for document translation. We further show that fine-tuning gives strong performance on a range of discriminative and generative tasks in many languages, making MARGE the most generally applicable pre-training method to date.
• Abstract（参考訳）: 本稿では,教師なし多言語マルチドキュメントパラフレージング目標を用いて学習する,事前学習されたシーケンス・ツー・シーケンスモデルであるmargeを紹介する。 MARGEは支配的なマスク付き言語モデリングのパラダイムに代わるもので、関連するテキスト(多くの言語で)の集合を検索し、それらを条件付けすることで、ターゲットテキストの再構築を自己監督し、原文を生成する可能性を最大化する。 ランダムな初期化のみを前提として,共同して検索と再構築を学べることを示す。 この目的は、パラフレーズ、翻訳、マルチドキュメント要約、情報検索などの側面を巧みに捉え、複数のタスクでゼロショットのパフォーマンスを向上させる。 例えば、追加のタスク固有のトレーニングがなければ、文書翻訳のBLEUスコアは最大35.8に達する。 さらに,多くの言語における判別タスクや生成タスクにおいて,微調整が強い性能を与え,margeをこれまでに最も広く適用可能な事前学習手法とすることを示した。

関連論文リスト

• Retrieval is Accurate Generation [99.24267226311157]
  本稿では,支援文書の集合からコンテキスト認識句を選択する新しい手法を提案する。 本モデルでは,検索対象のベースラインの中で,最高の性能と低レイテンシを実現する。
  論文  参考訳（メタデータ） (2024-02-27T14:16:19Z)
• Modeling Sequential Sentence Relation to Improve Cross-lingual Dense Retrieval [87.11836738011007]
  マスク付き文モデル(MSM)と呼ばれる多言語多言語言語モデルを提案する。 MSMは、文表現を生成する文エンコーダと、文書から文ベクトルのシーケンスに適用される文書エンコーダとから構成される。 モデルをトレーニングするために,サンプル負の階層的コントラスト損失によって文ベクトルをマスクし,予測するマスク付き文予測タスクを提案する。
  論文  参考訳（メタデータ） (2023-02-03T09:54:27Z)
• Retrieval Oriented Masking Pre-training Language Model for Dense Passage Retrieval [16.592276887533714]
  Masked Language Modeling (MLM) は、事前学習プロセスの主要なサブタスクである。 従来のランダムマスキング戦略は、パス検索タスクに制限のある多数のトークンを選択する傾向にある。 本稿では,より重要なトークンがマスクアウトされる確率の高い検索指向マスキング(ROM)戦略を提案する。
  論文  参考訳（メタデータ） (2022-10-27T02:43:48Z)
• Language Model Pre-Training with Sparse Latent Typing [66.75786739499604]
  そこで本研究では,多種多様な潜在型を持つ文レベルのキーワードを疎に抽出することのできる,事前学習対象Sparse Latent Typingを提案する。 実験結果から,本モデルは外部知識を使わずに,自己教師型で解釈可能な潜在型カテゴリを学習できることが示唆された。
  論文  参考訳（メタデータ） (2022-10-23T00:37:08Z)
• Bridging Cross-Lingual Gaps During Leveraging the Multilingual Sequence-to-Sequence Pretraining for Text Generation [80.16548523140025]
  プレトレインとファインチューンの間のギャップを埋めるために、コードスイッチングの復元タスクを追加して、バニラプレトレイン-ファインチューンパイプラインを拡張します。 提案手法は,言語間文表現距離を狭くし,簡単な計算コストで低周波語翻訳を改善する。
  論文  参考訳（メタデータ） (2022-04-16T16:08:38Z)
• DOCmT5: Document-Level Pretraining of Multilingual Language Models [9.072507490639218]
  DOCmT5は,大規模並列文書を事前学習した多言語列列列言語モデルである。 本稿では, 簡易かつ効果的な事前学習目標である文書順序付け機械翻訳を提案する。 DrMTは、さまざまなドキュメントレベルの生成タスクに対して、強力なベースラインよりも一貫した改善を提供する。
  論文  参考訳（メタデータ） (2021-12-16T08:58:52Z)
• Few-Shot Text Generation with Pattern-Exploiting Training [12.919486518128734]
  本稿では,テキスト生成タスクにも基礎となるアイデアが適用可能であることを示す。 最近提案された少数のショットアプローチであるPattern-Exploiting Training(PET)を、テキスト生成タスクで生成言語モデルを微調整するために適用します。
  論文  参考訳（メタデータ） (2020-12-22T10:53:07Z)
• Pre-training Text Representations as Meta Learning [113.3361289756749]
  本稿では,下流タスクを効果的に学習するために,モデルがテキスト表現を学習する能力を直接最適化する学習アルゴリズムを提案する。 マルチタスク事前学習とモデル非依存型メタラーニングの間には,一連のメタトレインステップによる本質的な関係があることが示されている。
  論文  参考訳（メタデータ） (2020-04-12T09:05:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。