論文の概要: PALM: Pre-training an Autoencoding&Autoregressive Language Model for Context-conditioned Generation

• arxiv url: http://arxiv.org/abs/2004.07159v2
• Date: Sun, 20 Sep 2020 23:58:21 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-13 09:40:29.774637
• Title: PALM: Pre-training an Autoencoding&Autoregressive Language Model for Context-conditioned Generation
• Title（参考訳）: PALM:文脈条件生成のための自動符号化・自動回帰言語モデルの事前学習
• Authors: Bin Bi, Chenliang Li, Chen Wu, Ming Yan, Wei Wang, Songfang Huang, Fei Huang, Luo Si
• Abstract要約: 自己指導型事前学習は、自然言語の理解と生成のための強力な技術として登場した。 本研究は,大規模未ラベルコーパス上で自己エンコーディングと自己回帰言語モデルを共同で事前学習する新しいスキームをPALMに提示する。 広範な実験により、PALMは様々な言語生成ベンチマークにおいて、新しい最先端の結果を達成することが示されている。
• 参考スコア（独自算出の注目度）: 92.7366819044397
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Self-supervised pre-training, such as BERT, MASS and BART, has emerged as a powerful technique for natural language understanding and generation. Existing pre-training techniques employ autoencoding and/or autoregressive objectives to train Transformer-based models by recovering original word tokens from corrupted text with some masked tokens. The training goals of existing techniques are often inconsistent with the goals of many language generation tasks, such as generative question answering and conversational response generation, for producing new text given context. This work presents PALM with a novel scheme that jointly pre-trains an autoencoding and autoregressive language model on a large unlabeled corpus, specifically designed for generating new text conditioned on context. The new scheme alleviates the mismatch introduced by the existing denoising scheme between pre-training and fine-tuning where generation is more than reconstructing original text. An extensive set of experiments show that PALM achieves new state-of-the-art results on a variety of language generation benchmarks covering generative question answering (Rank 1 on the official MARCO leaderboard), abstractive summarization on CNN/DailyMail as well as Gigaword, question generation on SQuAD, and conversational response generation on Cornell Movie Dialogues.
• Abstract（参考訳）: BERT、MASS、BARTといった自己指導型事前学習は、自然言語理解と生成のための強力な技術として登場した。 既存の事前学習技術では、自動エンコードおよび/または自己回帰的目的を用いてトランスフォーマーベースのモデルをトレーニングしている。 既存の技術のトレーニング目標はしばしば、与えられたコンテキストの新しいテキストを生成するための生成的質問応答や会話的応答生成といった、多くの言語生成タスクの目標と矛盾する。 この研究は、パームに、コンテキストに基づいた新しいテキストを生成するために特別に設計された、大きなラベルのないコーパス上で、自動エンコーディングおよび自己回帰的な言語モデルを共同的に事前学習する新しいスキームを与える。 この新方式は,原文を再構築する以上の生成を行う場合の事前学習と微調整の間に,既存の復調スキームが導入したミスマッチを緩和する。 PALMは、CNN/DailyMailの抽象的な要約、Gigaword、SQuADの質問生成、コーネル映画対話における会話応答生成を含む、生成的質問応答に関する様々な言語生成ベンチマーク(公式MARCOリーダーボードのRank 1)において、新しい最先端結果を達成することを示す。

関連論文リスト

• Enhancing Text Generation in Joint NLG/NLU Learning Through Curriculum Learning, Semi-Supervised Training, and Advanced Optimization Techniques [0.0]
  本研究では,NLG(Natural Language Generation)とNLU(Natural Language Understanding)の併用によってテキスト生成を改善する手法を開発した。 データは、クリーニング、トークン化、ストーミング、ストップワード削除など、注釈付きデータセットの収集と前処理によって作成される。 トランスフォーマーベースのエンコーダとデコーダ、長距離依存関係のキャプチャ、ソースターゲットシーケンスモデリングの改善。 政策勾配手法による強化学習、半教師付きトレーニング、注意機構の改善、および異なる近似を用いて、モデルを微調整し、複雑な言語タスクを効果的に処理する。
  論文  参考訳（メタデータ） (2024-10-17T12:43:49Z)
• Text-Blueprint: An Interactive Platform for Plan-based Conditional Generation [84.95981645040281]
  プランニングは条件付き生成を不透明にし、基礎を固める上で有用な中間ステップである。 本稿では,問合せ-問合せ-問合せ-問合せペアを用いて,問合せに焦点を絞った要約のためのWebブラウザによる実演を紹介する。
  論文  参考訳（メタデータ） (2023-04-28T18:14:48Z)
• Sentence Bottleneck Autoencoders from Transformer Language Models [53.350633961266375]
  我々は、事前訓練されたフリーズトランスフォーマー言語モデルから文レベルのオートエンコーダを構築する。 我々は、文ボトルネックと1層修飾トランスフォーマーデコーダのみを訓練しながら、マスク付き言語モデリングの目的を生成的・認知的言語として適応する。 本研究では,テキスト類似性タスク,スタイル転送,単一文分類タスクにおける事前学習されたトランスフォーマーからの表現をGLUEベンチマークで抽出する手法よりも,大規模な事前学習モデルよりも少ないパラメータを用いて,より高品質な文表現を実現することを示す。
  論文  参考訳（メタデータ） (2021-08-31T19:39:55Z)
• DialogBERT: Discourse-Aware Response Generation via Learning to Recover and Rank Utterances [18.199473005335093]
  本稿では,従来の PLM に基づく対話モデルを強化した対話応答生成モデルである DialogBERT を提案する。 発話間の談話レベルのコヒーレンスを効果的に把握するために,マスク付き発話回帰を含む2つの訓練目標を提案する。 3つのマルチターン会話データセットの実験により、我々のアプローチがベースラインを著しく上回ることを示した。
  論文  参考訳（メタデータ） (2020-12-03T09:06:23Z)
• Unsupervised Paraphrasing with Pretrained Language Models [85.03373221588707]
  教師なし環境で,事前学習した言語モデルを用いて高品質なパラフレーズを生成する訓練パイプラインを提案する。 提案手法は,タスク適応,自己スーパービジョン,動的ブロッキング(Dynamic Blocking)という新しい復号アルゴリズムから構成される。 提案手法は,Quora Question PairとParaNMTの両方のデータセット上で,最先端の性能を達成できることを示す。
  論文  参考訳（メタデータ） (2020-10-24T11:55:28Z)
• Improving Text Generation with Student-Forcing Optimal Transport [122.11881937642401]
  トレーニングモードとテストモードで生成されたシーケンスに最適なトランスポート(OT)を提案する。 テキストシーケンスの構造的および文脈的情報に基づいて、OT学習を改善するための拡張も提案されている。 提案手法の有効性は,機械翻訳,テキスト要約,テキスト生成タスクにおいて検証される。
  論文  参考訳（メタデータ） (2020-10-12T19:42:25Z)
• POINTER: Constrained Progressive Text Generation via Insertion-based Generative Pre-training [93.79766670391618]
  ハードコントラストテキスト生成のための新しい挿入ベースアプローチであるPOINTERを提案する。 提案手法は,既存のトークン間で段階的に新しいトークンを並列に挿入することによって動作する。 結果として生じる粗大な階層構造は、生成プロセスを直感的で解釈可能である。
  論文  参考訳（メタデータ） (2020-05-01T18:11:54Z)
• QURIOUS: Question Generation Pretraining for Text Generation [13.595014409069584]
  本稿では,テキスト生成目標に適合する事前学習手法として質問生成を提案する。 本手法で事前訓練したテキスト生成モデルは,入力の本質を理解するのが得意であり,目的タスクに適した言語モデルである。
  論文  参考訳（メタデータ） (2020-04-23T08:41:52Z)
• ERNIE-GEN: An Enhanced Multi-Flow Pre-training and Fine-tuning Framework for Natural Language Generation [44.21363470798758]
  ERNIE-GENは、シーケンス事前トレーニングと微調整のための拡張されたマルチフローシーケンスである。 学習と推論の相違を、補充生成機構とノイズ認識生成方式で橋渡しする。 単語単位で予測するのではなく、意味論的に完全であるスパンを連続的に予測するようにモデルを訓練する。
  論文  参考訳（メタデータ） (2020-01-26T02:54:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。