論文の概要: Generative Pretraining for Paraphrase Evaluation

• arxiv url: http://arxiv.org/abs/2107.08251v1
• Date: Sat, 17 Jul 2021 14:48:48 GMT
• ステータス: 処理完了
• システム内更新日: 2021-07-20 15:18:22.398115
• Title: Generative Pretraining for Paraphrase Evaluation
• Title（参考訳）: パラファーゼ評価のための生成前訓練
• Authors: Jack Weston, Raphael Lenain, Udeepa Meepegama and Emil Fristed
• Abstract要約: テキスト生成のためのパラグラフ表現学習モデルと評価指標であるParaBLEUを紹介する。 従来のアプローチとは異なり、ParaBLEUは生成条件を事前学習の目的として用い、パラフレシスを理解することを学ぶ。 我々のモデルはデータ不足に対して堅牢であり、利用可能なトレーニングデータの50ドルしか使用せずに、過去の最先端のパフォーマンスを上回ります。
• 参考スコア（独自算出の注目度）: 7.025418443146435
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: We introduce ParaBLEU, a paraphrase representation learning model and evaluation metric for text generation. Unlike previous approaches, ParaBLEU learns to understand paraphrasis using generative conditioning as a pretraining objective. ParaBLEU correlates more strongly with human judgements than existing metrics, obtaining new state-of-the-art results on the 2017 WMT Metrics Shared Task. We show that our model is robust to data scarcity, exceeding previous state-of-the-art performance using only $50\%$ of the available training data and surpassing BLEU, ROUGE and METEOR with only $40$ labelled examples. Finally, we demonstrate that ParaBLEU can be used to conditionally generate novel paraphrases from a single demonstration, which we use to confirm our hypothesis that it learns abstract, generalized paraphrase representations.
• Abstract（参考訳）: テキスト生成のためのパラグラフ表現学習モデルと評価指標であるParaBLEUを紹介する。 以前のアプローチとは異なり、parableuは前訓練目的として生成条件付けを用いてパラフラシスを理解することを学ぶ。 ParaBLEUは、既存のメトリクスよりも人間の判断と強く相関し、2017年のWMT Metrics Shared Taskで新しい最先端の結果を得る。 我々のモデルはデータ不足に対して堅牢であり、使用可能なトレーニングデータの50\%しか使用せず、わずか40ドルのラベル付き例でBLEU、ROUGE、METEORを上回りました。 最後に,ParaBLEUを用いて1つの実演から新しいパラフレーズを条件付きで生成できることを実証し,抽象的,一般化されたパラフレーズ表現を学習する仮説を確認する。

関連論文リスト

• Unsupervised Lexical Simplification with Context Augmentation [55.318201742039]
  対象単語とその文脈が与えられた場合、対象コンテキストと単言語データからサンプル化した追加コンテキストに基づいて置換語を生成する。 我々は、TSAR-2022共有タスクにおいて、英語、ポルトガル語、スペイン語で実験を行い、我々のモデルは、すべての言語で、他の教師なしシステムよりも大幅に優れていることを示す。
  論文  参考訳（メタデータ） (2023-11-01T05:48:05Z)
• Error Norm Truncation: Robust Training in the Presence of Data Noise for Text Generation Models [39.37532848489779]
  本稿では,ノイズの多いデータをトラストする標準学習目標に対する頑健な強化手法であるError Norm Truncation (ENT)を提案する。 ENTは,従来のソフト・ハード・トランケーション法よりも生成品質の向上を図っている。
  論文  参考訳（メタデータ） (2023-10-02T01:30:27Z)
• Language Model Pre-Training with Sparse Latent Typing [66.75786739499604]
  そこで本研究では,多種多様な潜在型を持つ文レベルのキーワードを疎に抽出することのできる,事前学習対象Sparse Latent Typingを提案する。 実験結果から,本モデルは外部知識を使わずに,自己教師型で解釈可能な潜在型カテゴリを学習できることが示唆された。
  論文  参考訳（メタデータ） (2022-10-23T00:37:08Z)
• Few-shot Text Classification with Dual Contrastive Consistency [31.141350717029358]
  本稿では,事前学習した言語モデルを用いて,数ショットのテキスト分類を行う方法について検討する。 ラベル付きデータが少ない場合の教師付きコントラスト学習と、ラベルなしデータの一貫性と規則化を採用する。
  論文  参考訳（メタデータ） (2022-09-29T19:26:23Z)
• Unifying Language Learning Paradigms [96.35981503087567]
  データセットやセットアップ全体にわたって普遍的に有効である事前学習モデルのための統一的なフレームワークを提案する。 本研究では, 事前学習対象を相互に配置し, 異なる対象間の補間を効果的に行う方法を示す。 また,テキスト内学習において,ゼロショットSuperGLUEで175B GPT-3,ワンショット要約でT5-XXLの性能を3倍に向上させた。
  論文  参考訳（メタデータ） (2022-05-10T19:32:20Z)
• Transductive Learning for Abstractive News Summarization [24.03781438153328]
  トランスダクティブラーニングの要約への最初の適用を提案する。 このアプローチはCNN/DMおよびNYTデータセットに最先端の結果をもたらすことを示しています。
  論文  参考訳（メタデータ） (2021-04-17T17:33:12Z)
• Masked Language Modeling and the Distributional Hypothesis: Order Word Matters Pre-training for Little [74.49773960145681]
  マスク言語モデル(MLM)トレーニングの印象的なパフォーマンスの可能な説明は、そのようなモデルがNLPパイプラインで広く普及している構文構造を表現することを学びました。 本稿では,先行訓練がダウンストリームタスクでほぼ完全に成功する理由として,高次単語共起統計をモデル化できることを挙げる。 以上の結果から,純粋分布情報は,事前学習の成功を主に説明し,深い言語知識を必要とする難易度評価データセットのキュレーションの重要性を強調する。
  論文  参考訳（メタデータ） (2021-04-14T06:30:36Z)
• Few-shot learning through contextual data augmentation [74.20290390065475]
  機械翻訳モデルは、時間とともに性能を維持するために新しいデータに適応する必要がある。 一つの例から5つの例への適応が可能であることを示す。 本モデルでは,平均313個の並列例でトレーニングした基準システムよりも精度がよいことを示す。
  論文  参考訳（メタデータ） (2021-03-31T09:05:43Z)
• Exemplar-Controllable Paraphrasing and Translation using Bitext [57.92051459102902]
  私たちは、バイリンガルテキスト(bitext)からのみ学ぶことができるように、以前の作業からモデルを適用する。 提案した1つのモデルでは、両言語で制御されたパラフレーズ生成と、両言語で制御された機械翻訳の4つのタスクを実行することができる。
  論文  参考訳（メタデータ） (2020-10-12T17:02:50Z)
• Pretraining with Contrastive Sentence Objectives Improves Discourse Performance of Language Models [29.40992909208733]
  本研究では,会話コヒーレンスと文間距離をモデル化した言語モデルの事前学習のための文間目的であるconPONOを提案する。 談話表現ベンチマークのDiscoEvalでは、これまでの最先端技術よりも最大13%改善しています。 また,言論を明示的に評価しないタスクにおいても,ConPONOは2%～6%の利得が得られることを示した。
  論文  参考訳（メタデータ） (2020-05-20T23:21:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。