Fugu-MT 論文翻訳(概要): Thank you BART! Rewarding Pre-Trained Models Improves Formality Style Transfer

論文の概要: Thank you BART! Rewarding Pre-Trained Models Improves Formality Style Transfer

arxiv url: http://arxiv.org/abs/2105.06947v1
Date: Fri, 14 May 2021 16:39:22 GMT
ステータス: 処理完了
システム内更新日: 2021-05-17 12:46:18.432731
Title: Thank you BART! Rewarding Pre-Trained Models Improves Formality Style Transfer
Title（参考訳）: ありがとう、BART! Rewarding Pre-Trained Models improves Formality Style Transfer
Authors: Huiyuan Lai, Antonio Toral, Malvina Nissim
Abstract要約: 学習前言語(GPT-2)とシーケンス・ツー・シーケンス(BART)モデルがコンテンツ保存を促進することを示す。タスクの2つの中核的な側面であるスタイルとコンテンツをターゲットにした報酬でこれらのモデルを強化します。
参考スコア（独自算出の注目度）: 4.181049191386633
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Scarcity of parallel data causes formality style transfer models to have scarce success in preserving content. We show that fine-tuning pre-trained language (GPT-2) and sequence-to-sequence (BART) models boosts content preservation, and that this is possible even with limited amounts of parallel data. Augmenting these models with rewards that target style and content --the two core aspects of the task-- we achieve a new state-of-the-art.
Abstract（参考訳）: 並列データの共有により、形式的なスタイルの転送モデルがコンテンツの保存にあまり成功しない。本稿では, 微調整事前学習言語(GPT-2)とシーケンス・ツー・シーケンス(BART)モデルによってコンテンツ保存が促進され, 限られた並列データでも実現可能であることを示す。タスクの2つの中核的な側面であるスタイルとコンテンツをターゲットにした報酬でこれらのモデルを強化します。

関連論文リスト

Direct Consistency Optimization for Compositional Text-to-Image Personalization [73.94505688626651]
テキスト・ツー・イメージ(T2I)拡散モデルは、いくつかの個人画像に微調整された場合、高い一貫性で視覚を生成することができる。本稿では,参照画像との整合性を最大化しつつ,事前学習したモデルからの偏差を補償することにより,T2Iモデルを微調整する。
論文参考訳（メタデータ） (2024-02-19T09:52:41Z)
Single Stage Multi-Pose Virtual Try-On [119.95115739956661]
Multi-pose Virtual try-on (MPVTON) は、ターゲットの服をターゲットのポーズで人に合わせることを目的としている。 MPVTONは、より良い試着体験を提供するが、二重の衣服と編集目的のポーズのため、さらに難しい。既存の方法は、ターゲットセマンティックレイアウト予測モジュール、粗い試行画像生成装置、精細化試行画像生成装置を含む3つの不整合モジュールからなるパイプラインを採用する。本稿では,TONのための新しい単一ステージモデルを提案する。我々のモデルにとってキーとなるのは,人物と衣服の画像の両方のフロー場を予測する並列フロー推定モジュールである。
論文参考訳（メタデータ） (2022-11-19T15:02:11Z)
Masked Autoencoders As The Unified Learners For Pre-Trained Sentence Representation [77.47617360812023]
我々は、最近提案されたMAEスタイルの事前学習戦略であるRetroMAEを拡張し、幅広い文表現タスクをサポートする。最初のステージでは、ベースモデルが学習されるWikipedia、BookCorpusなど、一般的なコーパス上でRetroMAEを実行する。第2段階はドメイン固有のデータ、例えばMS MARCOやNLIで行われ、ベースモデルはRetroMAEとコントラスト学習に基づいて継続的に訓練される。
論文参考訳（メタデータ） (2022-07-30T14:34:55Z)
Privacy-Preserving Model Upgrades with Bidirectional Compatible Training in Image Retrieval [28.268764435617975]
BiCT(Bidirectional Compatible Training)と呼ばれる新しいモデルアップグレードパラダイムを提案する。 BiCTは、後方互換性のある新しいモデルの埋め込み空間に向けて前方互換性のあるトレーニングによって、古いギャラリーの埋め込みをアップグレードする。我々は、BiCTによる顕著な改善を検証するための総合的な実験を行い、後方互換性の不都合な損失重みが、実際に後方および前方検索性能において重要な役割を担っていることを観察した。
論文参考訳（メタデータ） (2022-04-29T07:38:09Z)
Non-Parallel Text Style Transfer with Self-Parallel Supervision [19.441780035577352]
大規模言語モデルに基づく新しいテキストスタイル転送フレームワークであるLaMerを提案する。 LaMerはまず、シーングラフで非並列データセットのほぼ並列表現をマイニングし、続いてMLEトレーニングを使用し、続いて模倣学習の改良を行い、データ内の本質的な並列性を活用する。 2つのベンチマークタスク(センチメントとフォーマル性転送)と、新たに提案された課題タスク(政治的スタンス転送)において、我々のモデルは、転送精度、コンテンツ保存および流速の質的な進歩を達成する。
論文参考訳（メタデータ） (2022-04-18T01:38:35Z)
DQ-BART: Efficient Sequence-to-Sequence Model via Joint Distillation and Quantization [75.72231742114951]
BARTやT5のような大規模事前学習シーケンス・ツー・シーケンスモデルは、多くの生成NLPタスクで最先端のパフォーマンスを達成する。これらのモデルは、大きなメモリ要件と高いレイテンシのため、リソース制約のあるシナリオにおいて大きな課題となる。そこで,本論文では,教師モデルから学生モデルへの知識の伝達と,学生モデルの定量化と定量化について提案する。
論文参考訳（メタデータ） (2022-03-21T18:04:25Z)
Generic resources are what you need: Style transfer tasks without task-specific parallel training data [4.181049191386633]
スタイル転送は、コンテンツを保存しながら、ソーステキストを異なるターゲットスタイルで書き直すことを目的としている。本稿では, 汎用資源を活用した新しい手法を提案する。我々は、汎用的な事前学習シーケンス・ツー・シーケンスモデルに基づくマルチステップ手順を採用する。
論文参考訳（メタデータ） (2021-09-09T20:15:02Z)
Progressive and Aligned Pose Attention Transfer for Person Image Generation [59.87492938953545]
本稿では,ある人物のポーズを対象のポーズに移す,新たなポーズ移動のための生成的広告ネットワークを提案する。 Pose-Attentional Transfer Block (PATB) と Aligned Pose-Attentional Transfer Bloc (APATB) の2種類のブロックを使用します。 Market-1501およびDeepFashionデータセットにおけるモデルの有効性を定量的および定性測定を用いて検証する。
論文参考訳（メタデータ） (2021-03-22T07:24:57Z)
Parallel Data Augmentation for Formality Style Transfer [27.557690344637034]
本稿では,並列データの拡張手法について検討し,この課題に対する新しい単純なデータ拡張手法を提案する。実験により、我々の拡張並列データにより、モデルの事前トレーニングに使用する場合、フォーマルなスタイルの転送が大幅に改善されることが示されている。
論文参考訳（メタデータ） (2020-05-14T04:05:29Z)
Contextual Text Style Transfer [73.66285813595616]
コンテキストテキストスタイル転送は、文をその周囲のコンテキストを考慮した所望のスタイルに変換することを目的としている。本稿では,各入力文とその周辺コンテキストに対して2つの異なるエンコーダを使用するコンテキスト認識スタイル転送(CAST)モデルを提案する。 Enron-ContextとReddit-Contextという2つの新しいベンチマークが、フォーマル性と攻撃性スタイルの転送のために導入された。
論文参考訳（メタデータ） (2020-04-30T23:01:12Z)
Enriched Pre-trained Transformers for Joint Slot Filling and Intent Detection [22.883725214057286]
本稿では,意図に基づく言語モデル学習のための新しいアーキテクチャを提案する。そこで本研究では,意図分布,単語特徴,トークン表現を融合させることで,スロット充足作業の強化を図る。標準データセットによる実験結果から,我々のモデルは現在の非BERT状態と,より強力なBERTベースラインの両方に優れることがわかった。
論文参考訳（メタデータ） (2020-04-30T15:00:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。