論文の概要: On Learning Text Style Transfer with Direct Rewards
- arxiv url: http://arxiv.org/abs/2010.12771v2
- Date: Thu, 13 May 2021 15:00:38 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-03 12:53:49.425783
- Title: On Learning Text Style Transfer with Direct Rewards
- Title(参考訳): 直接報酬によるテキストスタイル転送の学習について
- Authors: Yixin Liu, Graham Neubig, John Wieting
- Abstract要約: 平行コーパスの欠如により、テキストスタイルの転送タスクの教師付きモデルを直接訓練することは不可能である。
我々は、当初、微調整されたニューラルマシン翻訳モデルに使用されていた意味的類似度指標を活用している。
我々のモデルは、強いベースラインに対する自動評価と人的評価の両方において大きな利益をもたらす。
- 参考スコア(独自算出の注目度): 101.97136885111037
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In most cases, the lack of parallel corpora makes it impossible to directly
train supervised models for the text style transfer task. In this paper, we
explore training algorithms that instead optimize reward functions that
explicitly consider different aspects of the style-transferred outputs. In
particular, we leverage semantic similarity metrics originally used for
fine-tuning neural machine translation models to explicitly assess the
preservation of content between system outputs and input texts. We also
investigate the potential weaknesses of the existing automatic metrics and
propose efficient strategies of using these metrics for training. The
experimental results show that our model provides significant gains in both
automatic and human evaluation over strong baselines, indicating the
effectiveness of our proposed methods and training strategies.
- Abstract(参考訳): ほとんどの場合、並列コーパスがないため、テキストスタイル転送タスクの教師付きモデルを直接トレーニングすることは不可能である。
本稿では,スタイル変換出力の異なる側面を明示的に考慮した報酬関数を最適化する学習アルゴリズムについて検討する。
特に,神経機械翻訳モデルの微調整に用いられた意味的類似度メトリクスを用いて,システム出力と入力テキスト間のコンテンツの保存を明示的に評価する。
また、既存の自動メトリクスの潜在的な弱点を調査し、これらのメトリクスをトレーニングに使用する効率的な戦略を提案する。
実験の結果,本モデルは強力なベースラインに対する自動評価と人間評価の両方において有意な効果を示し,提案手法とトレーニング戦略の有効性を示した。
関連論文リスト
- From Pretext to Purpose: Batch-Adaptive Self-Supervised Learning [2.713192158879508]
本稿では,自己教師付きコントラスト学習におけるバッチ融合の適応的手法を提案する。
公平な比較で最先端のパフォーマンスを達成する。
提案手法は,データ駆動型自己教師型学習研究の進展に寄与する可能性が示唆された。
論文 参考訳(メタデータ) (2023-11-16T15:47:49Z) - Self-training Strategies for Sentiment Analysis: An Empirical Study [7.416913210816592]
自己学習は感情分析モデルを開発するための経済的かつ効率的な手法である。
いくつかの自己学習戦略と大規模言語モデルの介入を比較した。
論文 参考訳(メタデータ) (2023-09-15T21:42:46Z) - Unsupervised 3D registration through optimization-guided cyclical
self-training [71.75057371518093]
最先端のディープラーニングベースの登録方法は、3つの異なる学習戦略を採用している。
本稿では,教師なし登録のための自己指導型学習パラダイムを提案する。
腹部, 肺の登録方法の評価を行い, 測定基準に基づく監督を一貫して上回り, 最先端の競争相手よりも優れていた。
論文 参考訳(メタデータ) (2023-06-29T14:54:10Z) - Automated Essay Scoring Using Transformer Models [0.415623340386296]
自動エッセイスコアリング(AES)におけるトランスフォーマーに基づくアプローチの検討
本稿では,BOWアプローチに基づくロジスティック回帰モデルと比較し,それらの差について考察する。
このようなモデルが、人間のレーダの精度を高めるのにどのように役立つかを示す。
論文 参考訳(メタデータ) (2021-10-13T17:09:47Z) - Transductive Learning for Unsupervised Text Style Transfer [60.65782243927698]
教師なしスタイル転送モデルは、主に帰納的学習アプローチに基づいている。
本稿では,検索に基づく文脈認識スタイルの表現に基づく新しいトランスダクティブ学習手法を提案する。
論文 参考訳(メタデータ) (2021-09-16T08:57:20Z) - Empirical Evaluation of Supervision Signals for Style Transfer Models [44.39622949370144]
本研究は,トレーニング中に指導信号を提供する支配的な最適化パラダイムを実証的に比較する。
バックトランスレーションにはモデル固有の制限があり、トレーニングスタイルのトランスファーモデルを阻害する。
また、私たちの知識では、スタイル転送のタスクで経験的に評価されていない機械翻訳コミュニティで人気のあるテクニックである最小リスクトレーニングを実験しています。
論文 参考訳(メタデータ) (2021-01-15T15:33:30Z) - SDA: Improving Text Generation with Self Data Augmentation [88.24594090105899]
自動データ拡張のための自己模倣学習フェーズを組み込むことにより,標準最大確率推定(MLE)パラダイムを改善することを提案する。
既存の文レベルの拡張戦略とは異なり,本手法はより汎用的で,任意のMLEベースの訓練手順に容易に適応できる。
論文 参考訳(メタデータ) (2021-01-02T01:15:57Z) - Guiding Attention for Self-Supervised Learning with Transformers [24.785500242464646]
双方向変換器を用いた効率的な自己教師型学習を実現する手法を提案する。
我々のアプローチは、訓練されたモデルにおける自己注意パターンが非言語的規則性の大部分を含んでいることを示す最近の研究によって動機付けられている。
論文 参考訳(メタデータ) (2020-10-06T00:04:08Z) - A Simple but Tough-to-Beat Data Augmentation Approach for Natural
Language Understanding and Generation [53.8171136907856]
カットオフと呼ばれる、シンプルで効果的なデータ拡張戦略のセットを紹介します。
カットオフはサンプリング一貫性に依存しているため、計算オーバーヘッドが少なくなる。
cutoffは、敵のトレーニングを一貫して上回り、IWSLT2014 German- English データセットで最先端の結果を達成する。
論文 参考訳(メタデータ) (2020-09-29T07:08:35Z) - Dynamic Data Selection and Weighting for Iterative Back-Translation [116.14378571769045]
本稿では,反復的バックトランスレーションモデルのためのカリキュラム学習戦略を提案する。
我々は、ドメイン適応、低リソース、高リソースMT設定に関するモデルを評価する。
実験の結果,提案手法は競争基準値よりも最大1.8 BLEU点の改善を達成できた。
論文 参考訳(メタデータ) (2020-04-07T19:49:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。