論文の概要: Semi-Supervised Formality Style Transfer with Consistency Training

• arxiv url: http://arxiv.org/abs/2203.13620v1
• Date: Fri, 25 Mar 2022 12:40:36 GMT
• ステータス: 処理完了
• システム内更新日: 2022-03-28 13:01:30.681566
• Title: Semi-Supervised Formality Style Transfer with Consistency Training
• Title（参考訳）: 一貫性トレーニングによる半教師付き形式変換
• Authors: Ao Liu, An Wang, Naoaki Okazaki
• Abstract要約: 我々は、ソース側の未ラベル文をよりよく活用するための半教師付きフレームワークを提案する。 具体的には、ソース側非公式文から得られた擬似並列データを強化する。 我々の手法は、40%未満の並列データでも、最先端の結果が得られる。
• 参考スコア（独自算出の注目度）: 14.837655109835769
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Formality style transfer (FST) is a task that involves paraphrasing an informal sentence into a formal one without altering its meaning. To address the data-scarcity problem of existing parallel datasets, previous studies tend to adopt a cycle-reconstruction scheme to utilize additional unlabeled data, where the FST model mainly benefits from target-side unlabeled sentences. In this work, we propose a simple yet effective semi-supervised framework to better utilize source-side unlabeled sentences based on consistency training. Specifically, our approach augments pseudo-parallel data obtained from a source-side informal sentence by enforcing the model to generate similar outputs for its perturbed version. Moreover, we empirically examined the effects of various data perturbation methods and propose effective data filtering strategies to improve our framework. Experimental results on the GYAFC benchmark demonstrate that our approach can achieve state-of-the-art results, even with less than 40% of the parallel data.
• Abstract（参考訳）: fst(formality style transfer)とは、形式的な文を意味を変更せずに形式的な文に変換する作業である。 既存の並列データセットのデータ共有問題に対処するため、従来の研究では、FSTモデルはターゲット側の未ラベル文から主に恩恵を受けるため、追加の未ラベルデータを利用するサイクル再構成スキームを採用する傾向があった。 そこで本研究では,整合性学習に基づくソース側の未ラベル文をより効果的に活用するための,シンプルで効果的な半教師付きフレームワークを提案する。 特に本手法では,ソース側非公式文から得られた疑似パラレルデータをモデルに強制的に加え,摂動文に対して類似の出力を生成する。 さらに,様々なデータ摂動法の効果を実験的に検証し,効率的なデータフィルタリング手法を提案する。 GYAFCベンチマークによる実験結果から, 並列データの40%以下であっても, 最先端の結果が得られることが示された。

関連論文リスト

• T-JEPA: Augmentation-Free Self-Supervised Learning for Tabular Data [0.0]
  自己教師付き学習(SSL)は一般的に同じサンプルの異なるビューを生成するため、データ拡張が必要である。 本研究では,構造化データに対する拡張不要なSSL方式を提案する。 我々のアプローチであるT-JEPAは、JEPA(Joint Embedding Predictive Architecture)に依存しており、潜伏した空間における再構築のマスクに似ている。
  論文  参考訳（メタデータ） (2024-10-07T13:15:07Z)
• Efficient Conformal Prediction under Data Heterogeneity [79.35418041861327]
  コンフォーマル予測(CP)は不確実性定量化のための頑健な枠組みである。 非交換性に対処するための既存のアプローチは、最も単純な例を超えて計算不可能なメソッドにつながる。 この研究は、比較的一般的な非交換可能なデータ分布に対して証明可能な信頼セットを生成する、CPに新しい効率的なアプローチを導入する。
  論文  参考訳（メタデータ） (2023-12-25T20:02:51Z)
• CAFE: Learning to Condense Dataset by Aligning Features [72.99394941348757]
  本稿ではCAFE(Aligning features)によるCondenseデータセットの新しいスキームを提案する。 このアプローチの核心は、さまざまなスケールにわたる実データと合成データから機能を整合させる効果的な戦略です。 提案したCAFEを様々なデータセットで検証し,概ね最先端技術であることを示す。
  論文  参考訳（メタデータ） (2022-03-03T05:58:49Z)
• A Regularized Implicit Policy for Offline Reinforcement Learning [54.7427227775581]
  オフラインの強化学習は、環境とのさらなるインタラクションなしに、固定データセットから学習を可能にする。 フレキシブルだが十分に調整された完全実装ポリシーの学習を支援するフレームワークを提案する。 D4RLデータセットの実験とアブレーション研究により、我々のフレームワークとアルゴリズム設計の有効性が検証された。
  論文  参考訳（メタデータ） (2022-02-19T20:22:04Z)
• Dataset Condensation with Contrastive Signals [41.195453119305746]
  勾配マッチングに基づくデータセット合成(DC)手法は、データ効率の学習タスクに適用した場合、最先端のパフォーマンスを達成することができる。 本研究では,既存のDC手法が,タスク関連情報がトレーニングデータセットの重要な部分を形成する場合に,ランダム選択法よりも性能が劣ることを示す。 本稿では,クラス間の差異を効果的に捉えるために,損失関数を変更することで,コントラスト信号(DCC)を用いたデータセット凝縮を提案する。
  論文  参考訳（メタデータ） (2022-02-07T03:05:32Z)
• DEALIO: Data-Efficient Adversarial Learning for Imitation from Observation [57.358212277226315]
  観察ifoからの模倣学習において、学習エージェントは、実演者の生成した制御信号にアクセスせずに、実演行動の観察のみを用いて実演エージェントを模倣しようとする。 近年、逆模倣学習に基づく手法は、ifO問題に対する最先端のパフォーマンスをもたらすが、データ非効率でモデルなしの強化学習アルゴリズムに依存するため、サンプルの複雑さに悩まされることが多い。 この問題は、サンプルの収集が時間、エネルギー、およびリスクの面で高いコストを被る可能性がある現実世界の設定に展開することは非現実的です。 よりデータ効率の高いifOアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-03-31T23:46:32Z)
• Negative Data Augmentation [127.28042046152954]
  負のデータ拡張サンプルは、データ分散のサポートに関する情報を提供することを示す。 我々は、NDAを識別器の合成データの追加源として利用する新しいGAN訓練目標を提案する。 実験により,本手法で訓練したモデルでは,異常検出能力の向上とともに条件付き・条件付き画像生成の改善を実現している。
  論文  参考訳（メタデータ） (2021-02-09T20:28:35Z)
• A Simple but Tough-to-Beat Data Augmentation Approach for Natural Language Understanding and Generation [53.8171136907856]
  カットオフと呼ばれる、シンプルで効果的なデータ拡張戦略のセットを紹介します。 カットオフはサンプリング一貫性に依存しているため、計算オーバーヘッドが少なくなる。 cutoffは、敵のトレーニングを一貫して上回り、IWSLT2014 German- English データセットで最先端の結果を達成する。
  論文  参考訳（メタデータ） (2020-09-29T07:08:35Z)
• Parallel Data Augmentation for Formality Style Transfer [27.557690344637034]
  本稿では,並列データの拡張手法について検討し,この課題に対する新しい単純なデータ拡張手法を提案する。 実験により、我々の拡張並列データにより、モデルの事前トレーニングに使用する場合、フォーマルなスタイルの転送が大幅に改善されることが示されている。
  論文  参考訳（メタデータ） (2020-05-14T04:05:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。