論文の概要: Empirical Evaluation of Supervision Signals for Style Transfer Models

• arxiv url: http://arxiv.org/abs/2101.06172v1
• Date: Fri, 15 Jan 2021 15:33:30 GMT
• ステータス: 処理完了
• システム内更新日: 2021-03-28 15:28:10.677712
• Title: Empirical Evaluation of Supervision Signals for Style Transfer Models
• Title（参考訳）: スタイル伝達モデルにおける監督信号の実証評価
• Authors: Yevgeniy Puzikov, Simoes Stanley, Iryna Gurevych and Immanuel Schweizer
• Abstract要約: 本研究は,トレーニング中に指導信号を提供する支配的な最適化パラダイムを実証的に比較する。 バックトランスレーションにはモデル固有の制限があり、トレーニングスタイルのトランスファーモデルを阻害する。 また、私たちの知識では、スタイル転送のタスクで経験的に評価されていない機械翻訳コミュニティで人気のあるテクニックである最小リスクトレーニングを実験しています。
• 参考スコア（独自算出の注目度）: 44.39622949370144
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Text style transfer has gained increasing attention from the research community over the recent years. However, the proposed approaches vary in many ways, which makes it hard to assess the individual contribution of the model components. In style transfer, the most important component is the optimization technique used to guide the learning in the absence of parallel training data. In this work we empirically compare the dominant optimization paradigms which provide supervision signals during training: backtranslation, adversarial training and reinforcement learning. We find that backtranslation has model-specific limitations, which inhibits training style transfer models. Reinforcement learning shows the best performance gains, while adversarial training, despite its popularity, does not offer an advantage over the latter alternative. In this work we also experiment with Minimum Risk Training, a popular technique in the machine translation community, which, to our knowledge, has not been empirically evaluated in the task of style transfer. We fill this research gap and empirically show its efficacy.
• Abstract（参考訳）: 近年,テキスト・スタイル・トランスファーが研究コミュニティから注目を集めている。 しかし、提案されたアプローチは様々な方法で異なり、モデルコンポーネントの個々の貢献を評価するのが困難である。 スタイル転送において最も重要な要素は、並列トレーニングデータがない場合の学習を導くための最適化技術である。 本研究は、バックトランスレーション、逆行訓練、強化学習という、トレーニング中の監視信号を提供する支配的な最適化パラダイムを実証的に比較する。 バックトランスレーションにはモデル固有の制限があり、トレーニングスタイルの転送モデルを妨げる。 強化学習は最高のパフォーマンス向上を示すが、敵の訓練はその人気にもかかわらず、後者の代替よりも有利ではない。 本研究では,機械翻訳コミュニティで人気の手法である最小リスクトレーニング(Minimum Risk Training)についても実験を行った。 この研究のギャップを埋め、その効果を実証的に示す。

関連論文リスト

• Towards Understanding the Influence of Reward Margin on Preference Model Performance [8.891183078634786]
  本研究では,人間のアノテータからの詳細なラベルを必要とせず,好みの違いを推定する新しい手法を提案する。 実験の結果,トレーニングプロセスにマージン値を組み込むことで,報酬モデルの有効性が著しく向上することを示す実証的証拠が得られた。
  論文  参考訳（メタデータ） (2024-04-07T12:10:04Z)
• Fast Propagation is Better: Accelerating Single-Step Adversarial Training via Sampling Subnetworks [69.54774045493227]
  逆行訓練の欠点は、逆行例の生成によって引き起こされる計算オーバーヘッドである。 モデルの内部構造ブロックを利用して効率を向上させることを提案する。 従来の手法と比較して,本手法はトレーニングコストを削減できるだけでなく,モデルの堅牢性も向上する。
  論文  参考訳（メタデータ） (2023-10-24T01:36:20Z)
• Weighted Ensemble Self-Supervised Learning [67.24482854208783]
  組み立ては、モデルパフォーマンスを高めるための強力なテクニックであることが証明されている。 我々は,データ依存型重み付きクロスエントロピー損失を許容するフレームワークを開発した。 提案手法は、ImageNet-1K上での複数の評価指標において、両者に優れる。
  論文  参考訳（メタデータ） (2022-11-18T02:00:17Z)
• Enhancing Adversarial Training with Feature Separability [52.39305978984573]
  本稿では,特徴分離性を備えた対人訓練(ATFS)により,クラス内特徴の類似性を向上し,クラス間特徴分散を増大させることができる,新たな対人訓練グラフ(ATG)を提案する。 包括的な実験を通じて、提案したATFSフレームワークがクリーンかつロバストなパフォーマンスを著しく改善することを示した。
  論文  参考訳（メタデータ） (2022-05-02T04:04:23Z)
• Imitation Learning by State-Only Distribution Matching [2.580765958706854]
  観察からの模倣学習は、人間の学習と同様の方法で政策学習を記述する。 本稿では,解釈可能な収束度と性能測定値とともに,非逆学習型観測手法を提案する。
  論文  参考訳（メタデータ） (2022-02-09T08:38:50Z)
• Adversarial Training Helps Transfer Learning via Better Representations [17.497590668804055]
  Transfer Learningは、ソースデータに事前トレーニングされたモデルを活用して、ターゲット設定に効率的に適応することを目的としている。 最近の研究は、情報源データにおける敵対的訓練が、新しいドメインへのモデル転送能力を向上させることを実証的に実証している。 本研究は, 情報源データにおける対角的学習により, より優れた表現が生成されることを示し, この表現を微調整することで, 対象データのより正確な予測が可能であることを示す。
  論文  参考訳（メタデータ） (2021-06-18T15:41:07Z)
• Delving into Data: Effectively Substitute Training for Black-box Attack [84.85798059317963]
  本稿では,知識盗むプロセスで使用されるデータの分散設計に焦点をあてた,新しい視点代替トレーニングを提案する。 これら2つのモジュールの組み合わせにより、代替モデルとターゲットモデルの一貫性がさらに向上し、敵攻撃の有効性が大幅に向上する。
  論文  参考訳（メタデータ） (2021-04-26T07:26:29Z)
• TransMIA: Membership Inference Attacks Using Transfer Shadow Training [5.22523722171238]
  本稿では、トランスファー学習を用いたトランスファー学習に基づくメンバーシップ推論攻撃(Transfer Learning-based Membership Inference Attacks)を提案する。 特に,提案手法では,移動モデルのパラメータを用いてシャドウモデルを構築する手法を提案する。 我々は、2つの実際のデータセットを用いて攻撃を評価し、我々の攻撃が我々の転送シャドウトレーニング技術を使用しない最先端技術よりも優れていることを示す。
  論文  参考訳（メタデータ） (2020-11-30T10:03:43Z)
• On Learning Text Style Transfer with Direct Rewards [101.97136885111037]
  平行コーパスの欠如により、テキストスタイルの転送タスクの教師付きモデルを直接訓練することは不可能である。 我々は、当初、微調整されたニューラルマシン翻訳モデルに使用されていた意味的類似度指標を活用している。 我々のモデルは、強いベースラインに対する自動評価と人的評価の両方において大きな利益をもたらす。
  論文  参考訳（メタデータ） (2020-10-24T04:30:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。