論文の概要: Multi-type Disentanglement without Adversarial Training

• arxiv url: http://arxiv.org/abs/2012.08883v1
• Date: Wed, 16 Dec 2020 11:47:18 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-03 03:13:59.912483
• Title: Multi-type Disentanglement without Adversarial Training
• Title（参考訳）: 逆行訓練を伴わない多型絡み合い乱れ
• Authors: Lei Sha, Thomas Lukasiewicz
• Abstract要約: 潜在空間を分離することで自然言語のスタイルを制御することは、解釈可能な機械学習への重要なステップである。 本稿では,各スタイルの値に一意な表現を与える統一分布制御法を提案する。 また,スタイル・コンテントの絡み合いや複数のスタイルタイプ間の絡み合いを実現するために,複数の損失関数を提案する。
• 参考スコア（独自算出の注目度）: 48.51678740102892
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Controlling the style of natural language by disentangling the latent space is an important step towards interpretable machine learning. After the latent space is disentangled, the style of a sentence can be transformed by tuning the style representation without affecting other features of the sentence. Previous works usually use adversarial training to guarantee that disentangled vectors do not affect each other. However, adversarial methods are difficult to train. Especially when there are multiple features (e.g., sentiment, or tense, which we call style types in this paper), each feature requires a separate discriminator for extracting a disentangled style vector corresponding to that feature. In this paper, we propose a unified distribution-controlling method, which provides each specific style value (the value of style types, e.g., positive sentiment, or past tense) with a unique representation. This method contributes a solid theoretical basis to avoid adversarial training in multi-type disentanglement. We also propose multiple loss functions to achieve a style-content disentanglement as well as a disentanglement among multiple style types. In addition, we observe that if two different style types always have some specific style values that occur together in the dataset, they will affect each other when transferring the style values. We call this phenomenon training bias, and we propose a loss function to alleviate such training bias while disentangling multiple types. We conduct experiments on two datasets (Yelp service reviews and Amazon product reviews) to evaluate the style-disentangling effect and the unsupervised style transfer performance on two style types: sentiment and tense. The experimental results show the effectiveness of our model.
• Abstract（参考訳）: 潜在空間を分離することで自然言語のスタイルを制御することは、解釈可能な機械学習への重要なステップである。 潜在空間が乱れた後、文の他の特徴に影響を与えずにスタイル表現をチューニングすることで文のスタイルを変換できる。 従来の研究は通常、逆行ベクトルが互いに影響しないことを保証するために逆行訓練を使用する。 しかし、敵対的な方法の訓練は困難である。 特に、複数の特徴(例えば、この論文ではスタイルタイプと呼ぶ)がある場合、各特徴は、その特徴に対応する非絡み合ったスタイルベクトルを抽出する別個の識別器を必要とする。 本稿では,それぞれのスタイル値(例えば,肯定的な感情,過去の時制など)を一意に表現する分散制御手法を提案する。 この手法は,多型対角法における対角法トレーニングを避けるための理論的基礎となる。 また,スタイル・コンテントの絡み合いや複数のスタイルタイプ間の絡み合いを実現するために,複数の損失関数を提案する。 さらに、2つの異なるスタイル型が常にデータセット内で一緒に発生する特定のスタイル値を持っている場合、スタイル値の転送時に互いに影響する。 我々は,この現象をトレーニングバイアスと呼び,複数のタイプを分離しながらトレーニングバイアスを緩和するロス関数を提案する。 2つのデータセット(yelp service reviewsとamazon product reviews)で実験を行い、スタイル区別効果と教師なしのスタイル転送性能について、センチメントとテンスという2つのスタイルタイプで評価した。 実験の結果,本モデルの有効性が示された。

関連論文リスト

• Self-Supervised Disentanglement by Leveraging Structure in Data Augmentations [63.73044203154743]
  自己教師付き表現学習は、しばしばデータの「スタイル」属性を誘導するためにデータ拡張を使用する。 データの属性が実際に"スタイル"であり、安全に破棄されるような先入観を推論することは困難である。 スタイル機能を捨てるよりも、スタイル機能を切り離そうとする、より原則化されたアプローチを導入します。
  論文  参考訳（メタデータ） (2023-11-15T09:34:08Z)
• Amortised Invariance Learning for Contrastive Self-Supervision [11.042648980854485]
  対照的な自己監督のために, 償却不変学習の概念を導入する。 我々のアモーテッド機能は、異なる不変条件で様々な下流タスクを学習する信頼性の高い方法を提供することを示す。 これは、汎用表現学習の分野での新しい地平を開くエキサイティングな視点を提供する。
  論文  参考訳（メタデータ） (2023-02-24T16:15:11Z)
• Combining Contrastive and Non-Contrastive Losses for Fine-Tuning Pretrained Models in Speech Analysis [25.707717591185386]
  パラ言語特性を微調整する2段階のアプローチを提案する。 まず、埋め込み空間を改善し、次に、埋め込み空間から分類タスクへのギャップを埋めるアダプタを訓練する。 われわれのアプローチは、複数のタスクのエンドツーエンドで微調整されたベースラインを一貫して上回り、最先端の感情分類のベンチマークを上回ります。
  論文  参考訳（メタデータ） (2022-10-21T19:58:37Z)
• Domain Enhanced Arbitrary Image Style Transfer via Contrastive Learning [84.8813842101747]
  Contrastive Arbitrary Style Transfer (CAST) は、新しいスタイル表現学習法である。 本フレームワークは,スタイルコード符号化のための多層スタイルプロジェクタ,スタイル分布を効果的に学習するためのドメイン拡張モジュール,画像スタイル転送のための生成ネットワークという,3つのキーコンポーネントから構成される。
  論文  参考訳（メタデータ） (2022-05-19T13:11:24Z)
• Transductive Learning for Unsupervised Text Style Transfer [60.65782243927698]
  教師なしスタイル転送モデルは、主に帰納的学習アプローチに基づいている。 本稿では,検索に基づく文脈認識スタイルの表現に基づく新しいトランスダクティブ学習手法を提案する。
  論文  参考訳（メタデータ） (2021-09-16T08:57:20Z)
• Hard-label Manifolds: Unexpected Advantages of Query Efficiency for Finding On-manifold Adversarial Examples [67.23103682776049]
  画像分類モデルに対する最近のゼロオーダーのハードラベル攻撃は、ファーストオーダーのグラデーションレベルの代替品に匹敵する性能を示している。 最近、グラデーションレベルの設定では、通常の敵対的な例がデータ多様体から離れ、オンマニホールドの例が実際には一般化エラーであることが示されている。 雑音の多い多様体距離オラクルに基づく情報理論論的議論を提案し、敵の勾配推定を通じて多様体情報を漏洩させる。
  論文  参考訳（メタデータ） (2021-03-04T20:53:06Z)
• PREGAN: Pose Randomization and Estimation for Weakly Paired Image Style Translation [11.623477199795037]
  本稿では2つの画像のコンテンツがポーズの誤りと一致しているスタイル翻訳のための弱いペアリング設定を提案する。 PreGANは、シミュレーションデータと実世界の収集データの両方で検証され、有効性を示す。
  論文  参考訳（メタデータ） (2020-10-31T16:11:11Z)
• Exploring Contextual Word-level Style Relevance for Unsupervised Style Transfer [60.07283363509065]
  教師なしのスタイル転送は、元のコンテンツを保持しながら入力文のスタイルを変更することを目的としている。 本稿では,各出力語がターゲットスタイルに関連性があることを活かした,新たな注目シーケンス・ツー・シーケンスモデルを提案する。 実験結果から,提案手法は転送精度とコンテンツ保存の両面から,最先端の性能を達成できることが示唆された。
  論文  参考訳（メタデータ） (2020-05-05T10:24:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。