論文の概要: Improving Disentangled Text Representation Learning with Information-Theoretic Guidance

• arxiv url: http://arxiv.org/abs/2006.00693v3
• Date: Wed, 12 Jan 2022 17:43:37 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-26 06:05:41.975328
• Title: Improving Disentangled Text Representation Learning with Information-Theoretic Guidance
• Title（参考訳）: 情報理論誘導による遠方的テキスト表現学習の改善
• Authors: Pengyu Cheng, Martin Renqiang Min, Dinghan Shen, Christopher Malon, Yizhe Zhang, Yitong Li, Lawrence Carin
• Abstract要約: 自然言語の独特な性質は、テキスト表現の分離をより困難にする。 情報理論にインスパイアされた本研究では,テキストの不整合表現を効果的に表現する手法を提案する。 条件付きテキスト生成とテキストスタイル転送の両方の実験は、不整合表現の質を実証する。
• 参考スコア（独自算出の注目度）: 99.68851329919858
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Learning disentangled representations of natural language is essential for many NLP tasks, e.g., conditional text generation, style transfer, personalized dialogue systems, etc. Similar problems have been studied extensively for other forms of data, such as images and videos. However, the discrete nature of natural language makes the disentangling of textual representations more challenging (e.g., the manipulation over the data space cannot be easily achieved). Inspired by information theory, we propose a novel method that effectively manifests disentangled representations of text, without any supervision on semantics. A new mutual information upper bound is derived and leveraged to measure dependence between style and content. By minimizing this upper bound, the proposed method induces style and content embeddings into two independent low-dimensional spaces. Experiments on both conditional text generation and text-style transfer demonstrate the high quality of our disentangled representation in terms of content and style preservation.
• Abstract（参考訳）: 自然言語の不整合表現の学習は、条件付きテキスト生成、スタイル転送、パーソナライズされた対話システムなど、多くのNLPタスクにとって不可欠である。 同様の問題は、画像やビデオなど、他の形式のデータに対して広く研究されている。 しかし、自然言語の離散的な性質は、テキスト表現の切り離しをより困難にする(例えば、データ空間に対する操作は容易には達成できない)。 情報理論に触発されて,意味論の監督を伴わずに,テキストの不整合表現を効果的に表現する手法を提案する。 新たな相互情報上限を導出して、スタイルとコンテンツ間の依存性を測定する。 この上界を最小化することにより、提案手法は2つの独立した低次元空間へのスタイルおよびコンテンツ埋め込みを誘導する。 条件付きテキスト生成とテキストスタイル転送の両方の実験は、コンテンツとスタイル保存の観点で、絡み合った表現の高品質を示す。

関連論文リスト

• Pixel Sentence Representation Learning [67.4775296225521]
  本研究では,視覚表現学習プロセスとして,文レベルのテキスト意味論の学習を概念化する。 タイポスや単語順シャッフルのような視覚的に接地されたテキスト摂動法を採用し、人間の認知パターンに共鳴し、摂動を連続的に認識できるようにする。 我々のアプローチは、大規模に教師なしのトピックアライメントトレーニングと自然言語推論監督によってさらに強化されている。
  論文  参考訳（メタデータ） (2024-02-13T02:46:45Z)
• Text2Data: Low-Resource Data Generation with Textual Control [104.38011760992637]
  自然言語は、人間が機械とシームレスに対話するための共通かつ直接的な制御信号として機能する。 ラベルのないデータを用いて教師なし拡散モデルを用いて基礎となるデータ分布を理解する新しいアプローチであるText2Dataを提案する。 制御性を確保し、破滅的な忘れを効果的に防止する、新しい制約最適化ベースの学習目標を通じて制御可能な微調整を行う。
  論文  参考訳（メタデータ） (2024-02-08T03:41:39Z)
• Fg-T2M: Fine-Grained Text-Driven Human Motion Generation via Diffusion Model [11.873294782380984]
  そこで本研究では,高精度なテキスト記述をサポートする高品質な条件付き人間の動作シーケンスを生成するための微細な手法を提案する。 本手法は,1) テキスト情報を完全に活用するための正確かつ完全な言語特徴を構築する言語構造支援モジュール,2) 多段階推論を実現するために,浅層および深層グラフニューラルネットワークから近隣および総合的な意味論的特徴を学習する文脈認識プログレッシブ推論モジュールの2つの主要な構成要素から構成される。
  論文  参考訳（メタデータ） (2023-09-12T14:43:47Z)
• Don't lose the message while paraphrasing: A study on content preserving style transfer [61.38460184163704]
  スタイル伝達研究の現実的な応用には,コンテンツ保存が不可欠である。 形式性伝達領域の例において、様々なスタイル転送モデルを比較する。 我々は,スタイル伝達のための最先端技術について,精密な比較研究を行っている。
  論文  参考訳（メタデータ） (2023-08-17T15:41:08Z)
• Weakly Supervised Scene Text Generation for Low-resource Languages [19.243705770491577]
  シーンテキスト認識モデルのトレーニングには,多数の注釈付きトレーニング画像が不可欠である。 既存のシーンテキスト生成手法は、典型的には大量のペアデータに依存しており、低リソース言語では入手が困難である。 本稿では,いくつかの認識レベルラベルを弱監督として活用する,弱教師付きシーンテキスト生成手法を提案する。
  論文  参考訳（メタデータ） (2023-06-25T15:26:06Z)
• ALADIN-NST: Self-supervised disentangled representation learning of artistic style through Neural Style Transfer [60.6863849241972]
  我々は、画像に描かれた意味的内容から、より強く絡み合った視覚芸術スタイルの表現を学習する。 スタイルと内容の絡み合いに強く対処することで、スタイル固有のメトリクスが大きく向上することを示します。
  論文  参考訳（メタデータ） (2023-04-12T10:33:18Z)
• StoryTrans: Non-Parallel Story Author-Style Transfer with Discourse Representations and Content Enhancing [73.81778485157234]
  長文は通常、文よりも談話構造のような複雑な著者の言語的嗜好を含んでいる。 我々は、入力されたストーリーを特定の著者スタイルに転送する必要があるノン並列ストーリー作者スタイル転送のタスクを定式化する。 モデルが自動エンコーダに退化することを防ぐために,学習した談話表現からスタイル的特徴を引き離すための追加の学習目標を用いる。
  論文  参考訳（メタデータ） (2022-08-29T08:47:49Z)
• A Novel Estimator of Mutual Information for Learning to Disentangle Textual Representations [27.129551973093008]
  本稿では、属性とエンコーダの潜入コードの間の相互情報に有する新しい変動上界について紹介する。 これは、Renyiの発散による近似誤差の制御を目標とし、より良い離散表現と望ましい離散度の正確な制御の両方をもたらす。 公平な分類とテキストスタイルの転送タスクにおいて、この方法の優位性を示す。
  論文  参考訳（メタデータ） (2021-05-06T14:05:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。