論文の概要: MacLaSa: Multi-Aspect Controllable Text Generation via Efficient
Sampling from Compact Latent Space
- arxiv url: http://arxiv.org/abs/2305.12785v2
- Date: Tue, 17 Oct 2023 15:48:15 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-18 21:39:18.997921
- Title: MacLaSa: Multi-Aspect Controllable Text Generation via Efficient
Sampling from Compact Latent Space
- Title（参考訳）: MacLaSa: コンパクト潜在空間からの効率的なサンプリングによる多視点制御可能なテキスト生成
- Authors: Hanxing Ding, Liang Pang, Zihao Wei, Huawei Shen, Xueqi Cheng,
Tat-Seng Chua
- Abstract要約: マルチアスペクト制御可能なテキスト生成は、複数の望ましい属性を同時に持つ流動文を生成することを目的としている。
マルチアスペクト制御のための新しいアプローチ、すなわちMacLaSaを導入し、複数の側面に対してコンパクトな潜在空間を推定する。
また,MacLaSaは,高い推論速度を維持しつつ,属性関連性やテキスト品質を高いベースラインで向上させることを示す。
- 参考スコア（独自算出の注目度）: 110.85888003111653
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Multi-aspect controllable text generation aims to generate fluent sentences
that possess multiple desired attributes simultaneously. Traditional methods
either combine many operators in the decoding stage, often with costly
iteration or search in the discrete text space, or train separate controllers
for each aspect, resulting in a degeneration of text quality due to the
discrepancy between different aspects. To address these limitations, we
introduce a novel approach for multi-aspect control, namely MacLaSa, that
estimates compact latent space for multiple aspects and performs efficient
sampling with a robust sampler based on ordinary differential equations (ODEs).
To eliminate the domain gaps between different aspects, we utilize a
Variational Autoencoder (VAE) network to map text sequences from varying data
sources into close latent representations. The estimated latent space enables
the formulation of joint energy-based models (EBMs) and the plugging in of
arbitrary attribute discriminators to achieve multi-aspect control. Afterwards,
we draw latent vector samples with an ODE-based sampler and feed sampled
examples to the VAE decoder to produce target text sequences. Experimental
results demonstrate that MacLaSa outperforms several strong baselines on
attribute relevance and textual quality while maintaining a high inference
speed.
- Abstract（参考訳）: マルチアスペクト制御可能なテキスト生成は、複数の望ましい属性を同時に持つ流動文を生成することを目的としている。
従来の手法では、デコード段階で多くの演算子を組み合わせ、しばしばコストのかかるイテレーションや離散テキスト空間での検索を組み合わせたり、それぞれのアスペクトに対して個別のコントローラを訓練することで、異なるアスペクト間の相違によるテキスト品質の劣化をもたらす。
これらの制約に対処するため,我々は,コンパクトな潜在空間を複数の側面から推定し,正規微分方程式(odes)に基づくロバストなスミアを用いて効率的なサンプリングを行うマルチスペクトル制御のための新しい手法,maclasaを導入する。
異なるアスペクト間のドメインギャップを解消するために、可変オートエンコーダ(VAE)ネットワークを用いて、異なるデータソースから近い潜在表現へテキストシーケンスをマッピングする。
推定潜在空間は、ジョイントエネルギーベースモデル(EBM)の定式化と、任意の属性判別器のプラグインにより、マルチアスペクト制御を実現する。
その後、我々はODEベースのサンプルを用いて潜在ベクトルサンプルを描画し、サンプルサンプルをVAEデコーダに供給し、ターゲットのテキストシーケンスを生成する。
実験結果から,MacLaSaは高い推論速度を維持しつつ,属性関連性やテキスト品質を高いベースラインで向上することが示された。
関連論文リスト
- Principled Gradient-based Markov Chain Monte Carlo for Text Generation [77.46654898866291]
目標エネルギーに基づくテキスト分布を正確にサンプリングするために, 忠実な勾配に基づくサンプリングアルゴリズムを提案する。
我々は、忠実なサンプリング者が制御対象に忠実に固執しながら、より流動的なテキストを生成できることを実証する。
論文 参考訳（メタデータ） (2023-12-29T18:00:56Z) - Semantic Space Grounded Weighted Decoding for Multi-Attribute
Controllable Dialogue Generation [41.23970507903113]
本稿では,重み付き復号法で強い制御性を持つDASCという新しいフレームワークを提案する。
複数属性の生成は、複数の属性の埋め込みの発話で直感的に実装される。
実験の結果,DASCは3つの側面を同時に制御することで,生成タスクにおいて高い制御精度を達成できることがわかった。
論文 参考訳（メタデータ） (2023-05-04T13:35:27Z) - Controllable Text Generation via Probability Density Estimation in the
Latent Space [16.962510129437558]
本稿では,潜在空間における確率密度推定を用いた新しい制御フレームワークを提案する。
本手法では,非可逆変換関数である正規化フローを用いて,潜在空間の複素分布を先行空間の単純ガウス分布にマッピングする。
単一属性制御と多属性制御の実験により,本手法は属性関連性やテキスト品質の強いベースラインよりも優れていることがわかった。
論文 参考訳（メタデータ） (2022-12-16T07:11:18Z) - Arithmetic Sampling: Parallel Diverse Decoding for Large Language Models [65.52639709094963]
ビームサーチやガンベルトップkサンプリングのような手法は、ビームの各要素に対して異なる出力を保証できるが、並列化は容易ではない。
本稿では,大言語モデルによって暗黙的に定義された算術符号書に従ってサンプリングを行うフレームワークを提案する。
論文 参考訳（メタデータ） (2022-10-18T22:19:41Z) - A Distributional Lens for Multi-Aspect Controllable Text Generation [17.97374410245602]
マルチアスペクト制御可能なテキスト生成は、単一アスペクト制御よりも困難で実用的なタスクである。
既存手法は, 単一アスペクトから学習した複数のコントローラを融合することにより, 複雑なマルチアスペクト制御を実現する。
本稿では,複数属性分布の交点領域を直接探索して生成する手法を提案する。
論文 参考訳（メタデータ） (2022-10-06T13:08:04Z) - Composable Text Controls in Latent Space with ODEs [97.12426987887021]
本稿では,コンパクトテキスト空間における構成可能なテキスト操作のための,新しい効率的なアプローチを提案する。
事前学習したLMを効率よく適応することで、サンプルベクトルを所望のテキストシーケンスにデコードする。
実験により、我々のアプローチ内でこれらの演算子を構成すると、高品質なテキストの生成や編集が可能であることが示された。
論文 参考訳（メタデータ） (2022-08-01T06:51:45Z) - Multi-scale and Cross-scale Contrastive Learning for Semantic
Segmentation [5.281694565226513]
セグメンテーションネットワークによって抽出されたマルチスケール特徴の識別能力を高めるために,コントラスト学習を適用した。
まず、エンコーダのマルチスケール表現を共通の特徴空間にマッピングすることにより、教師付き局所言語制約の新しい形式をインスタンス化する。
論文 参考訳（メタデータ） (2022-03-25T01:24:24Z) - Text Recognition in Real Scenarios with a Few Labeled Samples [55.07859517380136]
Scene Text Recognition (STR) はコンピュータビジョン分野におけるホットな研究テーマである。
本稿では,数ショットの逆数列領域適応 (FASDA) を用いて構築シーケンスを適応する手法を提案する。
我々のアプローチは、ソースドメインとターゲットドメインの間の文字レベルの混乱を最大化することができる。
論文 参考訳（メタデータ） (2020-06-22T13:03:01Z) - Improve Variational Autoencoder for Text Generationwith Discrete Latent
Bottleneck [52.08901549360262]
変分オートエンコーダ(VAE)は、エンドツーエンドの表現学習において必須のツールである。
VAEは強い自己回帰デコーダで潜伏変数を無視する傾向がある。
よりコンパクトな潜在空間において暗黙的な潜在特徴マッチングを強制する原理的アプローチを提案する。
論文 参考訳（メタデータ） (2020-04-22T14:41:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。