論文の概要: MacLaSa: Multi-Aspect Controllable Text Generation via Efficient Sampling from Compact Latent Space

• arxiv url: http://arxiv.org/abs/2305.12785v1
• Date: Mon, 22 May 2023 07:30:35 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-23 17:51:29.611534
• Title: MacLaSa: Multi-Aspect Controllable Text Generation via Efficient Sampling from Compact Latent Space
• Title（参考訳）: MacLaSa: コンパクト潜在空間からの効率的なサンプリングによる多視点制御可能なテキスト生成
• Authors: Hanxing Ding, Liang Pang, Zihao Wei, Huawei Shen, Xueqi Cheng, Tat-Seng Chua
• Abstract要約: マルチアスペクト制御可能なテキスト生成は、複数の望ましい属性を同時に持つ流動文を生成することを目的としている。 マルチアスペクト制御のための新しいアプローチ、すなわちMacLaSaを導入し、複数の側面に対してコンパクトな潜在空間を推定する。 また,MacLaSaは,高い推論速度を維持しつつ,属性関連性やテキスト品質を高いベースラインで向上させることを示す。
• 参考スコア（独自算出の注目度）: 100.82808023887837
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Multi-aspect controllable text generation aims to generate fluent sentences that possess multiple desired attributes simultaneously. Traditional methods either combine many operators in the decoding stage, often with costly iteration or search in the discrete text space, or train separate controllers for each aspect, resulting in a degeneration of text quality due to the discrepancy between different aspects. To address these limitations, we introduce a novel approach for multi-aspect control, namely MacLaSa, that estimates compact latent space for multiple aspects and performs efficient sampling with a robust sampler based on ordinary differential equations (ODEs). To eliminate the domain gaps between different aspects, we utilize a Variational Autoencoder (VAE) network to map text sequences from varying data sources into close latent representations. The estimated latent space enables the formulation of joint energy-based models (EBMs) and the plugging in of arbitrary attribute discriminators to achieve multi-aspect control. Afterwards, we draw latent vector samples with an ODE-based sampler and feed sampled examples to the VAE decoder to produce target text sequences. Experimental results demonstrate that MacLaSa outperforms several strong baselines on attribute relevance and textual quality while maintaining a high inference speed.
• Abstract（参考訳）: マルチアスペクト制御可能なテキスト生成は、複数の望ましい属性を同時に持つ流動文を生成することを目的としている。 従来の手法では、デコード段階で多くの演算子を組み合わせ、しばしばコストのかかるイテレーションや離散テキスト空間での検索を組み合わせたり、それぞれのアスペクトに対して個別のコントローラを訓練することで、異なるアスペクト間の相違によるテキスト品質の劣化をもたらす。 これらの制約に対処するため,我々は,コンパクトな潜在空間を複数の側面から推定し,正規微分方程式(odes)に基づくロバストなスミアを用いて効率的なサンプリングを行うマルチスペクトル制御のための新しい手法,maclasaを導入する。 異なるアスペクト間のドメインギャップを解消するために、可変オートエンコーダ(VAE)ネットワークを用いて、異なるデータソースから近い潜在表現へテキストシーケンスをマッピングする。 推定潜在空間は、ジョイントエネルギーベースモデル(EBM)の定式化と、任意の属性判別器のプラグインにより、マルチアスペクト制御を実現する。 その後、我々はODEベースのサンプルを用いて潜在ベクトルサンプルを描画し、サンプルサンプルをVAEデコーダに供給し、ターゲットのテキストシーケンスを生成する。 実験結果から,MacLaSaは高い推論速度を維持しつつ,属性関連性やテキスト品質を高いベースラインで向上することが示された。

関連論文リスト

• Quasi-random Multi-Sample Inference for Large Language Models [1.647759094903376]
  大規模言語モデル(LLM)は、しばしばマルチサンプルデコード戦略を備えている。 ビームサーチやサンプリングベース技術のような従来のテキスト生成手法には、顕著な制限がある。 本研究では,算術的サンプリングの可能性について検討し,祖先的サンプリングと対比する。
  論文  参考訳（メタデータ） (2024-11-09T18:55:04Z)
• Detecting Machine-Generated Long-Form Content with Latent-Space Variables [54.07946647012579]
  既存のゼロショット検出器は主に、現実世界のドメインシフトに弱いトークンレベルの分布に焦点を当てている。 本稿では,イベント遷移などの抽象的要素を機械対人文検出の鍵となる要因として組み込んだ,より堅牢な手法を提案する。
  論文  参考訳（メタデータ） (2024-10-04T18:42:09Z)
• Principled Gradient-based Markov Chain Monte Carlo for Text Generation [77.46654898866291]
  目標エネルギーに基づくテキスト分布を正確にサンプリングするために, 忠実な勾配に基づくサンプリングアルゴリズムを提案する。 我々は、忠実なサンプリング者が制御対象に忠実に固執しながら、より流動的なテキストを生成できることを実証する。
  論文  参考訳（メタデータ） (2023-12-29T18:00:56Z)
• Semantic Space Grounded Weighted Decoding for Multi-Attribute Controllable Dialogue Generation [41.23970507903113]
  本稿では,重み付き復号法で強い制御性を持つDASCという新しいフレームワークを提案する。 複数属性の生成は、複数の属性の埋め込みの発話で直感的に実装される。 実験の結果,DASCは3つの側面を同時に制御することで,生成タスクにおいて高い制御精度を達成できることがわかった。
  論文  参考訳（メタデータ） (2023-05-04T13:35:27Z)
• Controllable Text Generation via Probability Density Estimation in the Latent Space [16.962510129437558]
  本稿では,潜在空間における確率密度推定を用いた新しい制御フレームワークを提案する。 本手法では,非可逆変換関数である正規化フローを用いて,潜在空間の複素分布を先行空間の単純ガウス分布にマッピングする。 単一属性制御と多属性制御の実験により,本手法は属性関連性やテキスト品質の強いベースラインよりも優れていることがわかった。
  論文  参考訳（メタデータ） (2022-12-16T07:11:18Z)
• Arithmetic Sampling: Parallel Diverse Decoding for Large Language Models [65.52639709094963]
  ビームサーチやガンベルトップkサンプリングのような手法は、ビームの各要素に対して異なる出力を保証できるが、並列化は容易ではない。 本稿では,大言語モデルによって暗黙的に定義された算術符号書に従ってサンプリングを行うフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-10-18T22:19:41Z)
• A Distributional Lens for Multi-Aspect Controllable Text Generation [17.97374410245602]
  マルチアスペクト制御可能なテキスト生成は、単一アスペクト制御よりも困難で実用的なタスクである。 既存手法は, 単一アスペクトから学習した複数のコントローラを融合することにより, 複雑なマルチアスペクト制御を実現する。 本稿では,複数属性分布の交点領域を直接探索して生成する手法を提案する。
  論文  参考訳（メタデータ） (2022-10-06T13:08:04Z)
• Composable Text Controls in Latent Space with ODEs [97.12426987887021]
  本稿では,コンパクトテキスト空間における構成可能なテキスト操作のための,新しい効率的なアプローチを提案する。 事前学習したLMを効率よく適応することで、サンプルベクトルを所望のテキストシーケンスにデコードする。 実験により、我々のアプローチ内でこれらの演算子を構成すると、高品質なテキストの生成や編集が可能であることが示された。
  論文  参考訳（メタデータ） (2022-08-01T06:51:45Z)
• Improve Variational Autoencoder for Text Generationwith Discrete Latent Bottleneck [52.08901549360262]
  変分オートエンコーダ(VAE)は、エンドツーエンドの表現学習において必須のツールである。 VAEは強い自己回帰デコーダで潜伏変数を無視する傾向がある。 よりコンパクトな潜在空間において暗黙的な潜在特徴マッチングを強制する原理的アプローチを提案する。
  論文  参考訳（メタデータ） (2020-04-22T14:41:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。