論文の概要: PCAE: A Framework of Plug-in Conditional Auto-Encoder for Controllable Text Generation

• arxiv url: http://arxiv.org/abs/2210.03496v1
• Date: Fri, 7 Oct 2022 12:31:47 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-10 14:01:29.399810
• Title: PCAE: A Framework of Plug-in Conditional Auto-Encoder for Controllable Text Generation
• Title（参考訳）: PCAE:制御可能なテキスト生成のためのプラグイン条件自動エンコーダフレームワーク
• Authors: Haoqin Tu, Zhongliang Yang, Jinshuai Yang, Siyu Zhang, Yongfeng Huang
• Abstract要約: 制御可能なテキスト生成のためのモデル非依存フレームワークPlug-in条件自動エンコーダ(PCAE)を提案する。 我々のフレームワークは"plug-and-play"であり、部分パラメータは事前訓練されたモデル(半分未満)で微調整される。 実験では、高度に操作可能で、構文的に多様性があり、省時間な生成を可能にするPCAEの高機能を明らかにしている。
• 参考スコア（独自算出の注目度）: 33.18577107062907
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Controllable text generation has taken a gigantic step forward these days. Yet existing methods are either constrained in a one-off pattern or not efficient enough for receiving multiple conditions at every generation stage. We propose a model-agnostic framework Plug-in Conditional Auto-Encoder for Controllable Text Generation (PCAE) towards flexible and semi-supervised text generation. Our framework is "plug-and-play" with partial parameters to be fine-tuned in the pre-trained model (less than a half). Crucial to the success of PCAE is the proposed broadcasting label fusion network for navigating the global latent code to a specified local and confined space. Visualization of the local latent prior well confirms the primary devotion in hidden space of the proposed model. Moreover, extensive experiments across five related generation tasks (from 2 conditions up to 10 conditions) on both RNN- based and pre-trained BART [26] based auto-encoders reveal the high capability of PCAE, which enables generation that is highly manipulable, syntactically diverse and time-saving with minimum labeled samples. We will release our code at https://github.com/ImKeTT/pcae.
• Abstract（参考訳）: 制御可能なテキスト生成は最近、大きな一歩を踏み出した。 しかし、既存のメソッドはワンオフパターンで制約されているか、世代毎に複数の条件を受信できるほど効率的ではない。 可制御テキスト生成のためのモデル非依存フレームワークPlug-in Conditional Auto-Encoder(PCAE)を提案する。 我々のフレームワークは"plug-and-play"であり、部分パラメータは事前訓練されたモデル(半分未満)で微調整される。 PCAEの成功の鍵となるのは、グローバルラテントコードを特定のローカルおよび制限されたスペースにナビゲートするための放送ラベル融合ネットワークである。 局所潜伏状態の可視化により,提案モデルの隠れ空間における一次献身が確認される。 さらに、RNNベースとBART [26]ベースの自動エンコーダによる5つの関連タスク(2条件から10条件まで)にわたる広範な実験により、PCAEの高機能性が明らかにされた。 コードはhttps://github.com/imkett/pcaeでリリースします。

関連論文リスト

• LiFi: Lightweight Controlled Text Generation with Fine-Grained Control Codes [46.74968005604948]
  本稿では、制御されたテキスト生成のためのきめ細かい制御を備えた軽量なアプローチであるLIFIを提案する。 我々は、感情制御とトピック制御という従来の2つのタスクと、新たに提案された1つのタスクでLIFIを評価する。
  論文  参考訳（メタデータ） (2024-02-10T11:53:48Z)
• Harnessing the Plug-and-Play Controller by Prompting [12.705251690623495]
  本稿では,事前学習言語モデル(PLM)を用いたテキスト生成におけるフレキシブル属性制御手法を提案する。 提案手法は、生成過程をPPCで導くことにより、生成したテキストの流布率を高めることを目的としている。
  論文  参考訳（メタデータ） (2024-02-06T17:18:25Z)
• A Block Metropolis-Hastings Sampler for Controllable Energy-based Text Generation [78.81021361497311]
  我々は,大規模言語モデルの反復的プロンプトを通じて,各ステップにおけるシーケンス全体の書き直しを提案する新しいメトロポリス・ハスティングス(MH)サンプリング器を開発した。 対象分布からより効率的かつ正確なサンプリングが可能となり, (b) 事前に固定するのではなく, サンプリング手順により生成長を決定することが可能となった。
  論文  参考訳（メタデータ） (2023-12-07T18:30:15Z)
• Fine-grained Controllable Video Generation via Object Appearance and Context [74.23066823064575]
  細粒度制御可能なビデオ生成法(FACTOR)を提案する。 FACTORは、オブジェクトの位置とカテゴリを含む、オブジェクトの外観とコンテキストを制御することを目的としている。 本手法は,オブジェクトの外観を微調整せずに制御し,オブジェクトごとの最適化作業を省く。
  論文  参考訳（メタデータ） (2023-12-05T17:47:33Z)
• SparseCtrl: Adding Sparse Controls to Text-to-Video Diffusion Models [84.71887272654865]
  SparseCtrlは時間的にスパース信号で柔軟な構造制御を可能にする。 トレーニング済みのT2Vモデルに触ることなく、これらのスパース信号を処理するための追加条件が組み込まれている。 提案手法はスケッチ,深度マップ,RGB画像など,さまざまなモダリティと互換性がある。
  論文  参考訳（メタデータ） (2023-11-28T16:33:08Z)
• Controllable Text Generation with Residual Memory Transformer [4.9329649616940205]
  任意の時間ステップでCLMを生成するための,非侵襲的で軽量な制御プラグインを提案する。 提案されているプラグイン、すなわちResidual Memory Transformer (RMT)は、任意の種類の制御条件を受け入れることができるエンコーダとデコーダのセットアップを備えている。 各種制御タスクにおいて, 自動評価と人的評価の両面で, 広範囲な実験が実施されている。
  論文  参考訳（メタデータ） (2023-09-28T08:13:33Z)
• MacLaSa: Multi-Aspect Controllable Text Generation via Efficient Sampling from Compact Latent Space [110.85888003111653]
  マルチアスペクト制御可能なテキスト生成は、複数の望ましい属性を同時に持つ流動文を生成することを目的としている。 マルチアスペクト制御のための新しいアプローチ、すなわちMacLaSaを導入し、複数の側面に対してコンパクトな潜在空間を推定する。 また,MacLaSaは,高い推論速度を維持しつつ,属性関連性やテキスト品質を高いベースラインで向上させることを示す。
  論文  参考訳（メタデータ） (2023-05-22T07:30:35Z)
• POINTER: Constrained Progressive Text Generation via Insertion-based Generative Pre-training [93.79766670391618]
  ハードコントラストテキスト生成のための新しい挿入ベースアプローチであるPOINTERを提案する。 提案手法は,既存のトークン間で段階的に新しいトークンを並列に挿入することによって動作する。 結果として生じる粗大な階層構造は、生成プロセスを直感的で解釈可能である。
  論文  参考訳（メタデータ） (2020-05-01T18:11:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。