論文の概要: An Extensible Plug-and-Play Method for Multi-Aspect Controllable Text Generation

• arxiv url: http://arxiv.org/abs/2212.09387v2
• Date: Sun, 28 May 2023 14:12:48 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-31 02:34:12.806846
• Title: An Extensible Plug-and-Play Method for Multi-Aspect Controllable Text Generation
• Title（参考訳）: マルチアスペクト制御可能なテキスト生成のための拡張可能なプラグアンドプレイ法
• Authors: Xuancheng Huang, Zijun Liu, Peng Li, Tao Li, Maosong Sun, Yang Liu
• Abstract要約: 複数の側面で生成されたテキストを制御するマルチアスペクト制御可能なテキスト生成が注目されている。 干渉に対する理論的な下界を提供し、プレフィックスが挿入される層の数に応じて干渉が増加することを経験的に見出した。 トレーニング可能なゲートを用いてプレフィックスの介入を正規化し、増大する干渉を抑制することを提案する。
• 参考スコア（独自算出の注目度）: 70.77243918587321
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recently, multi-aspect controllable text generation that controls the generated text in multiple aspects (e.g., sentiment, topic, and keywords) has attracted increasing attention. Although methods based on parameter efficient tuning like prefix-tuning could achieve multi-aspect controlling in a plug-and-play way, the mutual interference of multiple prefixes leads to significant degeneration of constraints and limits their extensibility to training-time unseen aspect combinations. In this work, we provide a theoretical lower bound for the interference and empirically found that the interference grows with the number of layers where prefixes are inserted. Based on these analyses, we propose using trainable gates to normalize the intervention of prefixes to restrain the growing interference. As a result, controlling training-time unseen combinations of aspects can be realized by simply concatenating corresponding plugins such that new constraints can be extended at a lower cost. In addition, we propose a unified way to process both categorical and free-form constraints. Experiments on text generation and machine translation demonstrate the superiority of our approach over baselines on constraint accuracy, text quality, and extensibility.
• Abstract（参考訳）: 近年、複数の側面(感情、話題、キーワードなど)で生成されたテキストを制御するマルチアスペクト制御可能なテキスト生成が注目されている。 プレフィックスチューニングのようなパラメータ効率のよいチューニングに基づく手法は、プラグ・アンド・プレイ方式でマルチアスペクト制御を実現することができるが、複数のプレフィックスの相互干渉は、制約を著しく劣化させ、トレーニング時に見えないアスペクトの組み合わせに拡張性を制限する。 本研究は, 干渉の理論的下限を提供し, プレフィックスが挿入される層数に応じて干渉が増加することを実証的に見出した。 これらの分析に基づいて,プレフィックスの介入を正規化するためにトレーニング可能なゲートを用いることを提案する。 その結果、新しい制約を低コストで拡張できるように、対応するプラグインを単に結合することで、アスペクトのトレーニング時間未認識の組み合わせを制御することができる。 さらに,分類的制約と自由形式制約の両方を統一的に処理する方法を提案する。 テキスト生成と機械翻訳の実験は、制約精度、テキスト品質、拡張性に基づくベースラインよりも、我々のアプローチの方が優れていることを示す。

関連論文リスト

• Intertwining CP and NLP: The Generation of Unreasonably Constrained Sentences [49.86129209397701]
  本稿では,この問題を解決するためにConstraints First Frameworkを提案する。 これは、言語特性とより古典的な制約を組み合わせた制約プログラミング手法によって解決される。 このアプローチの有効性は、より退屈な制約付きテキスト生成問題に取り組むことで実証される。
  論文  参考訳（メタデータ） (2024-06-15T17:40:49Z)
• Toward Unified Controllable Text Generation via Regular Expression Instruction [56.68753672187368]
  本稿では,正規表現の利点をフル活用し,多様な制約を一様にモデル化する命令ベース機構を用いた正規表現指導(REI)を提案する。 提案手法では,中規模言語モデルの微調整や,大規模言語モデルでの少数ショット・インコンテクスト学習のみを要し,各種制約の組み合わせに適用した場合のさらなる調整は不要である。
  論文  参考訳（メタデータ） (2023-09-19T09:05:14Z)
• MacLaSa: Multi-Aspect Controllable Text Generation via Efficient Sampling from Compact Latent Space [110.85888003111653]
  マルチアスペクト制御可能なテキスト生成は、複数の望ましい属性を同時に持つ流動文を生成することを目的としている。 マルチアスペクト制御のための新しいアプローチ、すなわちMacLaSaを導入し、複数の側面に対してコンパクトな潜在空間を推定する。 また,MacLaSaは,高い推論速度を維持しつつ,属性関連性やテキスト品質を高いベースラインで向上させることを示す。
  論文  参考訳（メタデータ） (2023-05-22T07:30:35Z)
• A Distributional Lens for Multi-Aspect Controllable Text Generation [17.97374410245602]
  マルチアスペクト制御可能なテキスト生成は、単一アスペクト制御よりも困難で実用的なタスクである。 既存手法は, 単一アスペクトから学習した複数のコントローラを融合することにより, 複雑なマルチアスペクト制御を実現する。 本稿では,複数属性分布の交点領域を直接探索して生成する手法を提案する。
  論文  参考訳（メタデータ） (2022-10-06T13:08:04Z)
• Controllable Natural Language Generation with Contrastive Prefixes [120.12778570283956]
  GPT2生成は、自然言語生成を操るために、プレフィックスと呼ばれる小さな属性固有のベクトルのセットを利用する。 単一アスペクト制御のための接頭辞を訓練するための新しい教師なし手法と教師なし手法を提案する。 単一アスペクト制御と多アスペクト制御の両方の実験結果から,提案手法は高い言語的品質を維持しつつ,所望の属性に向かって生成を導くことができることがわかった。
  論文  参考訳（メタデータ） (2022-02-27T00:31:03Z)
• COLD Decoding: Energy-based Constrained Text Generation with Langevin Dynamics [69.8062252611486]
  コールドデコーディングは、既製の左から右の言語モデルに直接適用可能なフレキシブルなフレームワークである。 制約付き生成タスクの実験は、自動評価と人的評価の両方の観点から、我々のアプローチの有効性を示している。
  論文  参考訳（メタデータ） (2022-02-23T18:59:27Z)
• Controlled Text Generation as Continuous Optimization with Multiple Constraints [23.71027518888138]
  事前学習したモデルから制御可能な推論を行うためのフレキシブルでモジュラーなアルゴリズムを提案する。 所望のテキストを生成するために,ラグランジアン乗算器と勾配差に基づく手法を用いる。 我々は,複数の文レベル属性を用いた制御可能な機械翻訳とスタイル変換のアプローチを評価する。
  論文  参考訳（メタデータ） (2021-08-04T05:25:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。