論文の概要: P-Masking: Power Law Masking Improves Multi-attribute Controlled Generation

• arxiv url: http://arxiv.org/abs/2410.24201v1
• Date: Thu, 31 Oct 2024 17:55:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-01 17:02:07.365045
• Title: P-Masking: Power Law Masking Improves Multi-attribute Controlled Generation
• Title（参考訳）: P-Masking:マルチ属性制御生成を改善するパワーロー・マスキング
• Authors: Mohamed Elgaar, Hadi Amiri,
• Abstract要約: LingGenは、制御されたテキスト生成のための新しいアプローチであり、幅広い言語属性の正確な制御を提供する。 LingGenは動的P-MASKing戦略を採用しており、トレーニング中の電力法分布からマスクレートをサンプリングする。 実験によると、LingGenは属性制御の精度とテキストの流速の両方で現在の最先端モデルを上回っている。
• 参考スコア（独自算出の注目度）: 14.763505073094779
• License:
• Abstract: We introduce LingGen, a novel approach for controlled text generation that offers precise control over a wide array of linguistic attributes, even as the number of attributes varies. LingGen employs a dynamic P-MASKING strategy, which samples masking rates from a power law distribution during training. This innovative approach enables the model to develop robust representations and adapt its attribute control capabilities across a variable number of attributes, from a single attribute to multiple complex configurations. The P-MASKING technique enhances LingGen's ability to manage different levels of attribute visibility, resulting in superior performance in multi-attribute generation tasks. Our experiments demonstrate that LingGen surpasses current state-of-the-art models in both attribute control accuracy and text fluency, particularly excelling in scenarios with varying attribute demands. Additionally, our ablation studies highlight the effectiveness of P-MASKING and the influence of different base language models on performance. These findings demonstrate LingGen's potential for applications requiring precise and adaptable control over multiple linguistic attributes in text generation.
• Abstract（参考訳）: 我々はLingGenを紹介した。LingGenは制御されたテキスト生成のための新しいアプローチで、属性の数が異なる場合でも、幅広い言語属性を正確に制御する。 LingGenは動的P-MASKing戦略を採用しており、トレーニング中の電力法分布からマスクレートをサンプリングする。 この革新的なアプローチにより、モデルはロバストな表現を開発し、単一の属性から複数の複雑な構成に至るまで、その属性制御能力を様々な属性に適応させることができる。 P-MASKING技術は、LingGenの様々な属性の可視性を管理する能力を高め、マルチ属性生成タスクにおいて優れたパフォーマンスをもたらす。 我々の実験は、LingGenが属性制御の精度とテキストの流速の両方で現在の最先端モデルを上回ることを実証している。 さらに,P-MASKINGの有効性と,異なるベース言語モデルが性能に与える影響について検討した。 これらの結果は、テキスト生成において複数の言語属性を正確にかつ適応的に制御する必要があるアプリケーションに対するLingGenの可能性を示している。

関連論文リスト

• UniGen: A Unified Framework for Textual Dataset Generation Using Large Language Models [88.16197692794707]
  UniGenは、多様で正確で高度に制御可能なデータセットを作成するように設計された包括的なフレームワークである。 データ多様性を強化するため、UniGenは属性誘導生成モジュールとグループチェック機能を備えている。 大規模な実験は、UniGenによって生成されたデータの優れた品質を示す。
  論文  参考訳（メタデータ） (2024-06-27T07:56:44Z)
• Successor Features for Efficient Multisubject Controlled Text Generation [48.37713738712319]
  本稿では,後継機能 (SF) と言語モデル修正の2つの基本概念を基礎とするSF-GENを紹介する。 SF-GENはこの2つをシームレスに統合し、LCMのパラメータを変更することなくテキスト生成の動的ステアリングを可能にする。 我々の知る限り、本研究はテキスト生成における後継機能の最初の応用である。
  論文  参考訳（メタデータ） (2023-11-03T00:17:08Z)
• MacLaSa: Multi-Aspect Controllable Text Generation via Efficient Sampling from Compact Latent Space [110.85888003111653]
  マルチアスペクト制御可能なテキスト生成は、複数の望ましい属性を同時に持つ流動文を生成することを目的としている。 マルチアスペクト制御のための新しいアプローチ、すなわちMacLaSaを導入し、複数の側面に対してコンパクトな潜在空間を推定する。 また,MacLaSaは,高い推論速度を維持しつつ,属性関連性やテキスト品質を高いベースラインで向上させることを示す。
  論文  参考訳（メタデータ） (2023-05-22T07:30:35Z)
• Controllable Dialogue Generation with Disentangled Multi-grained Style Specification and Attribute Consistency Reward [47.96949534259019]
  マルチ属性制約下で応答生成を行うための制御可能な対話生成モデルを提案する。 一般的に使用される制御属性を,応答生成に対する影響の粒度が異なる大域的および局所的な属性に分類する。 我々のモデルは、応答品質、コンテンツ多様性、制御性の観点から、競争ベースラインを大幅に上回ることができる。
  論文  参考訳（メタデータ） (2021-09-14T14:29:38Z)
• Progressive Open-Domain Response Generation with Multiple Controllable Attributes [13.599621571488033]
  本稿では,この課題に対処するために,漸進的に訓練された階層型バリデコーダを提案する。 PHEDはTransformerにConditional AutoEncoder (CVAE)をデプロイし、属性の1つの側面を1段階に含める。 PHEDは最先端のニューラルジェネレーションモデルを大きく上回り、期待通り多様な応答を生成する。
  論文  参考訳（メタデータ） (2021-06-07T08:48:39Z)
• Attribute Alignment: Controlling Text Generation from Pre-trained Language Models [46.19190007510232]
  本論文では, テキスト生成を簡便かつ柔軟に制御する手法を提案する。 属性のトークンレベル分布を乱すように識別器を訓練する最近の取り組みとは対照的に、同じデータを用いてアライメント関数を学習し、トレーニング済みの非制御言語モデルを誘導し、元の言語モデルパラメータを変更することなく、ターゲット属性を持つテキストを生成する。
  論文  参考訳（メタデータ） (2021-03-20T01:51:32Z)
• Transformer-based Conditional Variational Autoencoder for Controllable Story Generation [39.577220559911055]
  ニューラルストーリー生成のための大規模潜時変数モデル (LVM) を, 生成効率と制御性という2つのスレッドで検討した。 我々は、トランスフォーマーの時代において、本質的に表現学習の力である潜在変数モデリングを復活させることを提唱する。 具体的には,遅延表現ベクトルをTransformerベースの事前学習アーキテクチャと統合し,条件付き変分オートエンコーダ(CVAE)を構築する。
  論文  参考訳（メタデータ） (2021-01-04T08:31:11Z)
• Controllable Text Generation with Focused Variation [71.07811310799664]
  Focused-Variation Network (FVN) は言語生成を制御する新しいモデルである。 FVNは、コードブック内の各属性に対する非結合なラテント空間を学習し、制御性と多様性の両方を可能にする。 我々は、注釈付きコンテンツとスタイルを持つ2つのテキスト生成データセット上でFVNを評価し、自動評価と人的評価により、最先端のパフォーマンスを示す。
  論文  参考訳（メタデータ） (2020-09-25T06:31:06Z)
• Control, Generate, Augment: A Scalable Framework for Multi-Attribute Text Generation [22.70189685469752]
  我々は条件付きVAEアーキテクチャであるCGAを導入し、テキストを制御、生成、拡張する。 アブレーション研究において,個々のモデル成分の値を示す。 生成した文の質,多様性,属性の制御を,一連の自動評価および人的評価を通じて示す。
  論文  参考訳（メタデータ） (2020-04-30T17:31:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。