論文の概要: Mix and Match: Learning-free Controllable Text Generation using Energy Language Models

• arxiv url: http://arxiv.org/abs/2203.13299v1
• Date: Thu, 24 Mar 2022 18:52:09 GMT
• ステータス: 処理完了
• システム内更新日: 2022-03-28 12:19:44.314436
• Title: Mix and Match: Learning-free Controllable Text Generation using Energy Language Models
• Title（参考訳）: Mix and Match:エネルギー言語モデルを用いた学習不要テキスト生成
• Authors: Fatemehsadat Mireshghallah, Kartik Goyal, Taylor Berg-Kirkpatrick
• Abstract要約: 制御可能なテキスト生成のためのグローバルスコアベースの代替手段であるMix and Match LMを提案する。 我々は制御可能な生成のタスクをエネルギーベースモデルからのサンプルの描画として解釈する。 我々は、このエネルギーベースモデルからサンプリングするためにメトロポリス・ハスティングスサンプリングスキームを使用する。
• 参考スコア（独自算出の注目度）: 33.97800741890231
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent work on controlled text generation has either required attribute-based fine-tuning of the base language model (LM), or has restricted the parameterization of the attribute discriminator to be compatible with the base autoregressive LM. In this work, we propose Mix and Match LM, a global score-based alternative for controllable text generation that combines arbitrary pre-trained black-box models for achieving the desired attributes in the generated text without involving any fine-tuning or structural assumptions about the black-box models. We interpret the task of controllable generation as drawing samples from an energy-based model whose energy values are a linear combination of scores from black-box models that are separately responsible for fluency, the control attribute, and faithfulness to any conditioning context. We use a Metropolis-Hastings sampling scheme to sample from this energy-based model using bidirectional context and global attribute features. We validate the effectiveness of our approach on various controlled generation and style-based text revision tasks by outperforming recently proposed methods that involve extra training, fine-tuning, or restrictive assumptions over the form of models.
• Abstract（参考訳）: 制御されたテキスト生成に関する最近の研究は、属性ベースの基本言語モデル(LM)の微調整を必要とするか、あるいは属性判別器のパラメータ化を基本自己回帰的LMと互換性を持つように制限している。 そこで本研究では,ブラックボックスモデルに関する微調整や構造的仮定を伴わずに,任意の学習済みのブラックボックスモデルを組み合わせて生成したテキストの属性を出力する,制御可能なテキスト生成のためのグローバルスコアベースのMix and Match LMを提案する。 制御可能な生成のタスクは、エネルギー値がフラッレンス、制御属性、および任意の条件付きコンテキストに対する忠実性に別々に責任を負うブラックボックスモデルからのスコアの線形結合であるエネルギーベースモデルからのサンプルとして解釈する。 我々は,このエネルギーモデルから双方向コンテキストとグローバル属性特徴を用いたメトロポリス・ハスティングスサンプリング手法を用いてサンプリングを行う。 モデル形式に対する追加トレーニング,微調整,制限的仮定を含む手法を,最近提案した手法より優れていることによる,様々な制御された生成およびスタイルベースのテキストリビジョンタスクに対するアプローチの有効性を検証する。

関連論文リスト

• A Block Metropolis-Hastings Sampler for Controllable Energy-based Text Generation [78.81021361497311]
  我々は,大規模言語モデルの反復的プロンプトを通じて,各ステップにおけるシーケンス全体の書き直しを提案する新しいメトロポリス・ハスティングス(MH)サンプリング器を開発した。 対象分布からより効率的かつ正確なサンプリングが可能となり, (b) 事前に固定するのではなく, サンプリング手順により生成長を決定することが可能となった。
  論文  参考訳（メタデータ） (2023-12-07T18:30:15Z)
• Controlled Text Generation via Language Model Arithmetic [7.687678490751105]
  本稿では,大規模言語モデルの合成とバイアス化のための新しい推論フレームワークであるモデル演算を導入する。 モデル算術により生成したテキストのきめ細かい制御が可能であり, 毒性低減の課題において, 最先端の処理性能に優れることを示す。
  論文  参考訳（メタデータ） (2023-11-24T13:41:12Z)
• Audio Generation with Multiple Conditional Diffusion Model [15.250081484817324]
  本稿では,既存の事前学習型テキスト音声モデルの制御性を向上する新しいモデルを提案する。 このアプローチは、生成された音声の時間的順序、ピッチ、エネルギーを細かく制御する。
  論文  参考訳（メタデータ） (2023-08-23T06:21:46Z)
• Extrapolating Multilingual Understanding Models as Multilingual Generators [82.1355802012414]
  本稿では,多言語理解モデルに統一モデルを得るための生成能力を付与する手法について検討する。 少数の新しいパラメータを持つ多言語ジェネレータにエンコーダを適用するために,textbfSemantic-textbfGuided textbfAlignment-then-Denoising (SGA)アプローチを提案する。
  論文  参考訳（メタデータ） (2023-05-22T15:33:21Z)
• DiffusER: Discrete Diffusion via Edit-based Reconstruction [88.62707047517914]
  DiffusERは、拡散モデルに基づくテキストの編集ベースの生成モデルである。 機械翻訳、要約、スタイル転送にまたがるいくつかのタスクにおいて、自動回帰モデルと競合する可能性がある。 また、標準的な自己回帰モデルに適さないような、他の種類の世代も実行することができる。
  論文  参考訳（メタデータ） (2022-10-30T16:55:23Z)
• Controllable Text Generation with Neurally-Decomposed Oracle [91.18959622763055]
  我々はNeurAlly-Decomposed Oracle (NADO) を用いた自動回帰生成モデルを制御するフレームワークを提案する。 制御可能な生成のためのベースモデルにトークンレベルのガイダンスを組み込むためのクローズドフォーム最適解を提案する。
  論文  参考訳（メタデータ） (2022-05-27T20:17:53Z)
• Controllable and Compositional Generation with Latent-Space Energy-Based Models [60.87740144816278]
  制御可能な生成は、現実世界のアプリケーションで深層生成モデルの採用を成功させる上で重要な要件の1つである。 本研究では, エネルギーモデル(EBM)を用いて, 属性の集合上での合成生成を扱う。 エネルギー関数を論理演算子と合成することにより、分解能1024x1024のフォトリアリスティック画像を生成する際に、このような構成性を実現するのはこれが初めてである。
  論文  参考訳（メタデータ） (2021-10-21T03:31:45Z)
• PluGeN: Multi-Label Conditional Generation From Pre-Trained Models [1.4777718769290524]
  PluGeNは単純だが効果的な生成技術であり、事前訓練された生成モデルのプラグインとして使用できる。 PluGeNは、ラベル付き属性の値を制御する機能を加えながら、バックボーンモデルの品質を保っていることを示す。
  論文  参考訳（メタデータ） (2021-09-18T21:02:24Z)
• Energy-Based Models for Code Generation under Compilability Constraints [2.9176992922046923]
  本研究では,コンパイル可能なコードを制約満足度として生成する学習の課題を提起する。 本稿では,コンパイル可能なシーケンスのみを生成する制約を課した,事前学習された生成モデルを表すEnergy-Based Model(EBM)を定義する。 次に,KL-Adaptive Distributional Policy Gradientアルゴリズムを用いて,EMMを近似した生成モデルを訓練する。
  論文  参考訳（メタデータ） (2021-06-09T11:06:32Z)
• Attribute Alignment: Controlling Text Generation from Pre-trained Language Models [46.19190007510232]
  本論文では, テキスト生成を簡便かつ柔軟に制御する手法を提案する。 属性のトークンレベル分布を乱すように識別器を訓練する最近の取り組みとは対照的に、同じデータを用いてアライメント関数を学習し、トレーニング済みの非制御言語モデルを誘導し、元の言語モデルパラメータを変更することなく、ターゲット属性を持つテキストを生成する。
  論文  参考訳（メタデータ） (2021-03-20T01:51:32Z)
• Joint Energy-based Model Training for Better Calibrated Natural Language Understanding Models [61.768082640087]
  自然言語理解タスクのための事前学習テキストエンコーダの微調整中に、共同エネルギーベースモデル(EBM)トレーニングを検討します。 実験では、EMMトレーニングはモデルが強力なベースラインに匹敵するより良いキャリブレーションに達するのに役立つことが示されています。
  論文  参考訳（メタデータ） (2021-01-18T01:41:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。