論文の概要: FUDGE: Controlled Text Generation With Future Discriminators

• arxiv url: http://arxiv.org/abs/2104.05218v1
• Date: Mon, 12 Apr 2021 05:59:53 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-13 14:36:58.329779
• Title: FUDGE: Controlled Text Generation With Future Discriminators
• Title（参考訳）: FUDGE: これからの差別者によるテキスト生成制御
• Authors: Kevin Yang and Dan Klein
• Abstract要約: Future Discriminators for Generation(FUDGE)は、制御されたテキスト生成のための柔軟でモジュラーな方法です。 我々はFUDGEを詩のカップル補完、言語生成のトピック制御、機械翻訳の形式的変化の3つのタスクで評価する。
• 参考スコア（独自算出の注目度）: 41.770226464843034
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We propose Future Discriminators for Generation (FUDGE), a flexible and modular method for controlled text generation. Given a pre-existing model G for generating text from a distribution of interest, FUDGE enables conditioning on a desired attribute a (for example, formality) while requiring access only to G's output logits. FUDGE learns an attribute predictor operating on a partial sequence, and uses this predictor's outputs to adjust G's original probabilities. We show that FUDGE models terms corresponding to a Bayesian decomposition of the conditional distribution of G given attribute a. Moreover, FUDGE can easily compose predictors for multiple desired attributes. We evaluate FUDGE on three tasks -- couplet completion in poetry, topic control in language generation, and formality change in machine translation -- and observe gains in all three tasks.
• Abstract（参考訳）: 本稿では,制御されたテキスト生成のためのフレキシブルかつモジュール方式であるFuture Discriminator for Generation (FUDGE)を提案する。 関心の分布からテキストを生成するための既存のモデルGが与えられた場合、FUDGEはGの出力ロジットのみへのアクセスを必要としながら、所望の属性a(例えば形式)を条件付けできる。 FUDGEは部分シーケンスで動作する属性予測器を学習し、この予測器の出力を使用してGの元の確率を調整する。 与えられた属性 a の条件分布のベイズ分解に対応する FUDGE モデルについて述べる。 さらに、FUDGEは複数の望ましい属性の予測子を簡単に作成できる。 我々は,FUDGEを3つのタスク – 詩のカップル補完,言語生成のトピック制御,機械翻訳の形式的変化 – で評価し,三つのタスクの利得を観察する。

関連論文リスト

• A Non-negative VAE:the Generalized Gamma Belief Network [49.970917207211556]
  ガンマ信念ネットワーク(GBN)は、テキストデータ中の多層解釈可能な潜在表現を明らかにする可能性を実証している。 本稿では、一般化ガンマ信念ネットワーク(Generalized GBN)を導入し、元の線形生成モデルをより表現力のある非線形生成モデルに拡張する。 また、潜伏変数の後方分布を近似する上向きのワイブル推論ネットワークを提案する。
  論文  参考訳（メタデータ） (2024-08-06T18:18:37Z)
• Selective Generation for Controllable Language Models [19.909671258499184]
  生成言語モデル(GLM)の信頼性は、重要な意思決定システムへの展開において不可欠である。 テキストエンタテインメント関係(FDR-E)に関して、偽発見率を制御する2つの選択的生成アルゴリズムを提案する。 選択予測を直接修正した$textttSGentextttSup$は、人間によって注釈付けされたエンテーメントラベル付きデータを悪用する。 人間のアノテーションはコストがかかるので、unを完全に活用した半教師付きバージョンである$textttSGentexttSemi$を提案します。
  論文  参考訳（メタデータ） (2023-07-18T13:36:24Z)
• Controllable Data Augmentation for Few-Shot Text Mining with Chain-of-Thought Attribute Manipulation [35.33340453046864]
  Chain-of-Thought Attribute Manipulation (CoTAM)は、既存の例から新しいデータを生成する新しいアプローチである。 我々は,(1)属性分解,(2)操作提案,(3)文の再構築という3つのステップで,テキストを直接編集するよう促すチェーン・オブ・シントを利用する。
  論文  参考訳（メタデータ） (2023-07-14T00:10:03Z)
• From the One, Judge of the Whole: Typed Entailment Graph Construction with Predicate Generation [69.91691115264132]
  Entailment Graphs (EG) は、自然言語における文脈に依存しないentailment関係を示すために構築される。 本稿では,この問題に対処する多段階型述語グラフ生成器(TP-EGG)を提案する。 ベンチマークデータセットの実験では、TP-EGGは高品質でスケール制御可能なエンターメントグラフを生成することができる。
  論文  参考訳（メタデータ） (2023-06-07T05:46:19Z)
• GDA: Generative Data Augmentation Techniques for Relation Extraction Tasks [81.51314139202152]
  本稿では,意味的一貫性と構文構造を両立させるために2つの相補的モジュールを用いるGDAという,関係テキスト専用の拡張手法を提案する。 低リソース環境下での3つのデータセットによる実験結果から,GDAはエム2.0%のF1改善をもたらすことが示された。
  論文  参考訳（メタデータ） (2023-05-26T06:21:01Z)
• GENIE: Large Scale Pre-training for Text Generation with Diffusion Model [86.2022500090247]
  GENIEは、Transformerと拡散を組み合わせたシーケンス・ツー・シーケンスのテキスト生成モデルである。 本研究では,拡散モデルの特徴を基礎として,連続段落認知という新しい事前学習手法を提案する。
  論文  参考訳（メタデータ） (2022-12-22T13:17:11Z)
• DisCup: Discriminator Cooperative Unlikelihood Prompt-tuning for Controllable Text Generation [6.844825905212349]
  本稿では,識別器の属性知識を取り入れた新しいCTG手法であるDisCupを提案する。 DisCupは、約10の仮想トークンに頼るだけで、効率的で高品質なテキスト生成を維持しながら、新しい最先端の制御性能を実現することができる。
  論文  参考訳（メタデータ） (2022-10-18T02:59:06Z)
• Classifiers are Better Experts for Controllable Text Generation [63.17266060165098]
  提案手法は, PPLにおける最近のPPLM, GeDi, DExpertsよりも有意に優れており, 生成したテキストの外部分類器に基づく感情の精度が高いことを示す。 同時に、実装やチューニングも簡単で、制限や要件も大幅に少なくなります。
  論文  参考訳（メタデータ） (2022-05-15T12:58:35Z)
• Topical Language Generation using Transformers [4.795530213347874]
  本稿では,事前学習したLMとトピックモデリング情報を組み合わせることで,トピック言語生成(TLG)の新しいアプローチを提案する。 我々は,新しいパラメータと関数を導入して,生成したテキストに提示される話題特徴量に影響を与えるモデルを拡張する。 実験結果から,復号化の高速化とともに,コヒーレンシー,多様性,流線型性の向上が得られた。
  論文  参考訳（メタデータ） (2021-03-11T03:45:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。