Fugu-MT 論文翻訳(概要): PREADD: Prefix-Adaptive Decoding for Controlled Text Generation

論文の概要: PREADD: Prefix-Adaptive Decoding for Controlled Text Generation

arxiv url: http://arxiv.org/abs/2307.03214v1
Date: Thu, 6 Jul 2023 16:56:46 GMT
ステータス: 処理完了
システム内更新日: 2023-07-10 14:15:48.762906
Title: PREADD: Prefix-Adaptive Decoding for Controlled Text Generation
Title（参考訳）: preadd: 制御テキスト生成のためのプレフィックス適応復号
Authors: Jonathan Pei, Kevin Yang, and Dan Klein
Abstract要約: PreADDは複数のプロンプトから出力ロジットを線形に組み合わせることに依存している。有害なアウトプット緩和, 性差低減, 感情制御の3つの課題についてpreADDを評価した。
参考スコア（独自算出の注目度）: 36.01383793720532
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: We propose Prefix-Adaptive Decoding (PREADD), a flexible method for controlled text generation. Unlike existing methods that use auxiliary expert models to control for attributes, PREADD does not require an external model, instead relying on linearly combining output logits from multiple prompts. Specifically, PREADD contrasts the output logits generated using a raw prompt against those generated using a prefix-prepended prompt, enabling both positive and negative control with respect to any attribute encapsulated by the prefix. We evaluate PREADD on three tasks -- toxic output mitigation, gender bias reduction, and sentiment control -- and find that PREADD outperforms not only prompting baselines, but also an auxiliary-expert control method, by 12% or more in relative gain on our main metrics for each task.
Abstract（参考訳）: テキスト生成のためのフレキシブルな方法であるPREADD(Prefix-Adaptive Decoding)を提案する。属性の制御に補助的な専門家モデルを使用する既存の方法とは異なり、PreADDは外部モデルを必要としない。具体的には、preaddは、プレフィックスプリプンを使用して生成されたものとrawプロンプトを使用して生成された出力ロジットを対比し、プレフィックスによってカプセル化された属性に関して、ポジティブとネガティブの両方の制御を可能にする。有害なアウトプット緩和,ジェンダーバイアス低減,感情制御の3つのタスクにおいてpreADDを評価した結果,PreADDはベースラインを刺激するだけでなく,各タスクの主指標に対して12%以上の相対的な利得で補助的専門的制御方法も優れていることがわかった。

関連論文リスト

Air-Decoding: Attribute Distribution Reconstruction for Decoding-Time Controllable Text Generation [58.911255139171075]
制御可能なテキスト生成(CTG)は、望ましい属性を持つテキストを生成することを目的としている。本研究では,Air-Decoding という新しい軽量デコーディングフレームワークを提案する。提案手法は,新しい最先端制御性能を実現する。
論文参考訳（メタデータ） (2023-10-23T12:59:11Z)
Optimizing Factual Accuracy in Text Generation through Dynamic Knowledge Selection [71.20871905457174]
言語モデル(LM)は、私たちが情報と対話する方法に革命をもたらしたが、しばしば非現実的なテキストを生成する。従来の手法では、外部知識をテキスト生成の参照として使用して事実性を高めるが、無関係な参照の知識の混在に苦慮することが多い。本稿では,テキスト生成プロセスを反復処理に分割するDKGenを提案する。
論文参考訳（メタデータ） (2023-08-30T02:22:40Z)
AdjointDPM: Adjoint Sensitivity Method for Gradient Backpropagation of Diffusion Probabilistic Models [103.41269503488546]
既存のカスタマイズ方法は、事前訓練された拡散確率モデルをユーザが提供する概念に合わせるために、複数の参照例にアクセスする必要がある。本論文は、DPMカスタマイズの課題として、生成コンテンツ上で定義された差別化可能な指標が唯一利用可能な監督基準である場合に解決することを目的とする。本稿では,拡散モデルから新しいサンプルを初めて生成するAdjointDPMを提案する。次に、随伴感度法を用いて、損失の勾配をモデルのパラメータにバックプロパゲートする。
論文参考訳（メタデータ） (2023-07-20T09:06:21Z)
Controllable Data Augmentation for Few-Shot Text Mining with Chain-of-Thought Attribute Manipulation [35.33340453046864]
Chain-of-Thought Attribute Manipulation (CoTAM)は、既存の例から新しいデータを生成する新しいアプローチである。我々は,(1)属性分解,(2)操作提案,(3)文の再構築という3つのステップで,テキストを直接編集するよう促すチェーン・オブ・シントを利用する。
論文参考訳（メタデータ） (2023-07-14T00:10:03Z)
Focused Prefix Tuning for Controllable Text Generation [19.88484696133778]
この問題を緩和し、制御者が所望の属性にフォーカスできるようにするために、FPT( Focus prefix tuning)を提案する。実験結果から,FPTは単一属性制御タスクにおけるベースラインモデルよりも制御精度とテキスト流速を向上できることが示された。
論文参考訳（メタデータ） (2023-06-01T06:00:43Z)
MACSum: Controllable Summarization with Mixed Attributes [56.685735509260276]
MACSumは、混合属性を制御するための最初の人間アノテーションによる要約データセットである。混合制御可能な要約の新しいタスクに対する2つの単純かつ効果的なパラメータ効率のアプローチを提案する。
論文参考訳（メタデータ） (2022-11-09T17:17:37Z)
FAST: Improving Controllability for Text Generation with Feedback Aware Self-Training [25.75982440355576]
制御可能なテキスト生成システムは、しばしば制御コードを利用して、スタイルや長さといった出力の様々な特性を指示する。 NLPの因果推論に関する最近の研究に触発された本論文は、これらの制御符号に基づく条件付きテキスト生成アルゴリズムにおいて、これまで見過ごされていた欠陥を明らかにする。トレーニングセットにおけるこれらの相関を減少させるための2つの簡単な手法を提案する。
論文参考訳（メタデータ） (2022-10-06T19:00:51Z)
Few-Shot Table-to-Text Generation with Prefix-Controlled Generator [11.891732582638227]
本稿では,PCG(Prefix-Controlled Generator)というプロンプトベースの手法を提案する。 PLMのタスク固有のプレフィックスをプリペイドし、テーブル構造を事前訓練された入力に適合させる。さらに、入力固有の接頭辞を生成し、生成したテキストの事実内容と語順を制御する。
論文参考訳（メタデータ） (2022-08-23T03:23:26Z)
Classifiers are Better Experts for Controllable Text Generation [63.17266060165098]
提案手法は, PPLにおける最近のPPLM, GeDi, DExpertsよりも有意に優れており, 生成したテキストの外部分類器に基づく感情の精度が高いことを示す。同時に、実装やチューニングも簡単で、制限や要件も大幅に少なくなります。
論文参考訳（メタデータ） (2022-05-15T12:58:35Z)
Controllable and Diverse Text Generation in E-commerce [32.23811244808172]
Eコマースにおいて重要な課題は、単語の多様性と正確さ(関連性)の間に良いトレードオフを見つけ、生成されたテキストをより自然で人間らしく見せることである。生成したテキストの多様性/精度のトレードオフを正確に操作する,制御可能な細粒度生成モデルtextitApex を提案する。 apexは現在、中国で最大のeコマースプラットフォームであるtaobaoで製品説明とアイテム推奨理由を生成するためにデプロイされている。
論文参考訳（メタデータ） (2021-02-23T05:16:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。