論文の概要: Controlled Text Generation for Black-box Language Models via Score-based
Progressive Editor
- arxiv url: http://arxiv.org/abs/2311.07430v1
- Date: Mon, 13 Nov 2023 16:03:23 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-14 13:47:09.044192
- Title: Controlled Text Generation for Black-box Language Models via Score-based
Progressive Editor
- Title(参考訳): スコアベースプログレッシブエディタによるブラックボックス言語モデルのテキスト生成
- Authors: Sangwon Yu, Changmin Lee, Hojin Lee, Sungroh Yoon
- Abstract要約: ScoPE (Score-based Progressive Editor) 生成はブラックボックス言語モデルのための制御されたテキスト生成のための新しいアプローチである。
我々はScoPEを用いて、カスケードアプローチによって言語モデルと統合することで、ターゲット領域でのテキスト生成を容易にする。
- 参考スコア(独自算出の注目度): 35.95516111177984
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Despite recent progress in language models, generating constrained text for
specific domains remains a challenge, particularly when utilizing black-box
models that lack domain-specific knowledge. In this paper, we introduce ScoPE
(Score-based Progressive Editor) generation, a novel approach for controlled
text generation for black-box language models. We employ ScoPE to facilitate
text generation in the target domain by integrating it with language models
through a cascading approach. Trained to enhance the target domain score of the
edited text, ScoPE progressively edits intermediate output discrete tokens to
align with the target attributes throughout the auto-regressive generation
process of the language model. This iterative process guides subsequent steps
to produce desired output texts for the target domain. Our experimental results
on diverse controlled generations demonstrate that ScoPE effectively
facilitates controlled text generation for black-box language models in both
in-domain and out-of-domain conditions, which is challenging for existing
methods.
- Abstract(参考訳): 言語モデルの最近の進歩にもかかわらず、特定のドメインに対して制約付きテキストを生成することは、特にドメイン固有の知識を欠いたブラックボックスモデルを利用する場合、課題である。
本稿では,ブラックボックス言語モデルのための制御テキスト生成手法であるScoPE(Score-based Progressive Editor)の生成について述べる。
我々はScoPEを用いて、カスケードアプローチによって言語モデルと統合することで、ターゲット領域でのテキスト生成を容易にする。
編集されたテキストのターゲットドメインスコアを強化するために訓練されたスコープは、言語モデルの自己回帰生成プロセス全体を通して、ターゲット属性に合わせて中間出力の離散トークンを段階的に編集する。
この反復プロセスは、ターゲットドメインに対して所望の出力テキストを生成するための次のステップを導く。
ScoPEはドメイン内およびドメイン外の両方でブラックボックス言語モデルに対する制御されたテキスト生成を効果的に促進し,既存の手法では困難であることを示す。
関連論文リスト
- Retrieval is Accurate Generation [99.24267226311157]
本稿では,支援文書の集合からコンテキスト認識句を選択する新しい手法を提案する。
本モデルでは,検索対象のベースラインの中で,最高の性能と低レイテンシを実現する。
論文 参考訳(メタデータ) (2024-02-27T14:16:19Z) - Harnessing the Plug-and-Play Controller by Prompting [12.705251690623495]
本稿では,事前学習言語モデル(PLM)を用いたテキスト生成におけるフレキシブル属性制御手法を提案する。
提案手法は、生成過程をPPCで導くことにより、生成したテキストの流布率を高めることを目的としている。
論文 参考訳(メタデータ) (2024-02-06T17:18:25Z) - VLLaVO: Mitigating Visual Gap through LLMs [7.352822795984628]
クロスドメイン学習は、トレーニングとテストデータのドメインシフトを減らすために、ドメイン不変の知識を抽出することを目的としている。
視覚言語モデルと大規模言語モデルを組み合わせたVLLaVOを提案する。
論文 参考訳(メタデータ) (2024-01-06T16:33:39Z) - Attribute Alignment: Controlling Text Generation from Pre-trained
Language Models [46.19190007510232]
本論文では, テキスト生成を簡便かつ柔軟に制御する手法を提案する。
属性のトークンレベル分布を乱すように識別器を訓練する最近の取り組みとは対照的に、同じデータを用いてアライメント関数を学習し、トレーニング済みの非制御言語モデルを誘導し、元の言語モデルパラメータを変更することなく、ターゲット属性を持つテキストを生成する。
論文 参考訳(メタデータ) (2021-03-20T01:51:32Z) - Unsupervised Paraphrasing with Pretrained Language Models [85.03373221588707]
教師なし環境で,事前学習した言語モデルを用いて高品質なパラフレーズを生成する訓練パイプラインを提案する。
提案手法は,タスク適応,自己スーパービジョン,動的ブロッキング(Dynamic Blocking)という新しい復号アルゴリズムから構成される。
提案手法は,Quora Question PairとParaNMTの両方のデータセット上で,最先端の性能を達成できることを示す。
論文 参考訳(メタデータ) (2020-10-24T11:55:28Z) - Progressive Generation of Long Text with Pretrained Language Models [83.62523163717448]
GPT-2のような大量のテキストコーパスで事前訓練された大規模言語モデル(LM)は、強力なオープンドメインテキストジェネレータである。
このようなモデルが、特に小さなコーパス上のターゲットドメインに微調整された場合、コヒーレントな長いテキストパスを生成することは依然として困難である。
本稿では,低解像度から高解像度の画像に触発されて,テキストを段階的に生成する簡易かつ効果的な方法を提案する。
論文 参考訳(メタデータ) (2020-06-28T21:23:05Z) - POINTER: Constrained Progressive Text Generation via Insertion-based
Generative Pre-training [93.79766670391618]
ハードコントラストテキスト生成のための新しい挿入ベースアプローチであるPOINTERを提案する。
提案手法は,既存のトークン間で段階的に新しいトークンを並列に挿入することによって動作する。
結果として生じる粗大な階層構造は、生成プロセスを直感的で解釈可能である。
論文 参考訳(メタデータ) (2020-05-01T18:11:54Z) - PALM: Pre-training an Autoencoding&Autoregressive Language Model for
Context-conditioned Generation [92.7366819044397]
自己指導型事前学習は、自然言語の理解と生成のための強力な技術として登場した。
本研究は,大規模未ラベルコーパス上で自己エンコーディングと自己回帰言語モデルを共同で事前学習する新しいスキームをPALMに提示する。
広範な実験により、PALMは様々な言語生成ベンチマークにおいて、新しい最先端の結果を達成することが示されている。
論文 参考訳(メタデータ) (2020-04-14T06:25:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。