論文の概要: Controlled Text Generation for Black-box Language Models via Score-based Progressive Editor

• arxiv url: http://arxiv.org/abs/2311.07430v2
• Date: Sat, 8 Jun 2024 04:35:07 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-12 04:38:15.336996
• Title: Controlled Text Generation for Black-box Language Models via Score-based Progressive Editor
• Title（参考訳）: スコアベースプログレッシブエディタによるブラックボックス言語モデルのテキスト生成
• Authors: Sangwon Yu, Changmin Lee, Hojin Lee, Sungroh Yoon,
• Abstract要約: 制御されたテキスト生成は、言語モデルの実用化に非常に重要である。 既存の手法はブラックボックスモデルには適用できないか、生成されたテキストの制御と流用率の維持との間に大きなトレードオフがある。 本稿では,これらの問題を克服するための新しいアプローチであるScore-based Progressive Editor(ScoPE)を紹介する。
• 参考スコア（独自算出の注目度）: 32.913066883646074
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Controlled text generation is very important for the practical use of language models because it ensures that the produced text includes only the desired attributes from a specific domain or dataset. Existing methods, however, are inapplicable to black-box models or suffer a significant trade-off between controlling the generated text and maintaining its fluency. This paper introduces the Score-based Progressive Editor (ScoPE), a novel approach designed to overcome these issues. ScoPE modifies the context at the token level during the generation process of a backbone language model. This modification guides the subsequent text to naturally include the target attributes. To facilitate this process, ScoPE employs a training objective that maximizes a target score, thoroughly considering both the ability to guide the text and its fluency. Experimental results on diverse controlled generation tasks demonstrate that ScoPE can effectively regulate the attributes of the generated text while fully utilizing the capability of the backbone large language models. Our codes are available at \url{https://github.com/ysw1021/ScoPE}.
• Abstract（参考訳）: 制御されたテキスト生成は、特定のドメインやデータセットから所望の属性のみを含むことを保証するため、言語モデルの実用的な利用にとって非常に重要である。 しかし、既存の手法はブラックボックスモデルには適用できないか、生成されたテキストの制御と流用率の維持との間に大きなトレードオフがある。 本稿では,これらの問題を克服するための新しいアプローチであるScore-based Progressive Editor(ScoPE)を紹介する。 ScoPEは、バックボーン言語モデルの生成プロセス中にトークンレベルでコンテキストを変更する。 この修正は、後続のテキストが対象属性を自然に含めるようにガイドする。 このプロセスを容易にするために、ScoPEは目標スコアを最大化するトレーニング目標を採用し、テキストのガイド機能と流布率の両方を徹底的に考慮する。 多様な制御された生成タスクの実験結果から、ScoPEは、バックボーン大言語モデルの能力を十分に活用しながら、生成したテキストの属性を効果的に制御できることが示されている。 我々のコードは \url{https://github.com/ysw1021/ScoPE} で入手できる。

関連論文リスト

• Plug and Play with Prompts: A Prompt Tuning Approach for Controlling Text Generation [16.49758711633611]
  大規模言語モデル(LLM)は、テキストベースのプロンプトに応答して、例外的な言語生成能力を示す。 本研究では,制御言語生成におけるPrompt Tuningの利用について検討する。 本稿では, 言語モデルによる有害, 有害, 偏見のあるテキストを緩和する手法の有効性を実証する。
  論文  参考訳（メタデータ） (2024-04-08T01:54:28Z)
• Harnessing the Plug-and-Play Controller by Prompting [12.705251690623495]
  本稿では,事前学習言語モデル(PLM)を用いたテキスト生成におけるフレキシブル属性制御手法を提案する。 提案手法は、生成過程をPPCで導くことにより、生成したテキストの流布率を高めることを目的としている。
  論文  参考訳（メタデータ） (2024-02-06T17:18:25Z)
• Successor Features for Efficient Multisubject Controlled Text Generation [48.37713738712319]
  本稿では,後継機能 (SF) と言語モデル修正の2つの基本概念を基礎とするSF-GENを紹介する。 SF-GENはこの2つをシームレスに統合し、LCMのパラメータを変更することなくテキスト生成の動的ステアリングを可能にする。 我々の知る限り、本研究はテキスト生成における後継機能の最初の応用である。
  論文  参考訳（メタデータ） (2023-11-03T00:17:08Z)
• Copy Is All You Need [66.00852205068327]
  既存のテキストコレクションからテキストセグメントを段階的にコピーするテキスト生成を定式化する。 提案手法は, 自動評価と人的評価の両方により, より優れた生成品質を実現する。 当社のアプローチでは,より大規模なテキストコレクションにスケールアップすることで,さらなるパフォーマンス向上を実現しています。
  論文  参考訳（メタデータ） (2023-07-13T05:03:26Z)
• TextFormer: A Query-based End-to-End Text Spotter with Mixed Supervision [61.186488081379]
  Transformerアーキテクチャを用いた問合せベースのエンドツーエンドテキストスポッターであるTextFormerを提案する。 TextFormerは、画像エンコーダとテキストデコーダの上に構築され、マルチタスクモデリングのための共同セマンティック理解を学ぶ。 分類、セグメンテーション、認識のブランチの相互訓練と最適化を可能にし、より深い特徴共有をもたらす。
  論文  参考訳（メタデータ） (2023-06-06T03:37:41Z)
• Attribute Alignment: Controlling Text Generation from Pre-trained Language Models [46.19190007510232]
  本論文では, テキスト生成を簡便かつ柔軟に制御する手法を提案する。 属性のトークンレベル分布を乱すように識別器を訓練する最近の取り組みとは対照的に、同じデータを用いてアライメント関数を学習し、トレーニング済みの非制御言語モデルを誘導し、元の言語モデルパラメータを変更することなく、ターゲット属性を持つテキストを生成する。
  論文  参考訳（メタデータ） (2021-03-20T01:51:32Z)
• Few-Shot Text Generation with Pattern-Exploiting Training [12.919486518128734]
  本稿では,テキスト生成タスクにも基礎となるアイデアが適用可能であることを示す。 最近提案された少数のショットアプローチであるPattern-Exploiting Training(PET)を、テキスト生成タスクで生成言語モデルを微調整するために適用します。
  論文  参考訳（メタデータ） (2020-12-22T10:53:07Z)
• Text Editing by Command [82.50904226312451]
  ニューラルテキスト生成における一般的なパラダイムは、単一のステップでテキストを生成するワンショット生成である。 この制限をユーザが既存のテキストを編集するコマンドを発行することでシステムと対話するインタラクティブテキスト生成設定で解決する。 このデータセットに基づいてトレーニングされたトランスフォーマーベースモデルであるInteractive Editorは,ベースラインを上回り,自動評価と人的評価の両方において肯定的な結果が得られることを示す。
  論文  参考訳（メタデータ） (2020-10-24T08:00:30Z)
• POINTER: Constrained Progressive Text Generation via Insertion-based Generative Pre-training [93.79766670391618]
  ハードコントラストテキスト生成のための新しい挿入ベースアプローチであるPOINTERを提案する。 提案手法は,既存のトークン間で段階的に新しいトークンを並列に挿入することによって動作する。 結果として生じる粗大な階層構造は、生成プロセスを直感的で解釈可能である。
  論文  参考訳（メタデータ） (2020-05-01T18:11:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。