論文の概要: DTPA: Dynamic Token-level Prefix Augmentation for Controllable Text Generation
- arxiv url: http://arxiv.org/abs/2508.04047v1
- Date: Wed, 06 Aug 2025 03:20:33 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-08-07 20:09:22.524667
- Title: DTPA: Dynamic Token-level Prefix Augmentation for Controllable Text Generation
- Title（参考訳）: DTPA:制御可能なテキスト生成のための動的トークンレベルの事前修正
- Authors: Jiabing Yang, Yixiang Chen, Zichen Wen, Chenhang Cui, Peiyan Li, Yuan Xu, Bowen Fang, Yan Huang, Liang Wang,
- Abstract要約: エアデコードによって生成されたテキストの制御性は、シーケンス長の増加とともに低下する傾向にある。
ソフトプレフィックスやハードプレフィックスを含む様々な種類のプレフィックスも、パフォーマンスに影響を与える重要な要因である。
制御可能なテキスト生成のためのAir-Decodingに基づく動的トークンレベルの事前修正(DTPA)を提案する。
- 参考スコア（独自算出の注目度）: 10.166289358891238
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Controllable Text Generation (CTG) is a vital subfield in Natural Language Processing (NLP), aiming to generate text that aligns with desired attributes. However, previous studies commonly focus on the quality of controllable text generation for short sequences, while the generation of long-form text remains largely underexplored. In this paper, we observe that the controllability of texts generated by the powerful prefix-based method Air-Decoding tends to decline with increasing sequence length, which we hypothesize primarily arises from the observed decay in attention to the prefixes. Meanwhile, different types of prefixes including soft and hard prefixes are also key factors influencing performance. Building on these insights, we propose a lightweight and effective framework called Dynamic Token-level Prefix Augmentation (DTPA) based on Air-Decoding for controllable text generation. Specifically, it first selects the optimal prefix type for a given task. Then we dynamically amplify the attention to the prefix for the attribute distribution to enhance controllability, with a scaling factor growing exponentially as the sequence length increases. Moreover, based on the task, we optionally apply a similar augmentation to the original prompt for the raw distribution to balance text quality. After attribute distribution reconstruction, the generated text satisfies the attribute constraints well. Experiments on multiple CTG tasks demonstrate that DTPA generally outperforms other methods in attribute control while maintaining competitive fluency, diversity, and topic relevance. Further analysis highlights DTPA's superior effectiveness in long text generation.
- Abstract（参考訳）: 制御可能なテキスト生成(CTG)は自然言語処理(NLP)において重要なサブフィールドであり、所望の属性と整合したテキストを生成することを目的としている。
しかし、従来の研究では、短いシーケンスの制御可能なテキスト生成の品質に重点を置いているのに対し、長文生成は未探索のままである。
本稿では, 列長の増大に伴い, 強力なプレフィックスベース手法であるAir-Decodingが生成するテキストの可制御性が低下する傾向にあり, 主に, プレフィックスに注意を払って観察された減衰から生じると仮定する。
一方、ソフトプレフィックスやハードプレフィックスを含む様々な種類のプレフィックスも、パフォーマンスに影響を与える重要な要因である。
これらの知見に基づいて,制御可能なテキスト生成のためのAir-Decodingに基づく動的トークンレベルの修正拡張(DTPA)という,軽量で効果的なフレームワークを提案する。
具体的には、最初に与えられたタスクに対して最適なプレフィックスタイプを選択する。
次に,属性分布の接頭辞への注意を動的に増幅して制御性を高め,シーケンス長の増加とともに指数関数的にスケーリング係数が増大する。
さらに,タスクに基づいて,テキスト品質のバランスをとるために,元のプロンプトに同様の拡張を任意に適用する。
属性分布再構成後、生成されたテキストは属性制約を十分に満足する。
複数のCTGタスクの実験では、DTPAは一般に他の属性制御方法よりも優れており、競合流速、多様性、トピック関連性は維持されている。
さらに分析は、DTPAの長文生成における優れた有効性を強調している。
関連論文リスト
- Attribute First, then Generate: Locally-attributable Grounded Text Generation [33.371400233333326]
本稿では,簡潔な属性を優先する局所帰属型テキスト生成手法を提案する。
Attribute First, then Generate"と名付けられたこの手法は,従来のエンドツーエンド生成プロセスを3つの直感的なステップに分解する。
論文 参考訳（メタデータ） (2024-03-25T18:41:47Z) - Harnessing the Plug-and-Play Controller by Prompting [12.705251690623495]
本稿では,事前学習言語モデル(PLM)を用いたテキスト生成におけるフレキシブル属性制御手法を提案する。
提案手法は、生成過程をPPCで導くことにより、生成したテキストの流布率を高めることを目的としている。
論文 参考訳（メタデータ） (2024-02-06T17:18:25Z) - Successor Features for Efficient Multisubject Controlled Text Generation [48.37713738712319]
本稿では,後継機能 (SF) と言語モデル修正の2つの基本概念を基礎とするSF-GENを紹介する。
SF-GENはこの2つをシームレスに統合し、LCMのパラメータを変更することなくテキスト生成の動的ステアリングを可能にする。
我々の知る限り、本研究はテキスト生成における後継機能の最初の応用である。
論文 参考訳（メタデータ） (2023-11-03T00:17:08Z) - Air-Decoding: Attribute Distribution Reconstruction for Decoding-Time
Controllable Text Generation [58.911255139171075]
制御可能なテキスト生成(CTG)は、望ましい属性を持つテキストを生成することを目的としている。
本研究では,Air-Decoding という新しい軽量デコーディングフレームワークを提案する。
提案手法は,新しい最先端制御性能を実現する。
論文 参考訳（メタデータ） (2023-10-23T12:59:11Z) - Optimizing Factual Accuracy in Text Generation through Dynamic Knowledge
Selection [71.20871905457174]
言語モデル(LM)は、私たちが情報と対話する方法に革命をもたらしたが、しばしば非現実的なテキストを生成する。
従来の手法では、外部知識をテキスト生成の参照として使用して事実性を高めるが、無関係な参照の知識の混在に苦慮することが多い。
本稿では,テキスト生成プロセスを反復処理に分割するDKGenを提案する。
論文 参考訳（メタデータ） (2023-08-30T02:22:40Z) - TPS++: Attention-Enhanced Thin-Plate Spline for Scene Text Recognition [78.67283660198403]
テキストの不規則性は、シーンテキスト認識者に重大な課題をもたらす。
TPS++は、テキストの修正にアテンションメカニズムを組み込んだ、アテンション強化TPS変換である。
常に認識を改善し、最先端の精度を達成する。
論文 参考訳（メタデータ） (2023-05-09T10:16:43Z) - Sequentially Controlled Text Generation [97.22539956688443]
GPT-2は、驚くほど人間らしく、長い文書が混ざり合ったり、人間のような文章構造に従わなかったりする文を生成する。
本研究では,長距離テキストにおける命令構造の問題について検討する。
生成と編集が可能な逐次制御型テキスト生成パイプラインを開発した。
論文 参考訳（メタデータ） (2023-01-05T21:23:51Z) - FAST: Improving Controllability for Text Generation with Feedback Aware
Self-Training [25.75982440355576]
制御可能なテキスト生成システムは、しばしば制御コードを利用して、スタイルや長さといった出力の様々な特性を指示する。
NLPの因果推論に関する最近の研究に触発された本論文は、これらの制御符号に基づく条件付きテキスト生成アルゴリズムにおいて、これまで見過ごされていた欠陥を明らかにする。
トレーニングセットにおけるこれらの相関を減少させるための2つの簡単な手法を提案する。
論文 参考訳（メタデータ） (2022-10-06T19:00:51Z) - Composable Text Controls in Latent Space with ODEs [97.12426987887021]
本稿では,コンパクトテキスト空間における構成可能なテキスト操作のための,新しい効率的なアプローチを提案する。
事前学習したLMを効率よく適応することで、サンプルベクトルを所望のテキストシーケンスにデコードする。
実験により、我々のアプローチ内でこれらの演算子を構成すると、高品質なテキストの生成や編集が可能であることが示された。
論文 参考訳（メタデータ） (2022-08-01T06:51:45Z) - Discourse-Aware Prompt Design for Text Generation [13.835916386769474]
そこで本研究では, 簡易かつ効率的な手法により, プロンプトベースの条件付きテキスト生成を改善することができることを示す。
まず、人文テキストの高レベルな談話構造を、プレフィックスパラメータのテクスチャ階層的ブロッキングでモデル化できることを示す。
第2に,ネットワークの各レイヤにおけるプレフィックスパラメータのテキスト分割間隔を導入し,ソフトマックス関数のスパース変換を学習することで,スパースプレフィックスチューニングを提案する。
論文 参考訳（メタデータ） (2021-12-10T18:15:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。