論文の概要: Air-Decoding: Attribute Distribution Reconstruction for Decoding-Time Controllable Text Generation

• arxiv url: http://arxiv.org/abs/2310.14892v3
• Date: Thu, 2 Nov 2023 03:14:47 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-03 16:16:42.308256
• Title: Air-Decoding: Attribute Distribution Reconstruction for Decoding-Time Controllable Text Generation
• Title（参考訳）: エアデコード:デコード時間制御可能なテキスト生成のための属性分布再構成
• Authors: Tianqi Zhong, Quan Wang, Jingxuan Han, Yongdong Zhang, Zhendong Mao
• Abstract要約: 制御可能なテキスト生成(CTG)は、望ましい属性を持つテキストを生成することを目的としている。 本研究では,Air-Decoding という新しい軽量デコーディングフレームワークを提案する。 提案手法は,新しい最先端制御性能を実現する。
• 参考スコア（独自算出の注目度）: 58.911255139171075
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Controllable text generation (CTG) aims to generate text with desired attributes, and decoding-time-based methods have shown promising performance on this task. However, in this paper, we identify the phenomenon of Attribute Collapse for the first time. It causes the fluency of generated text to rapidly decrease when the control strength exceeds a critical value, rendering the text completely unusable. This limitation hinders the effectiveness of decoding methods in achieving high levels of controllability. To address this problem, we propose a novel lightweight decoding framework named Air-Decoding. Its main idea is reconstructing the attribute distributions to balance the weights between attribute words and non-attribute words to generate more fluent text. Specifically, we train prefixes by prefix-tuning to obtain attribute distributions. Then we design a novel attribute distribution reconstruction method to balance the obtained distributions and use the reconstructed distributions to guide language models for generation, effectively avoiding the issue of Attribute Collapse. Experiments on multiple CTG tasks prove that our method achieves a new state-of-the-art control performance.
• Abstract（参考訳）: 制御可能なテキスト生成(CTG)は、所望の属性を持つテキストを生成することを目的としており、復号時間に基づく手法はこのタスクに有望な性能を示す。 しかし,本稿では属性崩壊の現象を初めて明らかにする。 これにより、制御強度が臨界値を超えると、生成されたテキストの流動性が急速に低下し、テキストが完全に使用不能になる。 この制限は、高いレベルの制御性を達成するための復号法の有効性を妨げる。 そこで本研究では,Air-Decodingという軽量デコーディングフレームワークを提案する。 その主な考え方は属性分布を再構築し、属性語と非属性語の重み付けをバランスさせ、より流動的なテキストを生成することである。 具体的にはプレフィックスチューニングによってプレフィックスをトレーニングして属性分布を得る。 そして,得られた分布のバランスをとる新しい属性分布再構成法を設計,再構成した分布を用いて言語モデルの生成を誘導し,属性崩壊の問題を効果的に回避する。 複数のctgタスクにおける実験により,新たな最先端制御性能が得られた。

関連論文リスト

• Continuous, Subject-Specific Attribute Control in T2I Models by Identifying Semantic Directions [21.371773126590874]
  一般に使われているトークンレベルのCLIPテキスト埋め込みには,テキスト・ツー・イメージ・モデルにおける高レベル属性の微粒な主観的制御を可能にする方向が存在することを示す。 コントラッシブテキストプロンプトから特定の属性に対するこれらの方向を識別する,効率的な最適化自由度とロバストな最適化ベース手法を1つ導入する。
  論文  参考訳（メタデータ） (2024-03-25T18:00:42Z)
• Text Attribute Control via Closed-Loop Disentanglement [72.2786244367634]
  本稿では,コンテンツ保存性を高めつつ,属性のロバストな制御を実現するための新しい手法を提案する。 本稿では,半教師付きコントラスト学習法を用いて,潜在空間における属性のアンタングル化を促進する。 Yelp Serviceレビューデータセット、Amazon Product Reviewデータセット、GoEmotionsデータセットを含む3つのテキストデータセットの実験を行った。
  論文  参考訳（メタデータ） (2023-12-01T01:26:38Z)
• Successor Features for Efficient Multisubject Controlled Text Generation [48.37713738712319]
  本稿では,後継機能 (SF) と言語モデル修正の2つの基本概念を基礎とするSF-GENを紹介する。 SF-GENはこの2つをシームレスに統合し、LCMのパラメータを変更することなくテキスト生成の動的ステアリングを可能にする。 我々の知る限り、本研究はテキスト生成における後継機能の最初の応用である。
  論文  参考訳（メタデータ） (2023-11-03T00:17:08Z)
• Look-back Decoding for Open-Ended Text Generation [62.53302138266465]
  本研究では,現在の復号化過程と過去の復号化過程の分布距離を追跡する改良された復号化アルゴリズムであるLook-backを提案する。 ルックバックは、潜在的反復句とトピックドリフトを自動的に予測し、障害モードを引き起こす可能性のあるトークンを削除することができる。 文書の継続とストーリー生成に関する復号実験を行い、Look-backがより流動的で一貫性のあるテキストを生成することを実証する。
  論文  参考訳（メタデータ） (2023-05-22T20:42:37Z)
• DisCup: Discriminator Cooperative Unlikelihood Prompt-tuning for Controllable Text Generation [6.844825905212349]
  本稿では,識別器の属性知識を取り入れた新しいCTG手法であるDisCupを提案する。 DisCupは、約10の仮想トークンに頼るだけで、効率的で高品質なテキスト生成を維持しながら、新しい最先端の制御性能を実現することができる。
  論文  参考訳（メタデータ） (2022-10-18T02:59:06Z)
• FAST: Improving Controllability for Text Generation with Feedback Aware Self-Training [25.75982440355576]
  制御可能なテキスト生成システムは、しばしば制御コードを利用して、スタイルや長さといった出力の様々な特性を指示する。 NLPの因果推論に関する最近の研究に触発された本論文は、これらの制御符号に基づく条件付きテキスト生成アルゴリズムにおいて、これまで見過ごされていた欠陥を明らかにする。 トレーニングセットにおけるこれらの相関を減少させるための2つの簡単な手法を提案する。
  論文  参考訳（メタデータ） (2022-10-06T19:00:51Z)
• Classifiers are Better Experts for Controllable Text Generation [63.17266060165098]
  提案手法は, PPLにおける最近のPPLM, GeDi, DExpertsよりも有意に優れており, 生成したテキストの外部分類器に基づく感情の精度が高いことを示す。 同時に、実装やチューニングも簡単で、制限や要件も大幅に少なくなります。
  論文  参考訳（メタデータ） (2022-05-15T12:58:35Z)
• Text Revision by On-the-Fly Representation Optimization [76.11035270753757]
  現在の最先端手法は、これらのタスクをシーケンスからシーケンスまでの学習問題として定式化している。 並列データを必要としないテキストリビジョンのための反復的なインプレース編集手法を提案する。 テキストの単純化に関する最先端の教師付き手法よりも、競争力があり、パフォーマンスも向上する。
  論文  参考訳（メタデータ） (2022-04-15T07:38:08Z)
• Attribute Alignment: Controlling Text Generation from Pre-trained Language Models [46.19190007510232]
  本論文では, テキスト生成を簡便かつ柔軟に制御する手法を提案する。 属性のトークンレベル分布を乱すように識別器を訓練する最近の取り組みとは対照的に、同じデータを用いてアライメント関数を学習し、トレーニング済みの非制御言語モデルを誘導し、元の言語モデルパラメータを変更することなく、ターゲット属性を持つテキストを生成する。
  論文  参考訳（メタデータ） (2021-03-20T01:51:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。