論文の概要: Controllable Text Generation with Residual Memory Transformer
- arxiv url: http://arxiv.org/abs/2309.16231v1
- Date: Thu, 28 Sep 2023 08:13:33 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-29 15:40:15.071152
- Title: Controllable Text Generation with Residual Memory Transformer
- Title（参考訳）: 残差記憶変換器を用いた可制御テキスト生成
- Authors: Hanqing Zhang, Sun Si, Haiming Wu, Dawei Song
- Abstract要約: 任意の時間ステップでCLMを生成するための,非侵襲的で軽量な制御プラグインを提案する。
提案されているプラグイン、すなわちResidual Memory Transformer (RMT)は、任意の種類の制御条件を受け入れることができるエンコーダとデコーダのセットアップを備えている。
各種制御タスクにおいて, 自動評価と人的評価の両面で, 広範囲な実験が実施されている。
- 参考スコア（独自算出の注目度）: 4.9329649616940205
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large-scale Causal Language Models (CLMs), e.g., GPT3 and ChatGPT, have
brought great success in text generation. However, it is still an open
challenge to control the generation process of CLM while balancing flexibility,
control granularity, and generation efficiency. In this paper, we provide a new
alternative for controllable text generation (CTG), by designing a
non-intrusive, lightweight control plugin to accompany the generation of CLM at
arbitrary time steps. The proposed control plugin, namely Residual Memory
Transformer (RMT), has an encoder-decoder setup, which can accept any types of
control conditions and cooperate with CLM through a residual learning paradigm,
to achieve a more flexible, general, and efficient CTG. Extensive experiments
are carried out on various control tasks, in the form of both automatic and
human evaluations. The results show the superiority of RMT over a range of
state-of-the-art approaches, proving the effectiveness and versatility of our
approach.
- Abstract（参考訳）: GPT3やChatGPTといった大規模因果言語モデル(CLM)は、テキスト生成において大きな成功を収めている。
しかし、柔軟性、制御粒度、生成効率のバランスを保ちながら、CLMの生成プロセスを制御することは、依然としてオープンな課題である。
本稿では,制御可能なテキスト生成(CTG)の代替として,任意の時間ステップでCLMの生成に付随する非侵襲的で軽量な制御プラグインを設計する。
提案する制御プラグイン,すなわちResidual Memory Transformer (RMT) は,任意の種類の制御条件を受け入れ,残学習パラダイムを通じてCLMと連携して,より柔軟で汎用的で効率的なCTGを実現するエンコーダデコーダを備えている。
各種制御タスクにおいて, 自動評価と人的評価の両面で, 広範囲な実験を行う。
その結果、RTTは最先端のアプローチよりも優れており、我々のアプローチの有効性と汎用性を証明している。
関連論文リスト
- Adaptable Logical Control for Large Language Models [68.27725600175013]
Ctrl-Gは、推論時にモデル生成のトラクタブルでフレキシブルな制御を容易にする適応可能なフレームワークである。
TULU2-7Bモデルに適用したCtrl-Gは、インタラクティブテキスト編集のタスクにおいて、GPT3.5とGPT4より優れていることを示す。
論文 参考訳（メタデータ） (2024-06-19T23:47:59Z) - FlexEControl: Flexible and Efficient Multimodal Control for Text-to-Image Generation [99.4649330193233]
制御可能なテキスト画像拡散モデル(T2I)は、テキストプロンプトとエッジマップのような他のモダリティのセマンティック入力の両方に条件付き画像を生成する。
制御可能なT2I生成のためのフレキシブルで効率的なFlexEControlを提案する。
論文 参考訳（メタデータ） (2024-05-08T06:09:11Z) - Reinforcement Learning with Token-level Feedback for Controllable Text Generation [16.117006822479407]
token-Level rewards for controllable text generationを定式化するTOLEという新しい強化学習アルゴリズムを提案する。
実験結果から,本アルゴリズムは単一属性と複数属性の制御タスクにおいて,優れた性能が得られることが示された。
論文 参考訳（メタデータ） (2024-03-18T08:18:37Z) - LLM can Achieve Self-Regulation via Hyperparameter Aware Generation [88.69052513433603]
大規模言語モデル (LLM) は、生成されたテキストを制御するために様々な復号法を用いる。
LLMはこれらのデコード戦略の存在を意識し、自己統制できるのか?
ハイパーパラメータ・アウェア・ジェネレーション(HAG)と呼ばれる新しいテキスト生成パラダイムを提案する。
論文 参考訳（メタデータ） (2024-02-17T11:18:22Z) - LiFi: Lightweight Controlled Text Generation with Fine-Grained Control
Codes [46.74968005604948]
本稿では、制御されたテキスト生成のためのきめ細かい制御を備えた軽量なアプローチであるLIFIを提案する。
我々は、感情制御とトピック制御という従来の2つのタスクと、新たに提案された1つのタスクでLIFIを評価する。
論文 参考訳（メタデータ） (2024-02-10T11:53:48Z) - Fine-grained Controllable Video Generation via Object Appearance and
Context [74.23066823064575]
細粒度制御可能なビデオ生成法(FACTOR)を提案する。
FACTORは、オブジェクトの位置とカテゴリを含む、オブジェクトの外観とコンテキストを制御することを目的としている。
本手法は,オブジェクトの外観を微調整せずに制御し,オブジェクトごとの最適化作業を省く。
論文 参考訳（メタデータ） (2023-12-05T17:47:33Z) - Successor Features for Efficient Multisubject Controlled Text Generation [48.37713738712319]
本稿では,後継機能 (SF) と言語モデル修正の2つの基本概念を基礎とするSF-GENを紹介する。
SF-GENはこの2つをシームレスに統合し、LCMのパラメータを変更することなくテキスト生成の動的ステアリングを可能にする。
我々の知る限り、本研究はテキスト生成における後継機能の最初の応用である。
論文 参考訳（メタデータ） (2023-11-03T00:17:08Z) - Controllable Text Generation via Probability Density Estimation in the
Latent Space [16.962510129437558]
本稿では,潜在空間における確率密度推定を用いた新しい制御フレームワークを提案する。
本手法では,非可逆変換関数である正規化フローを用いて,潜在空間の複素分布を先行空間の単純ガウス分布にマッピングする。
単一属性制御と多属性制御の実験により,本手法は属性関連性やテキスト品質の強いベースラインよりも優れていることがわかった。
論文 参考訳（メタデータ） (2022-12-16T07:11:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。