論文の概要: LiFi: Lightweight Controlled Text Generation with Fine-Grained Control Codes

• arxiv url: http://arxiv.org/abs/2402.06930v1
• Date: Sat, 10 Feb 2024 11:53:48 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-13 18:29:43.579819
• Title: LiFi: Lightweight Controlled Text Generation with Fine-Grained Control Codes
• Title（参考訳）: lifi: きめ細かな制御コードによる軽量なテキスト生成
• Authors: Chufan Shi, Deng Cai, Yujiu Yang
• Abstract要約: 本稿では、制御されたテキスト生成のためのきめ細かい制御を備えた軽量なアプローチであるLIFIを提案する。 我々は、感情制御とトピック制御という従来の2つのタスクと、新たに提案された1つのタスクでLIFIを評価する。
• 参考スコア（独自算出の注目度）: 46.74968005604948
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In the rapidly evolving field of text generation, the demand for more precise control mechanisms has become increasingly apparent. To address this need, we present a novel methodology, LIFI, which offers a lightweight approach with fine-grained control for controlled text generation. Unlike previous studies that train pre-trained language models to follow discrete, categorical, and exclusive control codes, LIFI learns controlled text generation under the guidance of continuous, relative, and nonexclusive control codes. These fine-grained codes are automatically derived from an attribute classifier, initially trained with a small amount of labeled data and subsequently employed to label abundant unlabeled data, thus garnering more extensive supervision signals. Moreover, to achieve efficient control, we incorporate the fine-grained control codes with adapters, a parameter- and compute-efficient way to steer a pre-trained language model. We evaluate LIFI on two conventional tasks -- sentiment control and topic control -- and one newly proposed task -- stylistic novel writing. Comprehensive experimental results validate the effectiveness of our proposed methods, demonstrating substantial performance improvements over existing baselines.
• Abstract（参考訳）: テキスト生成の急速に発展する分野では、より正確な制御機構の需要がますます高まっている。 そこで本研究では,制御テキスト生成のための微粒化制御による軽量な手法であるLIFIを提案する。 事前訓練された言語モデルを個別、分類的、排他的な制御コードに従うように訓練する以前の研究とは異なり、LIFIは連続的、相対的、非排他的な制御コードの指導の下で制御されたテキスト生成を学ぶ。 これらのきめ細かいコードは属性分類器から自動的に派生し、最初は少量のラベル付きデータで訓練され、その後、豊富なラベル付きデータをラベル付けするために使われる。 さらに, より効率的な制御を実現するために, パラメータと計算効率を向上し, 事前学習した言語モデルを操る微粒化制御符号をアダプタに組み込む。 我々は、感情制御とトピック制御という従来の2つのタスクと、新たに提案された1つのタスク-スティリスティック・ノベルライティングに基づいてLIFIを評価する。 提案手法の有効性を総合実験により検証し,既存のベースラインに対する性能向上を実証した。

関連論文リスト

• Reinforcement Learning with Token-level Feedback for Controllable Text Generation [16.117006822479407]
  token-Level rewards for controllable text generationを定式化するTOLEという新しい強化学習アルゴリズムを提案する。 実験結果から,本アルゴリズムは単一属性と複数属性の制御タスクにおいて,優れた性能が得られることが示された。
  論文  参考訳（メタデータ） (2024-03-18T08:18:37Z)
• Text2Data: Low-Resource Data Generation with Textual Control [104.38011760992637]
  自然言語は、人間が機械とシームレスに対話するための共通かつ直接的な制御信号として機能する。 ラベルのないデータを用いて教師なし拡散モデルを用いて基礎となるデータ分布を理解する新しいアプローチであるText2Dataを提案する。 制御性を確保し、破滅的な忘れを効果的に防止する、新しい制約最適化ベースの学習目標を通じて制御可能な微調整を行う。
  論文  参考訳（メタデータ） (2024-02-08T03:41:39Z)
• Fine-grained Controllable Video Generation via Object Appearance and Context [74.23066823064575]
  細粒度制御可能なビデオ生成法(FACTOR)を提案する。 FACTORは、オブジェクトの位置とカテゴリを含む、オブジェクトの外観とコンテキストを制御することを目的としている。 本手法は,オブジェクトの外観を微調整せずに制御し,オブジェクトごとの最適化作業を省く。
  論文  参考訳（メタデータ） (2023-12-05T17:47:33Z)
• Successor Features for Efficient Multisubject Controlled Text Generation [48.37713738712319]
  本稿では,後継機能 (SF) と言語モデル修正の2つの基本概念を基礎とするSF-GENを紹介する。 SF-GENはこの2つをシームレスに統合し、LCMのパラメータを変更することなくテキスト生成の動的ステアリングを可能にする。 我々の知る限り、本研究はテキスト生成における後継機能の最初の応用である。
  論文  参考訳（メタデータ） (2023-11-03T00:17:08Z)
• Controllable Text Generation with Residual Memory Transformer [4.9329649616940205]
  任意の時間ステップでCLMを生成するための,非侵襲的で軽量な制御プラグインを提案する。 提案されているプラグイン、すなわちResidual Memory Transformer (RMT)は、任意の種類の制御条件を受け入れることができるエンコーダとデコーダのセットアップを備えている。 各種制御タスクにおいて, 自動評価と人的評価の両面で, 広範囲な実験が実施されている。
  論文  参考訳（メタデータ） (2023-09-28T08:13:33Z)
• FAST: Improving Controllability for Text Generation with Feedback Aware Self-Training [25.75982440355576]
  制御可能なテキスト生成システムは、しばしば制御コードを利用して、スタイルや長さといった出力の様々な特性を指示する。 NLPの因果推論に関する最近の研究に触発された本論文は、これらの制御符号に基づく条件付きテキスト生成アルゴリズムにおいて、これまで見過ごされていた欠陥を明らかにする。 トレーニングセットにおけるこれらの相関を減少させるための2つの簡単な手法を提案する。
  論文  参考訳（メタデータ） (2022-10-06T19:00:51Z)
• Classifiers are Better Experts for Controllable Text Generation [63.17266060165098]
  提案手法は, PPLにおける最近のPPLM, GeDi, DExpertsよりも有意に優れており, 生成したテキストの外部分類器に基づく感情の精度が高いことを示す。 同時に、実装やチューニングも簡単で、制限や要件も大幅に少なくなります。
  論文  参考訳（メタデータ） (2022-05-15T12:58:35Z)
• Control Prefixes for Text Generation [17.682443394199375]
  本稿では,各プロンプトに条件付き入力依存情報を組み込む動的手法である制御プリフィックスを提案する。 我々は、WebNLGを含むいくつかのデータからテキストへのデータセットに対して、最先端の結果を提示する。
  論文  参考訳（メタデータ） (2021-10-15T19:32:17Z)
• SideControl: Controlled Open-domain Dialogue Generation via Additive Side Networks [10.607177634432214]
  そこで我々は,SideControlフレームワークを用いてトランスフォーマーに基づく事前学習言語モデルの生成を制御する手法を提案する。 その結果、SideControlフレームワークは、既存のグラデーションベースや重み付きデコードベースラインよりも、制御性、生成品質、サンプル効率が向上していることがわかった。
  論文  参考訳（メタデータ） (2021-09-05T01:15:26Z)
• Text Generation with Efficient (Soft) Q-Learning [91.47743595382758]
  強化学習(RL)は、任意のタスクメトリクスを報酬としてプラグインすることで、より柔軟なソリューションを提供する。 ソフトQ-ラーニングの観点からテキスト生成のための新しいRL式を導入する。 雑音/負の例から学習し、敵攻撃、即時生成など、幅広いタスクにアプローチを適用する。
  論文  参考訳（メタデータ） (2021-06-14T18:48:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。