論文の概要: Controllable Text Generation for Large Language Models: A Survey

• arxiv url: http://arxiv.org/abs/2408.12599v1
• Date: Thu, 22 Aug 2024 17:59:04 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-23 12:52:30.672139
• Title: Controllable Text Generation for Large Language Models: A Survey
• Title（参考訳）: 大規模言語モデルのための制御可能なテキスト生成:サーベイ
• Authors: Xun Liang, Hanyu Wang, Yezhaohui Wang, Shichao Song, Jiawei Yang, Simin Niu, Jie Hu, Dan Liu, Shunyu Yao, Feiyu Xiong, Zhiyu Li,
• Abstract要約: 本稿では,大規模言語モデルにおける制御可能なテキスト生成の最近の進歩を体系的にレビューする。 我々はCTGタスクをコンテンツ制御と制御の2つの主要なタイプに分類する。 現在の研究における重要な課題には、流用率の低減や実用性といった課題に対処する。
• 参考スコア（独自算出の注目度）: 27.110528099257156
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In Natural Language Processing (NLP), Large Language Models (LLMs) have demonstrated high text generation quality. However, in real-world applications, LLMs must meet increasingly complex requirements. Beyond avoiding misleading or inappropriate content, LLMs are also expected to cater to specific user needs, such as imitating particular writing styles or generating text with poetic richness. These varied demands have driven the development of Controllable Text Generation (CTG) techniques, which ensure that outputs adhere to predefined control conditions--such as safety, sentiment, thematic consistency, and linguistic style--while maintaining high standards of helpfulness, fluency, and diversity. This paper systematically reviews the latest advancements in CTG for LLMs, offering a comprehensive definition of its core concepts and clarifying the requirements for control conditions and text quality. We categorize CTG tasks into two primary types: content control and attribute control. The key methods are discussed, including model retraining, fine-tuning, reinforcement learning, prompt engineering, latent space manipulation, and decoding-time intervention. We analyze each method's characteristics, advantages, and limitations, providing nuanced insights for achieving generation control. Additionally, we review CTG evaluation methods, summarize its applications across domains, and address key challenges in current research, including reduced fluency and practicality. We also propose several appeals, such as placing greater emphasis on real-world applications in future research. This paper aims to offer valuable guidance to researchers and developers in the field. Our reference list and Chinese version are open-sourced at https://github.com/IAAR-Shanghai/CTGSurvey.
• Abstract（参考訳）: 自然言語処理(NLP)において,Large Language Models(LLM)は高いテキスト生成品質を示した。 しかし、現実世界のアプリケーションでは、LSMはますます複雑な要件を満たす必要がある。 誤解を招くコンテンツや不適切なコンテンツを避けるだけでなく、LLMは特定の文章スタイルを模倣したり、詩的な豊かさでテキストを生成するなど、特定のユーザーニーズに適応することが期待されている。 これらの様々な要求は、安全、感情、主題的整合性、言語スタイルなど、事前に定義された制御条件に従うことを保証する制御可能なテキスト生成(CTG)技術の開発を推進してきた。 本稿では,LCMにおけるCTGの最近の進歩を体系的にレビューし,その中核概念を包括的に定義し,制御条件とテキスト品質の要件を明らかにする。 我々はCTGタスクをコンテンツ制御と属性制御の2つの主要なタイプに分類する。 モデル再訓練、微調整、強化学習、プロンプトエンジニアリング、潜時空間操作、復号時間介入など、主要な手法について議論する。 我々は,各手法の特徴,利点,限界を分析し,生成制御を実現するための微妙な洞察を提供する。 さらに,CTG評価手法を概観し,適用範囲を概観し,流速の低減や実用性など,現在の研究における課題に対処する。 我々はまた、将来の研究において現実世界の応用に重点を置くなど、いくつかの魅力も提案する。 本稿では,この分野の研究者や開発者に対して貴重なガイダンスを提供することを目的としている。 参照リストと中国語版はhttps://github.com/IAAR-Shanghai/CTGSurvey.comで公開されている。

関連論文リスト

• Adaptable Logical Control for Large Language Models [68.27725600175013]
  Ctrl-Gは、推論時にモデル生成のトラクタブルでフレキシブルな制御を容易にする適応可能なフレームワークである。 TULU2-7Bモデルに適用したCtrl-Gは、インタラクティブテキスト編集のタスクにおいて、GPT3.5とGPT4より優れていることを示す。
  論文  参考訳（メタデータ） (2024-06-19T23:47:59Z)
• CELA: Cost-Efficient Language Model Alignment for CTR Prediction [71.85120354973073]
  CTR(Click-Through Rate)予測は、レコメンダシステムにおいて最重要位置を占める。 最近の取り組みは、プレトレーニング言語モデル(PLM)を統合することでこれらの課題を緩和しようとしている。 CTR予測のためのtextbfCost-textbfEfficient textbfLanguage Model textbfAlignment (textbfCELA)を提案する。
  論文  参考訳（メタデータ） (2024-05-17T07:43:25Z)
• CEV-LM: Controlled Edit Vector Language Model for Shaping Natural Language Generations [5.148810760938979]
  CEV-LMは,制約付き編集ベクトルを用いて3つの相補的メトリクスを制御する軽量な半自己回帰型言語モデルである。 我々は,CEV-LMがこれらの3つの指標に対して,よりターゲット的かつ正確な制御を提供することを示す。
  論文  参考訳（メタデータ） (2024-02-22T05:07:31Z)
• LMRL Gym: Benchmarks for Multi-Turn Reinforcement Learning with Language Models [56.25156596019168]
  本稿では,LMRL-Gymベンチマークを用いて,大規模言語モデル(LLM)のマルチターンRLの評価を行う。 我々のベンチマークは8つの異なる言語タスクで構成されており、複数ラウンドの言語相互作用が必要であり、オープンエンド対話やテキストゲームにおける様々なタスクをカバーする。
  論文  参考訳（メタデータ） (2023-11-30T03:59:31Z)
• Successor Features for Efficient Multisubject Controlled Text Generation [48.37713738712319]
  本稿では,後継機能 (SF) と言語モデル修正の2つの基本概念を基礎とするSF-GENを紹介する。 SF-GENはこの2つをシームレスに統合し、LCMのパラメータを変更することなくテキスト生成の動的ステアリングを可能にする。 我々の知る限り、本研究はテキスト生成における後継機能の最初の応用である。
  論文  参考訳（メタデータ） (2023-11-03T00:17:08Z)
• Evaluating, Understanding, and Improving Constrained Text Generation for Large Language Models [49.74036826946397]
  本研究では,大言語モデル(LLM)の制約付きテキスト生成について検討する。 本研究は主に,制約を語彙型,構造型,関係型に分類するオープンソース LLM に重点を置いている。 その結果、LLMの能力と不足を照らし、制約を取り入れ、制約付きテキスト生成における将来の発展に対する洞察を提供する。
  論文  参考訳（メタデータ） (2023-10-25T03:58:49Z)
• Automatic and Human-AI Interactive Text Generation [27.05024520190722]
  本チュートリアルは、最先端の自然言語生成研究の概要を提供する。 テキストからテキストへの生成タスクは、セマンティック一貫性とターゲット言語スタイルの観点からより制約される。
  論文  参考訳（メタデータ） (2023-10-05T20:26:15Z)
• Deliberate then Generate: Enhanced Prompting Framework for Text Generation [70.10319005141888]
  Deliberate then Generate (DTG) プロンプトフレームワークはエラー検出命令とエラーを含む可能性のある候補で構成されている。 我々は、要約、翻訳、対話など、7つのテキスト生成タスクにまたがる20以上のデータセットに関する広範な実験を行う。 本稿では,DTGが既存のプロンプト手法を一貫して上回り,複数のテキスト生成タスクにおける最先端性能を実現することを示す。
  論文  参考訳（メタデータ） (2023-05-31T13:23:04Z)
• An Overview on Controllable Text Generation via Variational Auto-Encoders [15.97186478109836]
  ニューラルベース生成モデリングの最近の進歩は、コンピュータシステムが人間と会話できるという期待を再燃させた。 変分自動エンコーダ(VAE)のような潜在変数モデル(LVM)は、テキストデータの分布パターンを特徴付けるように設計されている。 この概要は、既存の生成方式、テキスト変分自動エンコーダに関連する問題、および制御可能な生成に関するいくつかのアプリケーションについて概説する。
  論文  参考訳（メタデータ） (2022-11-15T07:36:11Z)
• A Survey of Controllable Text Generation using Transformer-based Pre-trained Language Models [21.124096884958337]
  制御可能なテキスト生成(CTG)は、自然言語生成(NLG)分野における新興分野である 本稿では,この領域における共通課題,主なアプローチ,評価手法について,体系的な批判的レビューを行う。 我々は、この分野が直面している課題について議論し、様々な将来的な方向性を示した。
  論文  参考訳（メタデータ） (2022-01-14T08:32:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。