論文の概要: CEV-LM: Controlled Edit Vector Language Model for Shaping Natural Language Generations

• arxiv url: http://arxiv.org/abs/2402.14290v1
• Date: Thu, 22 Feb 2024 05:07:31 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-23 16:22:13.670598
• Title: CEV-LM: Controlled Edit Vector Language Model for Shaping Natural Language Generations
• Title（参考訳）: CEV-LM:自然言語生成のための編集ベクトル言語モデル
• Authors: Samraj Moorjani, Adit Krishnan, Hari Sundaram
• Abstract要約: CEV-LMは,制約付き編集ベクトルを用いて3つの相補的メトリクスを制御する軽量な半自己回帰型言語モデルである。 我々は,CEV-LMがこれらの3つの指標に対して,よりターゲット的かつ正確な制御を提供することを示す。
• 参考スコア（独自算出の注目度）: 5.148810760938979
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: As large-scale language models become the standard for text generation, there is a greater need to tailor the generations to be more or less concise, targeted, and informative, depending on the audience/application. Existing control approaches primarily adjust the semantic (e.g., emotion, topics), structural (e.g., syntax tree, parts-of-speech), and lexical (e.g., keyword/phrase inclusion) properties of text, but are insufficient to accomplish complex objectives such as pacing which control the complexity and readability of the text. In this paper, we introduce CEV-LM - a lightweight, semi-autoregressive language model that utilizes constrained edit vectors to control three complementary metrics (speed, volume, and circuitousness) that quantify the shape of text (e.g., pacing of content). We study an extensive set of state-of-the-art CTG models and find that CEV-LM provides significantly more targeted and precise control of these three metrics while preserving semantic content, using less training data, and containing fewer parameters.
• Abstract（参考訳）: 大規模な言語モデルがテキスト生成の標準になるにつれ、オーディエンス/アプリケーションによって、世代を多かれ少なかれ簡潔でターゲットにし、情報的になるように調整する必要性が高まる。 既存の制御アプローチは、主にテキストのセマンティック(感情、トピックなど)、構造(構文木、音声の一部)、語彙(キーワード/フレーズの包含など)のプロパティを調整するが、テキストの複雑さと可読性を制御するペーシングのような複雑な目的を達成するには不十分である。 本稿では,制約付き編集ベクトルを用いてテキストの形状を定量化する3つの相補的指標(速度,体積,回路性)を制御する軽量な半自己回帰型言語モデルであるCEV-LMを紹介する。 我々は最先端のctgモデルの広範なセットを調査し、cev-lmがこれらの3つのメトリクスをよりターゲットとして正確に制御し、セマンティックコンテンツを保持しながら、トレーニングデータが少なく、パラメータも少ないことを見出した。

関連論文リスト

• Controllable Text Generation for Large Language Models: A Survey [27.110528099257156]
  本稿では,大規模言語モデルにおける制御可能なテキスト生成の最近の進歩を体系的にレビューする。 我々はCTGタスクをコンテンツ制御と制御の2つの主要なタイプに分類する。 現在の研究における重要な課題には、流用率の低減や実用性といった課題に対処する。
  論文  参考訳（メタデータ） (2024-08-22T17:59:04Z)
• Controlled Text Generation via Language Model Arithmetic [7.687678490751105]
  本稿では,大規模言語モデルの合成とバイアス化のための新しい推論フレームワークであるモデル演算を導入する。 モデル算術により生成したテキストのきめ細かい制御が可能であり, 毒性低減の課題において, 最先端の処理性能に優れることを示す。
  論文  参考訳（メタデータ） (2023-11-24T13:41:12Z)
• Controlled Text Generation for Black-box Language Models via Score-based Progressive Editor [32.913066883646074]
  制御されたテキスト生成は、言語モデルの実用化に非常に重要である。 既存の手法はブラックボックスモデルには適用できないか、生成されたテキストの制御と流用率の維持との間に大きなトレードオフがある。 本稿では,これらの問題を克服するための新しいアプローチであるScore-based Progressive Editor(ScoPE)を紹介する。
  論文  参考訳（メタデータ） (2023-11-13T16:03:23Z)
• Successor Features for Efficient Multisubject Controlled Text Generation [48.37713738712319]
  本稿では,後継機能 (SF) と言語モデル修正の2つの基本概念を基礎とするSF-GENを紹介する。 SF-GENはこの2つをシームレスに統合し、LCMのパラメータを変更することなくテキスト生成の動的ステアリングを可能にする。 我々の知る限り、本研究はテキスト生成における後継機能の最初の応用である。
  論文  参考訳（メタデータ） (2023-11-03T00:17:08Z)
• Adapting Language Models to Compress Contexts [71.98287002918941]
  トランスフォーマーベースの言語モデル(LM)は強力で広く適用可能なツールであるが、その有用性は有限コンテキストウィンドウによって制限される。 本稿では,事前学習したLMを,長いコンテキストをコンパクトな要約ベクトルに圧縮可能なAutoCompressorに適応させることを提案する。 最大30,720個のトークンのシーケンスでOPTとLlama-2モデルを微調整し、AutoCompressorが長いコンテキストを使ってパープレキシティを向上できることを示す。
  論文  参考訳（メタデータ） (2023-05-24T06:42:44Z)
• Physics of Language Models: Part 1, Learning Hierarchical Language Structures [51.68385617116854]
  トランスフォーマーベースの言語モデルは効率的だが複雑であり、内部動作を理解することは大きな課題である。 本稿では,長文を生成可能な階層規則を生成する合成CFGのファミリーを紹介する。 我々は、GPTのような生成モデルがこのCFG言語を正確に学習し、それに基づいて文を生成することを実証する。
  論文  参考訳（メタデータ） (2023-05-23T04:28:16Z)
• Controlled Text Generation with Natural Language Instructions [74.88938055638636]
  InstructCTGは、異なる制約を含む制御されたテキスト生成フレームワークである。 まず、既製のNLPツールと単純な動詞の組み合わせにより、自然文の基本的制約を抽出する。 制約の自然言語記述といくつかの実演を予測することにより、様々な種類の制約を組み込むために、事前訓練された言語モデルを微調整する。
  論文  参考訳（メタデータ） (2023-04-27T15:56:34Z)
• Knowledge-in-Context: Towards Knowledgeable Semi-Parametric Language Models [58.42146641102329]
  我々は、新しい半パラメトリック言語モデルアーキテクチャ、Knowledge-in-Context(KiC)を開発した。 KiCは知識豊富な外部メモリを備えたパラメトリックテキスト-テキスト言語モデルを提供する。 知識豊富なセミパラメトリック言語モデルとして、KiCは、目に見えないタスクにおいて優れたゼロショットパフォーマンスを達成するために、はるかに小さな部分しか必要としない。
  論文  参考訳（メタデータ） (2022-10-28T23:18:43Z)
• Classifiers are Better Experts for Controllable Text Generation [63.17266060165098]
  提案手法は, PPLにおける最近のPPLM, GeDi, DExpertsよりも有意に優れており, 生成したテキストの外部分類器に基づく感情の精度が高いことを示す。 同時に、実装やチューニングも簡単で、制限や要件も大幅に少なくなります。
  論文  参考訳（メタデータ） (2022-05-15T12:58:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。