論文の概要: CoCon: A Self-Supervised Approach for Controlled Text Generation

• arxiv url: http://arxiv.org/abs/2006.03535v3
• Date: Fri, 10 Jun 2022 03:58:27 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-25 02:24:49.339246
• Title: CoCon: A Self-Supervised Approach for Controlled Text Generation
• Title（参考訳）: CoCon: 制御されたテキスト生成のための自己監督型アプローチ
• Authors: Alvin Chan, Yew-Soon Ong, Bill Pung, Aston Zhang, Jie Fu
• Abstract要約: 本稿では,コンテンツ入力によるLMの出力テキストを制御するためのContent-Conditioner(CoCon)を提案する。 我々の自己監督的アプローチでは、CoConブロックは、LMから保持されていないコンテンツ入力を条件付けすることで、LMが部分的に保存されたテキストシーケンスを完了するのを助けることを学習する。
• 参考スコア（独自算出の注目度）: 46.831265753179586
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Pretrained Transformer-based language models (LMs) display remarkable natural language generation capabilities. With their immense potential, controlling text generation of such LMs is getting attention. While there are studies that seek to control high-level attributes (such as sentiment and topic) of generated text, there is still a lack of more precise control over its content at the word- and phrase-level. Here, we propose Content-Conditioner (CoCon) to control an LM's output text with a content input, at a fine-grained level. In our self-supervised approach, the CoCon block learns to help the LM complete a partially-observed text sequence by conditioning with content inputs that are withheld from the LM. Through experiments, we show that CoCon can naturally incorporate target content into generated texts and control high-level text attributes in a zero-shot manner.
• Abstract（参考訳）: 事前訓練されたトランスフォーマーベース言語モデル(LM)は、素晴らしい自然言語生成能力を示す。 その可能性から、このようなLMのテキスト生成を制御することが注目されている。 生成したテキストの高レベルな属性(感情や話題など)を制御しようとする研究もあるが、単語やフレーズレベルでのコンテンツに対するより正確な制御はいまだに存在しない。 本稿では,コンテンツコンディショナー(cocon)を用いて,コンテンツ入力によるlmの出力テキストを細かなレベルで制御する。 我々の自己監督的アプローチでは、CoConブロックは、LMから保持されていないコンテンツ入力を条件付けすることで、LMが部分的に保存されたテキストシーケンスを完了するのを助けることを学習する。 実験により、CoConはターゲットコンテンツを生成テキストに自然に組み込むことができ、高レベルテキスト属性をゼロショットで制御できることを示す。

関連論文リスト

• Evaluating the Smooth Control of Attribute Intensity in Text Generation with LLMs [36.89780636600556]
  大規模言語モデル(LLM)はテキスト生成に革命をもたらした。 生成したテキストの属性強度の範囲,キャリブレーション,一貫性を評価する指標を提案する。
  論文  参考訳（メタデータ） (2024-06-06T19:35:51Z)
• CEV-LM: Controlled Edit Vector Language Model for Shaping Natural Language Generations [5.148810760938979]
  CEV-LMは,制約付き編集ベクトルを用いて3つの相補的メトリクスを制御する軽量な半自己回帰型言語モデルである。 我々は,CEV-LMがこれらの3つの指標に対して,よりターゲット的かつ正確な制御を提供することを示す。
  論文  参考訳（メタデータ） (2024-02-22T05:07:31Z)
• Fine-grained Controllable Video Generation via Object Appearance and Context [74.23066823064575]
  細粒度制御可能なビデオ生成法(FACTOR)を提案する。 FACTORは、オブジェクトの位置とカテゴリを含む、オブジェクトの外観とコンテキストを制御することを目的としている。 本手法は,オブジェクトの外観を微調整せずに制御し,オブジェクトごとの最適化作業を省く。
  論文  参考訳（メタデータ） (2023-12-05T17:47:33Z)
• Towards Improving Document Understanding: An Exploration on Text-Grounding via MLLMs [96.54224331778195]
  本稿では,画像中のテキストの空間的位置を識別し,MLLMを強化したテキストグラウンド文書理解モデルTGDocを提案する。 我々は,テキスト検出,認識,スポッティングなどの命令チューニングタスクを定式化し,視覚エンコーダと大言語モデルとの密接なアライメントを容易にする。 提案手法は,複数のテキストリッチベンチマークにまたがる最先端性能を実現し,本手法の有効性を検証した。
  論文  参考訳（メタデータ） (2023-11-22T06:46:37Z)
• Successor Features for Efficient Multisubject Controlled Text Generation [48.37713738712319]
  本稿では,後継機能 (SF) と言語モデル修正の2つの基本概念を基礎とするSF-GENを紹介する。 SF-GENはこの2つをシームレスに統合し、LCMのパラメータを変更することなくテキスト生成の動的ステアリングを可能にする。 我々の知る限り、本研究はテキスト生成における後継機能の最初の応用である。
  論文  参考訳（メタデータ） (2023-11-03T00:17:08Z)
• Generating Summaries with Controllable Readability Levels [67.34087272813821]
  テキストの複雑さ、主題、読者の背景知識など、可読性レベルに影響を与える要因がいくつかある。 現在のテキスト生成アプローチでは制御が洗練されておらず、結果として読者の習熟度にカスタマイズされないテキストが作られる。 可読性を制御するための3つのテキスト生成手法を開発した。命令ベースの可読性制御,要求される可読性と観測される可読性の間のギャップを最小限に抑える強化学習,および,ルックアヘッドを用いて今後の復号化ステップの可読性を評価する復号手法である。
  論文  参考訳（メタデータ） (2023-10-16T17:46:26Z)
• Improving Emotional Expression and Cohesion in Image-Based Playlist Description and Music Topics: A Continuous Parameterization Approach [3.4846615790979025]
  画像ベースプラットフォームにおけるテキスト生成には、テキストスタイルの精密な制御と感情表現の導入が必要である。 既存のアプローチは、しばしば生成されたテキストの外部要素の割合を制御するのに役立ちます。 本研究は,これらの制約を克服するために,制御されたテキスト生成のための連続化を提案する。
  論文  参考訳（メタデータ） (2023-10-02T14:32:07Z)
• ZeroGen: Zero-shot Multimodal Controllable Text Generation with Multiple Oracles [29.460712493470453]
  マルチモーダル信号(textscZeroGen)を用いたゼロショット制御可能なテキスト生成の新しいパラダイムを提案する。 textscZeroGenはトークンレベルから文レベルまで連続的にテキストと画像の制御を利用し、復号時にそれらを統一された確率空間にマッピングする。 textscZeroGenはキャプションタスクにおいて、大きなマージンで上回るだけでなく、高い制御率を持つマルチモーダルニュース生成にも大きな可能性を秘めている。
  論文  参考訳（メタデータ） (2023-06-29T03:22:43Z)
• TextFormer: A Query-based End-to-End Text Spotter with Mixed Supervision [61.186488081379]
  Transformerアーキテクチャを用いた問合せベースのエンドツーエンドテキストスポッターであるTextFormerを提案する。 TextFormerは、画像エンコーダとテキストデコーダの上に構築され、マルチタスクモデリングのための共同セマンティック理解を学ぶ。 分類、セグメンテーション、認識のブランチの相互訓練と最適化を可能にし、より深い特徴共有をもたらす。
  論文  参考訳（メタデータ） (2023-06-06T03:37:41Z)
• Plug-and-Play Recipe Generation with Content Planning [28.65323853250831]
  本稿では,生成されたテキストのグローバルなコンテンツプランを明示的にモデル化するフレームワークを提案する。 プラグイン・アンド・プレイ方式で自然言語シーケンスとグローバルコンテンツプランの同時配信を最適化する。 本モデルは,レシピ生成作業における最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2022-12-09T19:39:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。