論文の概要: Composable Text Controls in Latent Space with ODEs

• arxiv url: http://arxiv.org/abs/2208.00638v3
• Date: Mon, 6 Nov 2023 06:21:40 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-08 01:40:55.630011
• Title: Composable Text Controls in Latent Space with ODEs
• Title（参考訳）: odeを用いた潜在空間における合成可能なテキスト制御
• Authors: Guangyi Liu, Zeyu Feng, Yuan Gao, Zichao Yang, Xiaodan Liang, Junwei Bao, Xiaodong He, Shuguang Cui, Zhen Li, Zhiting Hu
• Abstract要約: 本稿では,コンパクトテキスト空間における構成可能なテキスト操作のための,新しい効率的なアプローチを提案する。 事前学習したLMを効率よく適応することで、サンプルベクトルを所望のテキストシーケンスにデコードする。 実験により、我々のアプローチ内でこれらの演算子を構成すると、高品質なテキストの生成や編集が可能であることが示された。
• 参考スコア（独自算出の注目度）: 97.12426987887021
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Real-world text applications often involve composing a wide range of text control operations, such as editing the text w.r.t. an attribute, manipulating keywords and structure, and generating new text of desired properties. Prior work typically learns/finetunes a language model (LM) to perform individual or specific subsets of operations. Recent research has studied combining operations in a plug-and-play manner, often with costly search or optimization in the complex sequence space. This paper proposes a new efficient approach for composable text operations in the compact latent space of text. The low-dimensionality and differentiability of the text latent vector allow us to develop an efficient sampler based on ordinary differential equations (ODEs) given arbitrary plug-in operators (e.g., attribute classifiers). By connecting pretrained LMs (e.g., GPT2) to the latent space through efficient adaption, we then decode the sampled vectors into desired text sequences. The flexible approach permits diverse control operators (sentiment, tense, formality, keywords, etc.) acquired using any relevant data from different domains. Experiments show that composing those operators within our approach manages to generate or edit high-quality text, substantially improving over previous methods in terms of generation quality and efficiency.
• Abstract（参考訳）: 現実世界のテキストアプリケーションは、属性のテキストを編集したり、キーワードや構造を操作したり、所望のプロパティの新しいテキストを生成するなど、幅広いテキスト制御操作を行うことが多い。 従来の作業は通常、個別または特定の操作サブセットを実行するために言語モデル(LM)を学習/微調整する。 近年の研究では、複雑なシーケンス空間におけるコストのかかる探索や最適化を伴う、プラグ・アンド・プレイ方式の操作の組み合わせを研究している。 本稿では,コンパクトテキスト空間における構成可能なテキスト操作のための新しい効率的なアプローチを提案する。 テキスト潜在ベクトルの低次元性と微分可能性により、任意のプラグイン演算子(例えば属性分類器)を与えられた通常の微分方程式(ODE)に基づいて効率的なサンプリング器を開発することができる。 事前訓練されたLM(例えば GPT2)を効率的な適応により潜在空間に接続することにより、サンプルベクトルを所望のテキストシーケンスにデコードする。 フレキシブルなアプローチでは、さまざまな制御演算子(知覚、緊張、形式、キーワードなど)が、異なるドメインから関連するデータを使って取得できる。 実験により,これらの操作者を構成することによって,高品質テキストの生成や編集が容易になり,従来手法に比べて生成品質や効率が大幅に向上することを示した。

関連論文リスト

• Towards Unified Multi-granularity Text Detection with Interactive Attention [56.79437272168507]
  Detect Any Text"は、シーンテキストの検出、レイアウト分析、ドキュメントページの検出を結合的なエンドツーエンドモデルに統合する高度なパラダイムである。 DATにおける重要なイノベーションは、テキストインスタンスの表現学習を大幅に強化する、粒度横断型アテンションモジュールである。 テストによると、DATは様々なテキスト関連ベンチマークで最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2024-05-30T07:25:23Z)
• Successor Features for Efficient Multisubject Controlled Text Generation [48.37713738712319]
  本稿では,後継機能 (SF) と言語モデル修正の2つの基本概念を基礎とするSF-GENを紹介する。 SF-GENはこの2つをシームレスに統合し、LCMのパラメータを変更することなくテキスト生成の動的ステアリングを可能にする。 我々の知る限り、本研究はテキスト生成における後継機能の最初の応用である。
  論文  参考訳（メタデータ） (2023-11-03T00:17:08Z)
• TextFormer: A Query-based End-to-End Text Spotter with Mixed Supervision [61.186488081379]
  Transformerアーキテクチャを用いた問合せベースのエンドツーエンドテキストスポッターであるTextFormerを提案する。 TextFormerは、画像エンコーダとテキストデコーダの上に構築され、マルチタスクモデリングのための共同セマンティック理解を学ぶ。 分類、セグメンテーション、認識のブランチの相互訓練と最適化を可能にし、より深い特徴共有をもたらす。
  論文  参考訳（メタデータ） (2023-06-06T03:37:41Z)
• MacLaSa: Multi-Aspect Controllable Text Generation via Efficient Sampling from Compact Latent Space [110.85888003111653]
  マルチアスペクト制御可能なテキスト生成は、複数の望ましい属性を同時に持つ流動文を生成することを目的としている。 マルチアスペクト制御のための新しいアプローチ、すなわちMacLaSaを導入し、複数の側面に対してコンパクトな潜在空間を推定する。 また,MacLaSaは,高い推論速度を維持しつつ,属性関連性やテキスト品質を高いベースラインで向上させることを示す。
  論文  参考訳（メタデータ） (2023-05-22T07:30:35Z)
• Text Revision by On-the-Fly Representation Optimization [76.11035270753757]
  現在の最先端手法は、これらのタスクをシーケンスからシーケンスまでの学習問題として定式化している。 並列データを必要としないテキストリビジョンのための反復的なインプレース編集手法を提案する。 テキストの単純化に関する最先端の教師付き手法よりも、競争力があり、パフォーマンスも向上する。
  論文  参考訳（メタデータ） (2022-04-15T07:38:08Z)
• Control Prefixes for Text Generation [17.682443394199375]
  本稿では,各プロンプトに条件付き入力依存情報を組み込む動的手法である制御プリフィックスを提案する。 我々は、WebNLGを含むいくつかのデータからテキストへのデータセットに対して、最先端の結果を提示する。
  論文  参考訳（メタデータ） (2021-10-15T19:32:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。