論文の概要: An Overview on Controllable Text Generation via Variational
Auto-Encoders
- arxiv url: http://arxiv.org/abs/2211.07954v1
- Date: Tue, 15 Nov 2022 07:36:11 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-16 14:25:38.482404
- Title: An Overview on Controllable Text Generation via Variational
Auto-Encoders
- Title（参考訳）: 変分オートエンコーダによる可制御テキスト生成の概観
- Authors: Haoqin Tu, Yitong Li
- Abstract要約: ニューラルベース生成モデリングの最近の進歩は、コンピュータシステムが人間と会話できるという期待を再燃させた。
変分自動エンコーダ(VAE)のような潜在変数モデル(LVM)は、テキストデータの分布パターンを特徴付けるように設計されている。
この概要は、既存の生成方式、テキスト変分自動エンコーダに関連する問題、および制御可能な生成に関するいくつかのアプリケーションについて概説する。
- 参考スコア（独自算出の注目度）: 15.97186478109836
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Recent advances in neural-based generative modeling have reignited the hopes
of having computer systems capable of conversing with humans and able to
understand natural language. The employment of deep neural architectures has
been largely explored in a multitude of context and tasks to fulfill various
user needs. On one hand, producing textual content that meets specific
requirements is of priority for a model to seamlessly conduct conversations
with different groups of people. On the other hand, latent variable models
(LVM) such as variational auto-encoders (VAEs) as one of the most popular
genres of generative models are designed to characterize the distributional
pattern of textual data. Thus they are inherently capable of learning the
integral textual features that are worth exploring for controllable pursuits.
\noindent This overview gives an introduction to existing generation schemes,
problems associated with text variational auto-encoders, and a review of
several applications about the controllable generation that are instantiations
of these general formulations,\footnote{A detailed paper list is available at
\url{https://github.com/ImKeTT/CTG-latentAEs}} as well as related datasets,
metrics and discussions for future researches. Hopefully, this overview will
provide an overview of living questions, popular methodologies and raw thoughts
for controllable language generation under the scope of variational
auto-encoder.
- Abstract（参考訳）: ニューラルベース生成モデリングの最近の進歩は、コンピュータシステムが人間と会話でき、自然言語を理解できることを期待している。
ディープニューラルアーキテクチャの雇用は、様々なユーザニーズを満たすために、多くのコンテキストとタスクで広く研究されてきた。
一方、特定の要求を満たすテキストコンテンツを生成することは、異なるグループとシームレスに会話を行うモデルにとって優先事項である。
一方、変分オートエンコーダ(vaes)のような潜在変数モデル(lvm)は、生成モデルの最も人気のあるジャンルの1つとして、テキストデータの分布パターンを特徴付けるように設計されている。
したがって、それらは本質的に、制御可能な追求のために探索する価値のある統合的なテキストの特徴を学ぶことができる。
この概要は、既存の生成スキーム、テキストの変分自動エンコーダに関連する問題、およびこれらの一般的な定式化のインスタンス化である制御可能な生成に関するいくつかのアプリケーションのレビュー、\footnote{A details paper listが \url{https://github.com/ImKeTT/CTG-latentAEs}} で利用可能である。
この概要は、可変オートエンコーダの範囲内で、生きた質問、一般的な方法論、および制御可能な言語生成のための生の考えの概要を提供することを願っている。
関連論文リスト
- generAItor: Tree-in-the-Loop Text Generation for Language Model
Explainability and Adaptation [28.715001906405362]
大規模言語モデル(LLM)は、自動補完、補助的な書き込み、チャットベースのテキスト生成など、様々な下流タスクに広くデプロイされている。
本稿では,ビーム探索ツリーの視覚的表現を解析,説明,適応する中心的な要素とする,ループ内ツリーのアプローチを提案することで,この欠点に対処する。
視覚解析技術であるGenerAItorを,タスク固有のウィジェットで中央ビーム探索木を拡大し,ターゲットとした可視化とインタラクションの可能性を提供する。
論文 参考訳（メタデータ） (2024-03-12T13:09:15Z) - Foundational Models Defining a New Era in Vision: A Survey and Outlook [151.49434496615427]
視覚シーンの構成的性質を観察し、推論する視覚システムは、我々の世界を理解するのに不可欠である。
モデルは、このようなモダリティと大規模なトレーニングデータとのギャップを埋めることを学び、コンテキスト推論、一般化、テスト時の迅速な機能を容易にした。
このようなモデルの出力は、例えば、バウンディングボックスを設けて特定のオブジェクトをセグメント化したり、画像や映像シーンについて質問したり、言語命令でロボットの動作を操作することで対話的な対話を行うなど、リトレーニングすることなく、人為的なプロンプトによって変更することができる。
論文 参考訳（メタデータ） (2023-07-25T17:59:18Z) - Foundation Models for Natural Language Processing -- Pre-trained
Language Models Integrating Media [0.0]
ファンデーションモデルは自然言語処理のための事前訓練された言語モデルである。
画像処理やビデオ処理からロボット制御学習まで、幅広いメディアや問題領域に適用することができる。
本書は、ファンデーションモデルの研究および応用における技術の現状を概観する。
論文 参考訳（メタデータ） (2023-02-16T20:42:04Z) - Unsupervised Neural Stylistic Text Generation using Transfer learning
and Adapters [66.17039929803933]
応答生成のためのスタイル特化属性を学習するために,モデルパラメータの0.3%しか更新しない新しい転送学習フレームワークを提案する。
我々はPERSONALITY-CAPTIONSデータセットからスタイル固有の属性を学習する。
論文 参考訳（メタデータ） (2022-10-07T00:09:22Z) - Twist Decoding: Diverse Generators Guide Each Other [116.20780037268801]
様々なモデルの恩恵を受けながらテキストを生成するシンプルで一般的な推論アルゴリズムであるTwist decodingを導入する。
我々の方法は、語彙、トークン化、あるいは生成順序が共有されていると仮定しない。
論文 参考訳（メタデータ） (2022-05-19T01:27:53Z) - Deep Latent-Variable Models for Text Generation [7.119436003155924]
ディープニューラルネットワークベースのエンドツーエンドアーキテクチャが広く採用されている。
エンドツーエンドのアプローチは、以前は複雑な手作りのルールで設計されていたすべてのサブモジュールを、全体的なエンコード・デコードアーキテクチャに融合させる。
この論文は、テキスト生成のための標準エンコーダデコーダモデルよりも、潜伏変数の深いモデルがいかに改善できるかを示す。
論文 参考訳（メタデータ） (2022-03-03T23:06:39Z) - GenNI: Human-AI Collaboration for Data-Backed Text Generation [102.08127062293111]
Table2Textシステムは、機械学習を利用した構造化データに基づいてテキスト出力を生成する。
GenNI (Generation Negotiation Interface) は、対話型ビジュアルシステムである。
論文 参考訳（メタデータ） (2021-10-19T18:07:07Z) - Topical Language Generation using Transformers [4.795530213347874]
本稿では,事前学習したLMとトピックモデリング情報を組み合わせることで,トピック言語生成(TLG)の新しいアプローチを提案する。
我々は,新しいパラメータと関数を導入して,生成したテキストに提示される話題特徴量に影響を与えるモデルを拡張する。
実験結果から,復号化の高速化とともに,コヒーレンシー,多様性,流線型性の向上が得られた。
論文 参考訳（メタデータ） (2021-03-11T03:45:24Z) - Controllable Text Generation with Focused Variation [71.07811310799664]
Focused-Variation Network (FVN) は言語生成を制御する新しいモデルである。
FVNは、コードブック内の各属性に対する非結合なラテント空間を学習し、制御性と多様性の両方を可能にする。
我々は、注釈付きコンテンツとスタイルを持つ2つのテキスト生成データセット上でFVNを評価し、自動評価と人的評価により、最先端のパフォーマンスを示す。
論文 参考訳（メタデータ） (2020-09-25T06:31:06Z) - PALM: Pre-training an Autoencoding&Autoregressive Language Model for
Context-conditioned Generation [92.7366819044397]
自己指導型事前学習は、自然言語の理解と生成のための強力な技術として登場した。
本研究は,大規模未ラベルコーパス上で自己エンコーディングと自己回帰言語モデルを共同で事前学習する新しいスキームをPALMに提示する。
広範な実験により、PALMは様々な言語生成ベンチマークにおいて、新しい最先端の結果を達成することが示されている。
論文 参考訳（メタデータ） (2020-04-14T06:25:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。