論文の概要: Zero-Shot Controlled Generation with Encoder-Decoder Transformers
- arxiv url: http://arxiv.org/abs/2106.06411v1
- Date: Fri, 11 Jun 2021 14:07:19 GMT
- ステータス: 処理完了
- システム内更新日: 2021-06-14 14:34:46.722133
- Title: Zero-Shot Controlled Generation with Encoder-Decoder Transformers
- Title(参考訳): エンコーダデコーダ変換器を用いたゼロショット制御生成
- Authors: Devamanyu Hazarika, Mahdi Namazifar, Dilek Hakkani-T\"ur
- Abstract要約: ゼロショット方式でエンコーダ・デコーダ変換器に基づくNLGモデルを制御するための新しい手法を提案する。
これらのNLGモデルがこのような操作に対して堅牢であるだけでなく、その動作が世代性能に影響を与えることなく制御可能であることを示す。
- 参考スコア(独自算出の注目度): 8.506451605253517
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Controlling neural network-based models for natural language generation (NLG)
has broad applications in numerous areas such as machine translation, document
summarization, and dialog systems. Approaches that enable such control in a
zero-shot manner would be of great importance as, among other reasons, they
remove the need for additional annotated data and training. In this work, we
propose novel approaches for controlling encoder-decoder transformer-based NLG
models in a zero-shot manner. This is done by introducing three control knobs;
namely, attention biasing, decoder mixing, and context augmentation, that are
applied to these models at generation time. These knobs control the generation
process by directly manipulating trained NLG models (e.g., biasing
cross-attention layers) to realize the desired attributes in the generated
outputs. We show that not only are these NLG models robust to such
manipulations, but also their behavior could be controlled without an impact on
their generation performance. These results, to the best of our knowledge, are
the first of their kind. Through these control knobs, we also investigate the
role of transformer decoder's self-attention module and show strong evidence
that its primary role is maintaining fluency of sentences generated by these
models. Based on this hypothesis, we show that alternative architectures for
transformer decoders could be viable options. We also study how this hypothesis
could lead to more efficient ways for training encoder-decoder transformer
models.
- Abstract(参考訳): 自然言語生成のためのニューラルネットワークモデル(NLG)の制御は、機械翻訳、文書要約、ダイアログシステムなど、多くの分野で広く応用されている。
ゼロショット方式でそのような制御を可能にするアプローチは、いくつかの理由から、追加の注釈付きデータとトレーニングの必要性をなくすため、非常に重要である。
本研究では,エンコーダ・デコーダ変換器を用いたnlgモデルをゼロショット方式で制御する新しい手法を提案する。
これは、3つの制御ノブ、すなわちアテンションバイアス、デコーダミキシング、コンテキスト拡張を世代毎に適用することで実現される。
これらのノブは、トレーニングされたNLGモデル(例えば、クロスアテンション層をバイアスするなど)を直接操作することで生成プロセスを制御する。
これらのNLGモデルは,このような操作に対して堅牢であるだけでなく,生成性能に影響を与えることなく制御可能であることを示す。
これらの結果は、私たちの知る限りでは、彼らにとって最初のものです。
これらの制御ノブを通して、トランスフォーマーデコーダの自己照準モジュールの役割を検証し、これらのモデルによって生成された文のフルーエンシーを維持することが主な役割であることを示す。
この仮説に基づき、トランスフォーマーデコーダの代替アーキテクチャが実行可能な選択肢であることを示す。
また,この仮説がエンコーダ・デコーダトランスフォーマモデルをより効率的にトレーニングする方法につながる可能性についても検討した。
関連論文リスト
- Unraveling the Control Engineer's Craft with Neural Networks [4.5088302622486935]
本稿では,デジタルツインを用いて入力出力データとパラメータの摂動に適したコントローラを生成する,データ駆動型コントローラチューニング手法を提案する。
我々は,デジタルツインの摂動バージョンから人工的に生成されたデータに基づいて,入力出力データをコントローラパラメータにマッピングするコントローラチューニングルールを学習する。
論文 参考訳(メタデータ) (2023-11-20T10:22:38Z) - STMT: A Spatial-Temporal Mesh Transformer for MoCap-Based Action
Recognition [66.96931254510544]
本研究では、モーションキャプチャー(MoCap)シーケンスを用いた人間の行動認識の問題点について検討する。
メッシュシーケンスを直接モデル化する新しい時空間メッシュ変換器(STMT)を提案する。
提案手法は,スケルトンベースモデルやポイントクラウドベースモデルと比較して,最先端の性能を実現する。
論文 参考訳(メタデータ) (2023-03-31T16:19:27Z) - Automatic Rule Induction for Efficient Semi-Supervised Learning [56.91428251227253]
半教師付き学習は、少量のラベル付きデータからNLPモデルを一般化できることを約束している。
事前訓練されたトランスモデルはブラックボックス相関エンジンとして機能し、説明が困難であり、時には信頼性に欠ける振る舞いをする。
本稿では,これらの課題に,簡易かつ汎用的なフレームワークであるAutomatic Rule Injection (ARI) を用いて対処することを提案する。
論文 参考訳(メタデータ) (2022-05-18T16:50:20Z) - A Spiking Central Pattern Generator for the control of a simulated
lamprey robot running on SpiNNaker and Loihi neuromorphic boards [1.8139771201780368]
本稿では,シミュレートされたランプレーモデルを制御する手段として,スパイクニューラルネットワークとニューロモルフィックハードウェアの実装を提案する。
センサ情報によって提供できるネットワークへの入力を変更することで,ロボットの方向や速度を動的に制御できることを示す。
スパイキングアルゴリズムのこのカテゴリは、エネルギー効率と計算速度の観点から、ニューロモルフィックハードウェアの理論的利点を利用する有望な可能性を示している。
論文 参考訳(メタデータ) (2021-01-18T11:04:16Z) - Transformer-based Conditional Variational Autoencoder for Controllable
Story Generation [39.577220559911055]
ニューラルストーリー生成のための大規模潜時変数モデル (LVM) を, 生成効率と制御性という2つのスレッドで検討した。
我々は、トランスフォーマーの時代において、本質的に表現学習の力である潜在変数モデリングを復活させることを提唱する。
具体的には,遅延表現ベクトルをTransformerベースの事前学習アーキテクチャと統合し,条件付き変分オートエンコーダ(CVAE)を構築する。
論文 参考訳(メタデータ) (2021-01-04T08:31:11Z) - Unsupervised Controllable Generation with Self-Training [90.04287577605723]
GANによる制御可能な世代は依然として困難な研究課題である。
本稿では,自己学習を通じてジェネレータを制御する潜伏符号の分布を学習するための教師なしフレームワークを提案する。
我々のフレームワークは、変分オートエンコーダのような他の変種と比較して、より良い絡み合いを示す。
論文 参考訳(メタデータ) (2020-07-17T21:50:35Z) - Towards a Neural Graphics Pipeline for Controllable Image Generation [96.11791992084551]
ニューラルグラフパイプライン(NGP)は,ニューラルネットワークと従来の画像形成モデルを組み合わせたハイブリッド生成モデルである。
NGPは、画像を解釈可能な外観特徴マップの集合に分解し、制御可能な画像生成のための直接制御ハンドルを明らかにする。
単目的シーンの制御可能な画像生成におけるアプローチの有効性を実証する。
論文 参考訳(メタデータ) (2020-06-18T14:22:54Z) - Posterior Control of Blackbox Generation [126.33511630879713]
我々は、構造化潜在変数アプローチにより学習した離散制御状態を持つニューラルジェネレーションモデルの拡張を検討する。
この手法は標準ベンチマークよりも改善され、きめ細かい制御も可能である。
論文 参考訳(メタデータ) (2020-05-10T03:22:45Z) - Populations of Spiking Neurons for Reservoir Computing: Closed Loop
Control of a Compliant Quadruped [64.64924554743982]
本稿では,ニューラルネットワークを用いた中央パターン生成機構を実装し,閉ループロボット制御を実現するためのフレームワークを提案する。
本研究では,従順な四足歩行ロボットのシミュレーションモデル上で,予め定義された歩行パターン,速度制御,歩行遷移の学習を実演する。
論文 参考訳(メタデータ) (2020-04-09T14:32:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。