論文の概要: Template Controllable keywords-to-text Generation
- arxiv url: http://arxiv.org/abs/2011.03722v1
- Date: Sat, 7 Nov 2020 08:05:58 GMT
- ステータス: 処理完了
- システム内更新日: 2022-09-28 22:08:49.249283
- Title: Template Controllable keywords-to-text Generation
- Title(参考訳): テンプレート制御可能なキーワード-テキスト生成
- Authors: Abhijit Mishra, Md Faisal Mahbub Chowdhury, Sagar Manohar, Dan
Gutfreund and Karthik Sankaranarayanan
- Abstract要約: このモデルは、順序のないキーワードのセットと、POS(Part-of-speech)ベースのテンプレート命令を入力として取ります。
このフレームワークはEncode-attend-decodeパラダイムに基づいており、まずキーワードとテンプレートをエンコードし、デコーダはエンコードされたキーワードとテンプレートから派生したコンテキストを巧みに参加して文を生成する。
- 参考スコア(独自算出の注目度): 16.255080737147384
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This paper proposes a novel neural model for the understudied task of
generating text from keywords. The model takes as input a set of un-ordered
keywords, and part-of-speech (POS) based template instructions. This makes it
ideal for surface realization in any NLG setup. The framework is based on the
encode-attend-decode paradigm, where keywords and templates are encoded first,
and the decoder judiciously attends over the contexts derived from the encoded
keywords and templates to generate the sentences. Training exploits weak
supervision, as the model trains on a large amount of labeled data with
keywords and POS based templates prepared through completely automatic means.
Qualitative and quantitative performance analyses on publicly available
test-data in various domains reveal our system's superiority over baselines,
built using state-of-the-art neural machine translation and controllable
transfer techniques. Our approach is indifferent to the order of input
keywords.
- Abstract(参考訳): 本稿では,キーワードからテキストを生成するための新しいニューラルモデルを提案する。
このモデルは、順序のないキーワードのセットと、POS(Part-of-speech)ベースのテンプレート命令を入力として取ります。
これにより、任意の NLG セットアップにおける曲面実現に最適である。
このフレームワークはEncode-attend-decodeパラダイムに基づいており、まずキーワードとテンプレートをエンコードし、デコーダはエンコードされたキーワードとテンプレートから派生したコンテキストを巧みに参加して文を生成する。
モデルが大量のラベル付きデータをトレーニングし、キーワードとposベースのテンプレートが完全に自動的な手段で準備されるため、トレーニングは弱い監督を生かす。
各種ドメインで公開されているテストデータの質的および定量的なパフォーマンス分析により、最先端のニューラルマシン翻訳と制御可能な転送技術を用いて構築されたベースラインよりも、システムの優位性を明らかにする。
我々のアプローチは入力キーワードの順序に無関係である。
関連論文リスト
- INarIG: Iterative Non-autoregressive Instruct Generation Model For
Word-Level Auto Completion [11.72797729874854]
Word-Level Auto Completion (WLAC)は、ソース文、翻訳コンテキスト、人型文字シーケンスが与えられた対象単語を予測する。
InarIG(Iterative Non-autoregressive Instruct Generation)モデルを提案する。
我々のモデルは低周波単語を扱うのに優れており、WMT22およびベンチマークデータセットの最先端結果が得られ、最大10%以上の予測精度が向上する。
論文 参考訳(メタデータ) (2023-11-30T02:39:38Z) - Learning Mutually Informed Representations for Characters and Subwords [26.189422354038978]
本稿では,文字とサブワードの言語モデルを組み合わせることを目的とした絡み合いモデルを提案する。
視覚言語モデルにインスパイアされた我々のモデルは、文字とサブワードを別のモダリティとして扱う。
テキスト分類、名前付きエンティティ認識、POSタグ付け、文字レベルのシーケンスラベリングについて評価を行った。
論文 参考訳(メタデータ) (2023-11-14T02:09:10Z) - FLIP: Fine-grained Alignment between ID-based Models and Pretrained Language Models for CTR Prediction [49.510163437116645]
クリックスルーレート(CTR)予測は、パーソナライズされたオンラインサービスにおいてコア機能モジュールとして機能する。
CTR予測のための従来のIDベースのモデルは、表形式の1ホットエンコードされたID特徴を入力として取る。
事前訓練された言語モデル(PLM)は、テキストのモダリティの文を入力として取る別のパラダイムを生み出した。
本稿では,CTR予測のためのIDベースモデルと事前学習言語モデル(FLIP)間の細粒度特徴レベルのアライメントを提案する。
論文 参考訳(メタデータ) (2023-10-30T11:25:03Z) - A Quality-based Syntactic Template Retriever for
Syntactically-controlled Paraphrase Generation [67.98367574025797]
既存の構文制御されたパラフレーズ生成モデルは、人間の注釈付きまたはよく書かれた構文テンプレートで有望に機能する。
禁止コストにより、ソース文ごとに適切なテンプレートを手作業で設計することは不可能になります。
本稿では,QSTR(Quality-based Syntactic Template Retriever)を提案する。
論文 参考訳(メタデータ) (2023-10-20T03:55:39Z) - PatternRank: Leveraging Pretrained Language Models and Part of Speech
for Unsupervised Keyphrase Extraction [0.6767885381740952]
本稿では,1つの文書から教師なしキーフレーズを抽出するために,事前訓練された言語モデルとパート・オブ・音声を提供するPatternRankを提案する。
実験の結果,PatternRankは従来の最先端手法よりも高精度,リコール,F1スコアを実現していることがわかった。
論文 参考訳(メタデータ) (2022-10-11T08:23:54Z) - Charformer: Fast Character Transformers via Gradient-based Subword
Tokenization [50.16128796194463]
モデルの一部としてサブワードトークン化をエンドツーエンドに学習する新しいモデル帰納バイアスを提案する。
文字から潜在単語表現を自動的に学習する,ソフトグラデーションベースのサブワードトークンモジュール(GBST)を導入する。
また、GBSTを統合し、バイトレベルで動作する深層トランスフォーマーモデルであるCharformerを紹介する。
論文 参考訳(メタデータ) (2021-06-23T22:24:14Z) - Unsupervised Paraphrasing with Pretrained Language Models [85.03373221588707]
教師なし環境で,事前学習した言語モデルを用いて高品質なパラフレーズを生成する訓練パイプラインを提案する。
提案手法は,タスク適応,自己スーパービジョン,動的ブロッキング(Dynamic Blocking)という新しい復号アルゴリズムから構成される。
提案手法は,Quora Question PairとParaNMTの両方のデータセット上で,最先端の性能を達成できることを示す。
論文 参考訳(メタデータ) (2020-10-24T11:55:28Z) - Word Shape Matters: Robust Machine Translation with Visual Embedding [78.96234298075389]
文字レベルNLPモデルの入力シンボルを新たに符号化する。
文字が印刷されたときの画像を通して各文字の形状をエンコードする。
我々はこの新たな戦略を視覚的埋め込みと呼び、NLPモデルの堅牢性を向上させることが期待されている。
論文 参考訳(メタデータ) (2020-10-20T04:08:03Z) - Exemplar-Controllable Paraphrasing and Translation using Bitext [57.92051459102902]
私たちは、バイリンガルテキスト(bitext)からのみ学ぶことができるように、以前の作業からモデルを適用する。
提案した1つのモデルでは、両言語で制御されたパラフレーズ生成と、両言語で制御された機械翻訳の4つのタスクを実行することができる。
論文 参考訳(メタデータ) (2020-10-12T17:02:50Z) - Small-Footprint Open-Vocabulary Keyword Spotting with Quantized LSTM
Networks [3.8382752162527933]
本稿では,オープン語彙のキーワードスポッティング手法に着目し,モデル全体を再トレーニングすることなく,ユーザが独自のキーワードを定義できるようにする。
ユーザ定義キーワードの任意のセットに対して,小さなデバイス上で動作可能な高速かつ小型のフットプリントシステムを実現するための,さまざまな設計選択について説明する。
論文 参考訳(メタデータ) (2020-02-25T13:27:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。