論文の概要: ETC-NLG: End-to-end Topic-Conditioned Natural Language Generation
- arxiv url: http://arxiv.org/abs/2008.10875v3
- Date: Tue, 22 Jun 2021 08:45:23 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-25 03:42:55.725303
- Title: ETC-NLG: End-to-end Topic-Conditioned Natural Language Generation
- Title(参考訳): ETC-NLG: エンドツーエンドのトピック定義自然言語生成
- Authors: Ginevra Carbone, Gabriele Sarti
- Abstract要約: Plug-and-play言語モデル(PPLM)は、予測トークン分布を選択されたトピックに向けて制御するために使用する属性モデルと、大きな事前学習されたジェネレータをペアにすることで、トピック条件の自然言語生成を可能にする。
ETC-NLGは、文書コレクションの創発的なトピックに対して、完全に教師なしのトピック・ツー・エンドのトピック・コンディション・自然言語生成を可能にするためにトピック・モデリング・アノテーションを活用するアプローチである。
- 参考スコア(独自算出の注目度): 1.0152838128195467
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Plug-and-play language models (PPLMs) enable topic-conditioned natural
language generation by pairing large pre-trained generators with attribute
models used to steer the predicted token distribution towards the selected
topic. Despite their computational efficiency, PPLMs require large amounts of
labeled texts to effectively balance generation fluency and proper
conditioning, making them unsuitable for low-resource settings. We present
ETC-NLG, an approach leveraging topic modeling annotations to enable
fully-unsupervised End-to-end Topic-Conditioned Natural Language Generation
over emergent topics in unlabeled document collections. We first test the
effectiveness of our approach in a low-resource setting for Italian, evaluating
the conditioning for both topic models and gold annotations. We then perform a
comparative evaluation of ETC-NLG for Italian and English using a parallel
corpus. Finally, we propose an automatic approach to estimate the effectiveness
of conditioning on the generated utterances.
- Abstract(参考訳): Plug-and-play言語モデル(PPLM)は、予測トークン分布を選択されたトピックに向けて制御するために使用する属性モデルと、大きな事前学習されたジェネレータをペアにすることで、トピック条件の自然言語生成を可能にする。
計算効率は高いが、PPLMは大量のラベル付きテキストを必要とし、発生頻度と適切な条件付けを効果的にバランスさせ、低リソース設定には適さない。
ETC-NLGは、文書コレクションの創発的なトピックに対して、完全に教師なしのエンドツーエンドのトピック定義自然言語生成を可能にするためにトピックモデリングアノテーションを活用するアプローチである。
まず,本手法の有効性をイタリア語の低リソース環境でテストし,トピックモデルとゴールドアノテーションの条件付けを評価した。
並列コーパスを用いて,イタリア語と英語のETC-NLGの比較評価を行った。
最後に,生成された発話に対する条件付けの有効性を推定する自動手法を提案する。
関連論文リスト
- Plug-and-Play Recipe Generation with Content Planning [28.65323853250831]
本稿では,生成されたテキストのグローバルなコンテンツプランを明示的にモデル化するフレームワークを提案する。
プラグイン・アンド・プレイ方式で自然言語シーケンスとグローバルコンテンツプランの同時配信を最適化する。
本モデルは,レシピ生成作業における最先端のパフォーマンスを実現する。
論文 参考訳(メタデータ) (2022-12-09T19:39:10Z) - Bridging the Gap Between Training and Inference of Bayesian Controllable
Language Models [58.990214815032495]
大規模事前学習型言語モデルは、自然言語生成タスクにおいて大きな成功を収めている。
BCLMは制御可能な言語生成において効率的であることが示されている。
本稿では,ミスマッチ問題を少ない計算コストで軽減する制御可能な言語生成のための"Gemini Discriminator"を提案する。
論文 参考訳(メタデータ) (2022-06-11T12:52:32Z) - A Generative Language Model for Few-shot Aspect-Based Sentiment Analysis [90.24921443175514]
我々は、アスペクト項、カテゴリを抽出し、対応する極性を予測するアスペクトベースの感情分析に焦点を当てる。
本稿では,一方向の注意を伴う生成言語モデルを用いて,抽出タスクと予測タスクをシーケンス生成タスクに再構成することを提案する。
提案手法は,従来の最先端(BERTをベースとした)の性能を,数ショットとフルショットの設定において,大きなマージンで上回ります。
論文 参考訳(メタデータ) (2022-04-11T18:31:53Z) - Mix and Match: Learning-free Controllable Text Generation using Energy
Language Models [33.97800741890231]
制御可能なテキスト生成のためのグローバルスコアベースの代替手段であるMix and Match LMを提案する。
我々は制御可能な生成のタスクをエネルギーベースモデルからのサンプルの描画として解釈する。
我々は、このエネルギーベースモデルからサンプリングするためにメトロポリス・ハスティングスサンプリングスキームを使用する。
論文 参考訳(メタデータ) (2022-03-24T18:52:09Z) - Topic Discovery via Latent Space Clustering of Pretrained Language Model
Representations [35.74225306947918]
本研究では, PLM 埋め込みを基盤とした空間学習とクラスタリングの連携フレームワークを提案する。
提案モデルでは,トピック発見のためにPLMがもたらす強力な表現力と言語的特徴を効果的に活用する。
論文 参考訳(メタデータ) (2022-02-09T17:26:08Z) - Language Models are Few-shot Multilingual Learners [66.11011385895195]
我々は、非英語言語における多言語分類を行う際に、GPTモデルとT5モデルの多言語的スキルを評価する。
文脈としての英語の例を見ると、事前学習された言語モデルは、英語のテストサンプルだけでなく、英語以外のサンプルも予測できることが示されている。
論文 参考訳(メタデータ) (2021-09-16T03:08:22Z) - Multimodal Conditionality for Natural Language Generation [0.0]
MAnTiSは、トランスフォーマーベースの自然言語生成モデルにおけるマルチモーダル条件に対する一般的なアプローチである。
我々は、製品記述生成タスクにMAnTiSを適用し、製品イメージとタイトルの両方にネットワークを条件付け、記述テキストを生成する。
論文 参考訳(メタデータ) (2021-09-02T22:06:07Z) - Conditioned Natural Language Generation using only Unconditioned
Language Model: An Exploration [8.623022983093444]
トランスフォーマーに基づく言語モデルは、自然言語生成(NLG)において非常に強力であることが示されている。
我々は、元の無条件LMは、条件付きNLGに十分であると主張している。
提案手法は, 自動評価と人的評価により, 試料の流布度と多様性によって評価した。
論文 参考訳(メタデータ) (2020-11-14T17:45:11Z) - SLM: Learning a Discourse Language Representation with Sentence
Unshuffling [53.42814722621715]
談話言語表現を学習するための新しい事前学習目的である文レベル言語モデリングを導入する。
本モデルでは,この特徴により,従来のBERTの性能が大幅に向上することを示す。
論文 参考訳(メタデータ) (2020-10-30T13:33:41Z) - Unsupervised Paraphrasing with Pretrained Language Models [85.03373221588707]
教師なし環境で,事前学習した言語モデルを用いて高品質なパラフレーズを生成する訓練パイプラインを提案する。
提案手法は,タスク適応,自己スーパービジョン,動的ブロッキング(Dynamic Blocking)という新しい復号アルゴリズムから構成される。
提案手法は,Quora Question PairとParaNMTの両方のデータセット上で,最先端の性能を達成できることを示す。
論文 参考訳(メタデータ) (2020-10-24T11:55:28Z) - Few-shot Natural Language Generation for Task-Oriented Dialog [113.07438787659859]
FewShotWozは,タスク指向対話システムにおける数ショットの学習設定をシミュレートする最初の NLG ベンチマークである。
我々は, SC-GPTモデルを開発し, その制御可能な生成能力を得るために, 注釈付きNLGコーパスの大規模なセットで事前学習を行った。
FewShotWozとMulti-Domain-WOZデータセットの実験は、提案したSC-GPTが既存の手法を大幅に上回っていることを示している。
論文 参考訳(メタデータ) (2020-02-27T18:48:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。