論文の概要: ETC-NLG: End-to-end Topic-Conditioned Natural Language Generation
- arxiv url: http://arxiv.org/abs/2008.10875v3
- Date: Tue, 22 Jun 2021 08:45:23 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-25 03:42:55.725303
- Title: ETC-NLG: End-to-end Topic-Conditioned Natural Language Generation
- Title（参考訳）: ETC-NLG: エンドツーエンドのトピック定義自然言語生成
- Authors: Ginevra Carbone, Gabriele Sarti
- Abstract要約: Plug-and-play言語モデル(PPLM)は、予測トークン分布を選択されたトピックに向けて制御するために使用する属性モデルと、大きな事前学習されたジェネレータをペアにすることで、トピック条件の自然言語生成を可能にする。
ETC-NLGは、文書コレクションの創発的なトピックに対して、完全に教師なしのトピック・ツー・エンドのトピック・コンディション・自然言語生成を可能にするためにトピック・モデリング・アノテーションを活用するアプローチである。
- 参考スコア（独自算出の注目度）: 1.0152838128195467
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Plug-and-play language models (PPLMs) enable topic-conditioned natural
language generation by pairing large pre-trained generators with attribute
models used to steer the predicted token distribution towards the selected
topic. Despite their computational efficiency, PPLMs require large amounts of
labeled texts to effectively balance generation fluency and proper
conditioning, making them unsuitable for low-resource settings. We present
ETC-NLG, an approach leveraging topic modeling annotations to enable
fully-unsupervised End-to-end Topic-Conditioned Natural Language Generation
over emergent topics in unlabeled document collections. We first test the
effectiveness of our approach in a low-resource setting for Italian, evaluating
the conditioning for both topic models and gold annotations. We then perform a
comparative evaluation of ETC-NLG for Italian and English using a parallel
corpus. Finally, we propose an automatic approach to estimate the effectiveness
of conditioning on the generated utterances.
- Abstract（参考訳）: Plug-and-play言語モデル(PPLM)は、予測トークン分布を選択されたトピックに向けて制御するために使用する属性モデルと、大きな事前学習されたジェネレータをペアにすることで、トピック条件の自然言語生成を可能にする。
計算効率は高いが、PPLMは大量のラベル付きテキストを必要とし、発生頻度と適切な条件付けを効果的にバランスさせ、低リソース設定には適さない。
ETC-NLGは、文書コレクションの創発的なトピックに対して、完全に教師なしのエンドツーエンドのトピック定義自然言語生成を可能にするためにトピックモデリングアノテーションを活用するアプローチである。
まず,本手法の有効性をイタリア語の低リソース環境でテストし,トピックモデルとゴールドアノテーションの条件付けを評価した。
並列コーパスを用いて,イタリア語と英語のETC-NLGの比較評価を行った。
最後に,生成された発話に対する条件付けの有効性を推定する自動手法を提案する。
関連論文リスト
- Align-SLM: Textless Spoken Language Models with Reinforcement Learning from AI Feedback [50.84142264245052]
テキストレス音声言語モデル(SLM)のセマンティック理解を強化するためのAlign-SLMフレームワークを導入する。
提案手法は、与えられたプロンプトから複数の音声継続を生成し、意味的指標を用いて、直接選好最適化(DPO)のための選好データを生成する。
語彙および構文モデリングのためのZeroSpeech 2021ベンチマーク、意味的コヒーレンスのためのStoryClozeデータセットの音声バージョン、GPT4-oスコアや人間評価などの音声生成指標を用いて、フレームワークの評価を行った。
論文 参考訳（メタデータ） (2024-11-04T06:07:53Z) - Preference Alignment Improves Language Model-Based TTS [76.70693823683091]
選好アライメントアルゴリズムは、報酬モデルの嗜好に合わせてLMを調整し、生成されたコンテンツの望ましさを高める。
1.15B のパラメータ LM に基づく TTS モデルを用いて、嗜好の整合性は常に知性、話者類似性、代用主観的評価スコアを向上することを示した。
論文 参考訳（メタデータ） (2024-09-19T01:58:19Z) - CELA: Cost-Efficient Language Model Alignment for CTR Prediction [71.85120354973073]
CTR(Click-Through Rate)予測は、レコメンダシステムにおいて最重要位置を占める。
最近の取り組みは、プレトレーニング言語モデル(PLM)を統合することでこれらの課題を緩和しようとしている。
CTR予測のためのtextbfCost-textbfEfficient textbfLanguage Model textbfAlignment (textbfCELA)を提案する。
論文 参考訳（メタデータ） (2024-05-17T07:43:25Z) - A Systematic Evaluation of Large Language Models for Natural Language Generation Tasks [30.54635848057259]
本稿では、よく知られた高性能な大規模言語モデル(LLM)の包括的な評価を行う。
対話生成とテキスト要約を含む英語と中国語のデータセットを選択する。
本研究は, 詳細な分析を伴って, 両自動検査の結果を報告する。
論文 参考訳（メタデータ） (2024-05-16T16:56:54Z) - Plug-and-Play Recipe Generation with Content Planning [28.65323853250831]
本稿では,生成されたテキストのグローバルなコンテンツプランを明示的にモデル化するフレームワークを提案する。
プラグイン・アンド・プレイ方式で自然言語シーケンスとグローバルコンテンツプランの同時配信を最適化する。
本モデルは,レシピ生成作業における最先端のパフォーマンスを実現する。
論文 参考訳（メタデータ） (2022-12-09T19:39:10Z) - Bridging the Gap Between Training and Inference of Bayesian Controllable
Language Models [58.990214815032495]
大規模事前学習型言語モデルは、自然言語生成タスクにおいて大きな成功を収めている。
BCLMは制御可能な言語生成において効率的であることが示されている。
本稿では,ミスマッチ問題を少ない計算コストで軽減する制御可能な言語生成のための"Gemini Discriminator"を提案する。
論文 参考訳（メタデータ） (2022-06-11T12:52:32Z) - Topic Discovery via Latent Space Clustering of Pretrained Language Model
Representations [35.74225306947918]
本研究では, PLM 埋め込みを基盤とした空間学習とクラスタリングの連携フレームワークを提案する。
提案モデルでは,トピック発見のためにPLMがもたらす強力な表現力と言語的特徴を効果的に活用する。
論文 参考訳（メタデータ） (2022-02-09T17:26:08Z) - Language Models are Few-shot Multilingual Learners [66.11011385895195]
我々は、非英語言語における多言語分類を行う際に、GPTモデルとT5モデルの多言語的スキルを評価する。
文脈としての英語の例を見ると、事前学習された言語モデルは、英語のテストサンプルだけでなく、英語以外のサンプルも予測できることが示されている。
論文 参考訳（メタデータ） (2021-09-16T03:08:22Z) - Multimodal Conditionality for Natural Language Generation [0.0]
MAnTiSは、トランスフォーマーベースの自然言語生成モデルにおけるマルチモーダル条件に対する一般的なアプローチである。
我々は、製品記述生成タスクにMAnTiSを適用し、製品イメージとタイトルの両方にネットワークを条件付け、記述テキストを生成する。
論文 参考訳（メタデータ） (2021-09-02T22:06:07Z) - Conditioned Natural Language Generation using only Unconditioned
Language Model: An Exploration [8.623022983093444]
トランスフォーマーに基づく言語モデルは、自然言語生成(NLG)において非常に強力であることが示されている。
我々は、元の無条件LMは、条件付きNLGに十分であると主張している。
提案手法は, 自動評価と人的評価により, 試料の流布度と多様性によって評価した。
論文 参考訳（メタデータ） (2020-11-14T17:45:11Z) - Unsupervised Paraphrasing with Pretrained Language Models [85.03373221588707]
教師なし環境で,事前学習した言語モデルを用いて高品質なパラフレーズを生成する訓練パイプラインを提案する。
提案手法は,タスク適応,自己スーパービジョン,動的ブロッキング(Dynamic Blocking)という新しい復号アルゴリズムから構成される。
提案手法は,Quora Question PairとParaNMTの両方のデータセット上で,最先端の性能を達成できることを示す。
論文 参考訳（メタデータ） (2020-10-24T11:55:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。