Fugu-MT 論文翻訳(概要): Conditioned Natural Language Generation using only Unconditioned Language Model: An Exploration

論文の概要: Conditioned Natural Language Generation using only Unconditioned Language Model: An Exploration

arxiv url: http://arxiv.org/abs/2011.07347v1
Date: Sat, 14 Nov 2020 17:45:11 GMT
ステータス: 処理完了
システム内更新日: 2022-09-25 13:09:33.373912
Title: Conditioned Natural Language Generation using only Unconditioned Language Model: An Exploration
Title（参考訳）: 非条件言語モデルのみを用いた条件付き自然言語生成:探索
Authors: Fan-Keng Sun, Cheng-I Lai
Abstract要約: トランスフォーマーに基づく言語モデルは、自然言語生成(NLG)において非常に強力であることが示されている。我々は、元の無条件LMは、条件付きNLGに十分であると主張している。提案手法は, 自動評価と人的評価により, 試料の流布度と多様性によって評価した。
参考スコア（独自算出の注目度）: 8.623022983093444
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Transformer-based language models have shown to be very powerful for natural language generation (NLG). However, text generation conditioned on some user inputs, such as topics or attributes, is non-trivial. Past approach relies on either modifying the original LM architecture, re-training the LM on corpora with attribute labels, or having separately trained `guidance models' to guide text generation in decoding. We argued that the above approaches are not necessary, and the original unconditioned LM is sufficient for conditioned NLG. We evaluated our approaches by the samples' fluency and diversity with automated and human evaluation.
Abstract（参考訳）: トランスフォーマーベースの言語モデルは、自然言語生成(NLG)に非常に強力であることが示されている。しかし、トピックや属性など一部のユーザー入力で条件付けされたテキスト生成は自明ではない。過去のアプローチでは、オリジナルのLMアーキテクチャの変更、コーパス上のLMを属性ラベルで再トレーニングすること、あるいは復号時にテキスト生成をガイドするために個別に訓練された 'Guidance model' のいずれかに依存していた。我々は、上記のアプローチは不要であり、元の無条件LMは条件付きNLGに十分であると主張した。試料の流動性と多様性を自動的および人間的評価によって評価した。

関連論文リスト

Reranking for Natural Language Generation from Logical Forms: A Study based on Large Language Models [47.08364281023261]
大規模言語モデル(LLM)は、自然言語生成において印象的な能力を示している。しかし、それらの出力品質は矛盾する可能性があり、論理形式(LF)から自然言語を生成する上での課題を提起する。
論文参考訳（メタデータ） (2023-09-21T17:54:58Z)
Extrapolating Multilingual Understanding Models as Multilingual Generators [82.1355802012414]
本稿では,多言語理解モデルに統一モデルを得るための生成能力を付与する手法について検討する。少数の新しいパラメータを持つ多言語ジェネレータにエンコーダを適用するために,textbfSemantic-textbfGuided textbfAlignment-then-Denoising (SGA)アプローチを提案する。
論文参考訳（メタデータ） (2023-05-22T15:33:21Z)
Word Embeddings Are Steers for Language Models [57.83026781380927]
このようなステアをLM-Steersと呼び、すべてのサイズのLMに存在するものを見つけます。言語モデルのデトックス化や感情制御といったタスクでは、LM-Steersは同等または優れたパフォーマンスを達成することができる。 LM-Steerは明示的な形式計算により異なる言語モデル間で転送可能である。
論文参考訳（メタデータ） (2023-05-22T07:52:04Z)
Bridging the Gap Between Training and Inference of Bayesian Controllable Language Models [58.990214815032495]
大規模事前学習型言語モデルは、自然言語生成タスクにおいて大きな成功を収めている。 BCLMは制御可能な言語生成において効率的であることが示されている。本稿では,ミスマッチ問題を少ない計算コストで軽減する制御可能な言語生成のための"Gemini Discriminator"を提案する。
論文参考訳（メタデータ） (2022-06-11T12:52:32Z)
Measuring Attribution in Natural Language Generation Models [14.931889185122213]
本稿では、自然言語生成モデルの出力を評価するためのAIS(Attributable to Identified Sources)という新しい評価フレームワークを提案する。まず、AISを定義し、アノテータがモデル出力を適切に評価できるように、2段階のアノテーションパイプラインを導入します。
論文参考訳（メタデータ） (2021-12-23T22:33:20Z)
Towards Language Modelling in the Speech Domain Using Sub-word Linguistic Units [56.52704348773307]
音節や音素を含む言語単位に基づくLSTMに基づく新しい生成音声LMを提案する。限られたデータセットでは、現代の生成モデルで要求されるものよりも桁違いに小さいので、我々のモデルはバブリング音声を近似する。補助的なテキストLM,マルチタスク学習目標,補助的な調音特徴を用いた訓練の効果を示す。
論文参考訳（メタデータ） (2021-10-31T22:48:30Z)
Multimodal Conditionality for Natural Language Generation [0.0]
MAnTiSは、トランスフォーマーベースの自然言語生成モデルにおけるマルチモーダル条件に対する一般的なアプローチである。我々は、製品記述生成タスクにMAnTiSを適用し、製品イメージとタイトルの両方にネットワークを条件付け、記述テキストを生成する。
論文参考訳（メタデータ） (2021-09-02T22:06:07Z)
Natural Language Generation Using Link Grammar for General Conversational Intelligence [0.0]
Link Grammarデータベースを用いて,文法的に有効な文を自動的に生成する手法を提案する。この自然言語生成方法は、最先端のベースラインをはるかに上回り、プロトAGI質問応答パイプラインの最終コンポーネントとして機能する。
論文参考訳（メタデータ） (2021-04-19T06:16:07Z)
Unnatural Language Inference [48.45003475966808]
我々は、RoBERTaやBARTのような最先端のNLIモデルは、ランダムに並べ替えられた単語の例に不変であり、時にはよりよく機能することさえあります。我々の発見は、自然言語理解モデルと、その進捗を測定するために使われるタスクが、本当に人間のような構文理解を必要とするという考えに疑問を投げかけている。
論文参考訳（メタデータ） (2020-12-30T20:40:48Z)
Unsupervised Paraphrasing with Pretrained Language Models [85.03373221588707]
教師なし環境で,事前学習した言語モデルを用いて高品質なパラフレーズを生成する訓練パイプラインを提案する。提案手法は,タスク適応,自己スーパービジョン,動的ブロッキング(Dynamic Blocking)という新しい復号アルゴリズムから構成される。提案手法は,Quora Question PairとParaNMTの両方のデータセット上で,最先端の性能を達成できることを示す。
論文参考訳（メタデータ） (2020-10-24T11:55:28Z)
ETC-NLG: End-to-end Topic-Conditioned Natural Language Generation [1.0152838128195467]
Plug-and-play言語モデル(PPLM)は、予測トークン分布を選択されたトピックに向けて制御するために使用する属性モデルと、大きな事前学習されたジェネレータをペアにすることで、トピック条件の自然言語生成を可能にする。 ETC-NLGは、文書コレクションの創発的なトピックに対して、完全に教師なしのトピック・ツー・エンドのトピック・コンディション・自然言語生成を可能にするためにトピック・モデリング・アノテーションを活用するアプローチである。
論文参考訳（メタデータ） (2020-08-25T08:22:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。