論文の概要: Neural Language Generation: Formulation, Methods, and Evaluation
- arxiv url: http://arxiv.org/abs/2007.15780v1
- Date: Fri, 31 Jul 2020 00:08:28 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-04 05:37:10.715924
- Title: Neural Language Generation: Formulation, Methods, and Evaluation
- Title（参考訳）: ニューラル言語生成:定式化、方法、および評価
- Authors: Cristina Garbacea, Qiaozhu Mei
- Abstract要約: ニューラルネットワークに基づく生成モデリングの最近の進歩は、人間とシームレスに会話できるコンピュータシステムの実現への期待を再燃させた。
大規模データセットでトレーニングされた高容量ディープラーニングモデルは、明示的な監視信号の欠如にもかかわらず、データのパターンを学習する非並列的な能力を示している。
これらの生成モデルが生成するテキストの品質を評価する標準的な方法は存在しないため、フィールドの進行に深刻なボトルネックが生じる。
- 参考スコア（独自算出の注目度）: 13.62873478165553
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recent advances in neural network-based generative modeling have reignited
the hopes in having computer systems capable of seamlessly conversing with
humans and able to understand natural language. Neural architectures have been
employed to generate text excerpts to various degrees of success, in a
multitude of contexts and tasks that fulfil various user needs. Notably, high
capacity deep learning models trained on large scale datasets demonstrate
unparalleled abilities to learn patterns in the data even in the lack of
explicit supervision signals, opening up a plethora of new possibilities
regarding producing realistic and coherent texts. While the field of natural
language generation is evolving rapidly, there are still many open challenges
to address. In this survey we formally define and categorize the problem of
natural language generation. We review particular application tasks that are
instantiations of these general formulations, in which generating natural
language is of practical importance. Next we include a comprehensive outline of
methods and neural architectures employed for generating diverse texts.
Nevertheless, there is no standard way to assess the quality of text produced
by these generative models, which constitutes a serious bottleneck towards the
progress of the field. To this end, we also review current approaches to
evaluating natural language generation systems. We hope this survey will
provide an informative overview of formulations, methods, and assessments of
neural natural language generation.
- Abstract（参考訳）: ニューラルネットワークに基づく生成モデリングの最近の進歩は、コンピュータシステムが人間とシームレスに会話でき、自然言語を理解できることを期待している。
ニューラルネットワークは、さまざまなユーザニーズを満たすさまざまなコンテキストやタスクにおいて、さまざまな成功度に対するテキストの抜粋を生成するために使用されている。
特に、大規模データセットでトレーニングされた高容量のディープラーニングモデルは、明示的な監視信号がなくても、データのパターンを学習する非並列的な能力を示し、現実的で一貫性のあるテキストを生成するための、多くの新しい可能性を開く。
自然言語生成の分野は急速に進化しているが、解決すべきオープンな課題がまだたくさんある。
本調査では,自然言語生成の問題を明確に定義し,分類する。
我々は, 自然言語の生成が実用上重要であるような, 一般的な定式化のインスタンス化である特定のアプリケーションタスクについて検討する。
次に、多様なテキストを生成するのに使用される方法とニューラルネットワークアーキテクチャの概要を紹介する。
それにもかかわらず、これらの生成モデルによって生成されたテキストの品質を評価する標準的な方法は存在しない。
この目的のために、自然言語生成システムの評価に関する現在のアプローチをレビューする。
我々は、この調査が神経自然言語生成の定式化、方法、および評価の有益な概要を提供することを期待している。
関連論文リスト
- Language Evolution with Deep Learning [49.879239655532324]
計算モデリングは言語の出現の研究において重要な役割を担っている。
構造化言語の出現を誘発する可能性のある条件と学習プロセスをシミュレートすることを目的としている。
この章では、最近機械学習の分野に革命をもたらした別の種類の計算モデル、ディープ・ラーニング・モデルについて論じる。
論文 参考訳（メタデータ） (2024-03-18T16:52:54Z) - Controllable Text Generation for Open-Domain Creativity and Fairness [36.744208990024575]
言語生成モデルの創造性と公平性を高めるために,制御可能なテキスト生成に関する最近の研究を紹介する。
階層的生成と制約付き復号化を探求し、物語、詩、図形言語を含む創造的な言語生成に適用する。
論文 参考訳（メタデータ） (2022-09-24T22:40:01Z) - Why is constrained neural language generation particularly challenging? [13.62873478165553]
本稿では、制約付きニューラルネットワーク生成の新たな話題について広範な調査を行う。
我々は条件と制約を区別し、制約付きテキスト生成タスクを提示し、制約付きテキスト生成のための既存の方法と評価指標をレビューする。
我々の目標は、この新興分野の最近の進歩とトレンドを強調し、最も有望な方向性と、制約のあるニューラルネットワーク生成研究の最先端への限界を知らせることである。
論文 参考訳（メタデータ） (2022-06-11T02:07:33Z) - Recent Advances in Neural Text Generation: A Task-Agnostic Survey [20.932460734129585]
本稿では,ニューラルテキスト生成の最近の進歩を包括的かつタスク依存的に調査する。
これらの進歩は、データ構築、ニューラルネットワーク、トレーニングと推論戦略、評価指標の4つの重要な領域に分類します。
本稿では,ニューラルネットワークの利用と背景知識の導入を含む,ニューラルテキスト生成の進歩に向けた今後の方向性について検討する。
論文 参考訳（メタデータ） (2022-03-06T20:47:49Z) - Deep Latent-Variable Models for Text Generation [7.119436003155924]
ディープニューラルネットワークベースのエンドツーエンドアーキテクチャが広く採用されている。
エンドツーエンドのアプローチは、以前は複雑な手作りのルールで設計されていたすべてのサブモジュールを、全体的なエンコード・デコードアーキテクチャに融合させる。
この論文は、テキスト生成のための標準エンコーダデコーダモデルよりも、潜伏変数の深いモデルがいかに改善できるかを示す。
論文 参考訳（メタデータ） (2022-03-03T23:06:39Z) - Typical Decoding for Natural Language Generation [76.69397802617064]
本稿は,高確率テキストが退屈あるいは反復的である理由について考察する。
典型的なサンプリングでは,品質面での競争性能が期待できる。
論文 参考訳（メタデータ） (2022-02-01T18:58:45Z) - Towards Zero-shot Language Modeling [90.80124496312274]
人間の言語学習に誘導的に偏りを持つニューラルモデルを構築した。
類型的に多様な訓練言語のサンプルからこの分布を推測する。
我々は、保留言語に対する遠隔監視として、追加の言語固有の側情報を利用する。
論文 参考訳（メタデータ） (2021-08-06T23:49:18Z) - Deep Learning for Text Style Transfer: A Survey [71.8870854396927]
テキストスタイル転送は、生成したテキストの特定の属性を制御することを目的として、自然言語生成において重要なタスクである。
2017年の最初のニューラルテキストスタイル転送作業以降,100以上の代表的な記事を対象とした,ニューラルテキストスタイル転送の研究の体系的な調査を行う。
タスクの定式化、既存のデータセットとサブタスク、評価、並列データと非並列データの存在下での豊富な方法論について論じる。
論文 参考訳（メタデータ） (2020-11-01T04:04:43Z) - A Survey on Recent Approaches for Natural Language Processing in
Low-Resource Scenarios [30.391291221959545]
ディープニューラルネットワークと巨大な言語モデルが、自然言語アプリケーションにおいて一様化しつつある。
大量のトレーニングデータを必要とすることで知られているため、低リソース環境でのパフォーマンスを改善するための作業が増えている。
ニューラルモデルに対する最近の根本的な変化と、一般的なプレトレインおよびファインチューンパラダイムにより、低リソースの自然言語処理に対する有望なアプローチを調査した。
論文 参考訳（メタデータ） (2020-10-23T11:22:01Z) - Positioning yourself in the maze of Neural Text Generation: A
Task-Agnostic Survey [54.34370423151014]
本稿では, ストーリーテリング, 要約, 翻訳など, 世代ごとのタスクインパクトをリレーする手法の構成要素について検討する。
本稿では,学習パラダイム,事前学習,モデリングアプローチ,復号化,各分野における重要な課題について,命令的手法の抽象化を提案する。
論文 参考訳（メタデータ） (2020-10-14T17:54:42Z) - A Survey of Knowledge-Enhanced Text Generation [81.24633231919137]
テキスト生成の目標は、機械を人間の言語で表現できるようにすることである。
入力テキストを出力テキストにマッピングすることを学ぶことで、目的を達成するために、様々なニューラルエンコーダデコーダモデルが提案されている。
この問題に対処するために、研究者は入力テキスト以外の様々な種類の知識を生成モデルに組み込むことを検討してきた。
論文 参考訳（メタデータ） (2020-10-09T06:46:46Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。