Fugu-MT 論文翻訳(概要): Naturalness Evaluation of Natural Language Generation in Task-oriented Dialogues using BERT

論文の概要: Naturalness Evaluation of Natural Language Generation in Task-oriented Dialogues using BERT

arxiv url: http://arxiv.org/abs/2109.02938v1
Date: Tue, 7 Sep 2021 08:40:14 GMT
ステータス: 処理完了
システム内更新日: 2021-09-08 14:52:31.175789
Title: Naturalness Evaluation of Natural Language Generation in Task-oriented Dialogues using BERT
Title（参考訳）: BERTを用いたタスク指向対話における自然言語生成の自然性評価
Authors: Ye Liu, Wolfgang Maier, Wolfgang Minker and Stefan Ultes
Abstract要約: 本稿では,対話システムにおける自然言語生成の自然性を評価する手法を提案する。 BERTモデルの微調整により,提案した自然度評価法は,ロバストな結果を示し,ベースラインよりも優れた性能を示す。
参考スコア（独自算出の注目度）: 6.1478669848771546
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: This paper presents an automatic method to evaluate the naturalness of natural language generation in dialogue systems. While this task was previously rendered through expensive and time-consuming human labor, we present this novel task of automatic naturalness evaluation of generated language. By fine-tuning the BERT model, our proposed naturalness evaluation method shows robust results and outperforms the baselines: support vector machines, bi-directional LSTMs, and BLEURT. In addition, the training speed and evaluation performance of naturalness model are improved by transfer learning from quality and informativeness linguistic knowledge.
Abstract（参考訳）: 本稿では,対話システムにおける自然言語生成の自然性を評価する自動手法を提案する。このタスクは以前,費用と時間のかかる人的労働によって行われたが,生成言語の自動自然度評価という新たな課題を提示する。 BERTモデルの微調整により,提案手法は頑健な結果を示し,サポートベクトルマシン,双方向LSTM,BLEURTなどのベースラインよりも優れた性能を示す。また、品質と情報性に関する言語知識の伝達学習により、自然性モデルの学習速度と評価性能を向上させる。

関連論文リスト

Injecting linguistic knowledge into BERT for Dialogue State Tracking [60.42231674887294]
本稿では,教師なしの枠組みを用いて言語知識を抽出する手法を提案する。次に、この知識を用いて、対話状態追跡(DST)タスクにおけるBERTの性能と解釈可能性を高める。このフレームワークを様々なDSTタスクでベンチマークし、精度の顕著な改善を観察する。
論文参考訳（メタデータ） (2023-11-27T08:38:42Z)
Context-Tuning: Learning Contextualized Prompts for Natural Language Generation [52.835877179365525]
自然言語生成のための微調整PLMに対して,Context-Tuningと呼ばれる新しい連続的プロンプト手法を提案する。まず、入力テキストに基づいてプロンプトを導出し、PLMから有用な知識を抽出して生成する。第二に、生成したテキストの入力に対する関連性をさらに高めるために、連続的な逆プロンプトを用いて自然言語生成のプロセスを洗練する。
論文参考訳（メタデータ） (2022-01-21T12:35:28Z)
NATURE: Natural Auxiliary Text Utterances for Realistic Spoken Language Evaluation [7.813460653362095]
スロット充填と意図検出は音声アシスタントのような会話エージェントのバックボーンであり、研究の活発な領域である。公開されているベンチマークの最先端技術は素晴らしいパフォーマンスを示しているが、現実的なシナリオに一般化する能力はまだ実証されていない。本稿では,発話のセマンティクスを保ちながら,人間の話し言葉のバリエーションを導入するためのデータセットの評価セットに適用した,単純な音声言語指向変換の集合について述べる。
論文参考訳（メタデータ） (2021-11-09T15:09:06Z)
Evaluating the Morphosyntactic Well-formedness of Generated Texts [88.20502652494521]
L'AMBRE – テキストのモルフォシンタク的整形性を評価する指標を提案する。形態的に豊かな言語に翻訳するシステムのダイアクロニックスタディを通じて,機械翻訳作業におけるメトリックの有効性を示す。
論文参考訳（メタデータ） (2021-03-30T18:02:58Z)
TextFlint: Unified Multilingual Robustness Evaluation Toolkit for Natural Language Processing [73.16475763422446]
NLPタスク(TextFlint)のための多言語ロバスト性評価プラットフォームを提案する。普遍的なテキスト変換、タスク固有の変換、敵攻撃、サブポピュレーション、およびそれらの組み合わせを取り入れ、包括的な堅牢性分析を提供する。 TextFlintは、モデルの堅牢性の欠点に対処するために、完全な分析レポートとターゲットとした拡張データを生成します。
論文参考訳（メタデータ） (2021-03-21T17:20:38Z)
Self-Paced Learning for Neural Machine Translation [55.41314278859938]
ニューラルネットワーク翻訳(NMT)訓練のためのセルフペースト学習を提案する。提案モデルでは,強いベースラインよりも優れた性能が得られることを示す。
論文参考訳（メタデータ） (2020-10-09T11:33:16Z)
Automating Text Naturalness Evaluation of NLG Systems [0.0]
本稿では,テキストの自然性評価を自動化する試みについて述べる。テキストサンプルのスコア付けやラベル付けに人間の参加者に頼る代わりに,プロセスの自動化を提案する。テキストの確率分数を分析し、生成的および識別的モデルのサイズの影響を観察する。
論文参考訳（メタデータ） (2020-06-23T18:48:33Z)
Exploring Software Naturalness through Neural Language Models [56.1315223210742]
ソフトウェア自然性仮説(Software Naturalness hypothesis)は、自然言語処理で使用されるのと同じ手法でプログラミング言語を理解することができると主張している。この仮説は,事前学習されたトランスフォーマーベース言語モデルを用いて,コード解析タスクを実行することによって検討する。
論文参考訳（メタデータ） (2020-06-22T21:56:14Z)
A Hybrid Natural Language Generation System Integrating Rules and Deep Learning Algorithms [13.288402527470591]
本稿では,ルールベースアプローチと最新のディープラーニングアルゴリズムの両方の利点を組み合わせた,強化された自然言語生成システムを提案する。また,自然言語処理の性能を包括的かつ正確に測定するために,HMCUと呼ばれる新しい手法を考案した。
論文参考訳（メタデータ） (2020-06-15T00:50:41Z)
Boosting Naturalness of Language in Task-oriented Dialogues via Adversarial Training [29.468502787886813]
我々は、より人間的な反応を生み出すために、敵の訓練を統合することを提案する。 RNN-LGレストランデータセットでは、我々のモデルAdvNLGは、BLEUの3.6%で過去の最先端結果を上回っている。
論文参考訳（メタデータ） (2020-04-30T03:35:20Z)
Stochastic Natural Language Generation Using Dependency Information [0.7995360025953929]
本稿では,自然言語テキストを生成するコーパスベースモデルを提案する。我々のモデルは、特徴集合を通じてトレーニングデータから依存関係を符号化し、与えられた意味表現のための新しい依存木を生成する。本モデルでは, 品質だけでなく, 情報性, 自然性といった面においても, 高品質な発話を生成できることが示されている。
論文参考訳（メタデータ） (2020-01-12T09:40:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。