論文の概要: Learning from Mistakes: Combining Ontologies via Self-Training for Dialogue Generation

• arxiv url: http://arxiv.org/abs/2010.00150v1
• Date: Wed, 30 Sep 2020 23:54:38 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-12 23:36:47.253964
• Title: Learning from Mistakes: Combining Ontologies via Self-Training for Dialogue Generation
• Title（参考訳）: 誤解から学ぶ:対話生成のための自己学習によるオントロジーの組み合わせ
• Authors: Lena Reed, Vrindavan Harrison, Shereen Oraby, Dilek Hakkani-Tur and Marilyn Walker
• Abstract要約: タスク指向対話のための自然言語ジェネレータ(NLG)は通常、意味表現(MR)を入力とする。 新たにより大きく結合したオントロジーを作成し、NLGをトレーニングして、それをカバーする発話を生成します。 例えば、あるデータセットが家族にやさしい情報や評価情報があり、もう1つのデータセットが装飾とサービスの属性を持っている場合、私たちの目標は、家族にやさしい、評価、装飾、サービスの価値を実現する発話を生成できるオントロジーの組み合わせのためのNLGです。
• 参考スコア（独自算出の注目度）: 6.221019624345408
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Natural language generators (NLGs) for task-oriented dialogue typically take a meaning representation (MR) as input. They are trained end-to-end with a corpus of MR/utterance pairs, where the MRs cover a specific set of dialogue acts and domain attributes. Creation of such datasets is labor-intensive and time-consuming. Therefore, dialogue systems for new domain ontologies would benefit from using data for pre-existing ontologies. Here we explore, for the first time, whether it is possible to train an NLG for a new larger ontology using existing training sets for the restaurant domain, where each set is based on a different ontology. We create a new, larger combined ontology, and then train an NLG to produce utterances covering it. For example, if one dataset has attributes for family-friendly and rating information, and the other has attributes for decor and service, our aim is an NLG for the combined ontology that can produce utterances that realize values for family-friendly, rating, decor and service. Initial experiments with a baseline neural sequence-to-sequence model show that this task is surprisingly challenging. We then develop a novel self-training method that identifies (errorful) model outputs, automatically constructs a corrected MR input to form a new (MR, utterance) training pair, and then repeatedly adds these new instances back into the training data. We then test the resulting model on a new test set. The result is a self-trained model whose performance is an absolute 75.4% improvement over the baseline model. We also report a human qualitative evaluation of the final model showing that it achieves high naturalness, semantic coherence and grammaticality
• Abstract（参考訳）: タスク指向対話のための自然言語ジェネレータ(NLG)は通常、意味表現(MR)を入力とする。 これらはMR/音声ペアのコーパスでエンドツーエンドにトレーニングされ、MRは特定の対話動作とドメイン属性のセットをカバーする。 このようなデータセットの作成は労働集約的で時間を要する。 したがって、新しいドメインオントロジーのための対話システムは、既存のオントロジーにデータを使う利点がある。 ここでは、レストランドメインの既存のトレーニングセットを用いて、新しい大きなオントロジーのためにNLGをトレーニングできるかどうかを、各セットが異なるオントロジーに基づいて、初めて検討する。 新たにより大きく結合したオントロジーを作成し、NLGをトレーニングして、それをカバーする発話を生成します。 例えば、あるデータセットが家族にやさしい情報や評価情報があり、もう1つは装飾とサービスの属性がある場合、私たちの目標は、家族にやさしい、評価、装飾、サービスの価値を実現する発話を生成できる、オントロジーの組み合わせのためのNLGです。 ベースラインニューラルシークエンス・ツー・シーケンスモデルによる最初の実験は、このタスクが驚くほど難しいことを示している。 次に、新しい自己学習手法を開発し、(誤り)モデル出力を特定し、修正されたMR入力を自動生成し、新しい(MR、発話)トレーニングペアを作成し、これらの新しいインスタンスをトレーニングデータに繰り返し追加する。 そして、新しいテストセットで結果のモデルをテストします。 その結果、ベースラインモデルよりも75.4%向上した自己学習モデルが得られた。 また, 自然性, 意味的一貫性, 文法性が高まることを示す最終モデルの質的評価について報告する。

関連論文リスト

• End-to-End Ontology Learning with Large Language Models [11.755755139228219]
  大規模言語モデル(LLM)は、オントロジー学習の様々なサブタスクを解決するために応用されている。 我々は、オントロジーの分類学的バックボーンをスクラッチから構築する汎用的でスケーラブルな方法であるOLLMによって、このギャップに対処する。 標準的なメトリクスとは対照的に、私たちのメトリクスは、グラフ間のより堅牢な構造的距離測定を定義するためにディープラーニング技術を使用します。 私たちのモデルは、arXivのような新しいドメインに効果的に適用できます。
  論文  参考訳（メタデータ） (2024-10-31T02:52:39Z)
• How Hard is this Test Set? NLI Characterization by Exploiting Training Dynamics [49.9329723199239]
  本稿では, 実例と非実例を手作業で構築することなく, 挑戦的なテストセットを自動生成する手法を提案する。 一般的なNLIデータセットのテストセットを,トレーニングダイナミクスを利用した3つの難易度に分類する。 我々の評価法がトレーニングセットに適用された場合、トレーニング対象データのごく一部でトレーニングされたモデルは、フルデータセットでトレーニングされたモデルに匹敵するパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2024-10-04T13:39:21Z)
• A Generative Language Model for Few-shot Aspect-Based Sentiment Analysis [90.24921443175514]
  我々は、アスペクト項、カテゴリを抽出し、対応する極性を予測するアスペクトベースの感情分析に焦点を当てる。 本稿では,一方向の注意を伴う生成言語モデルを用いて,抽出タスクと予測タスクをシーケンス生成タスクに再構成することを提案する。 提案手法は,従来の最先端(BERTをベースとした)の性能を,数ショットとフルショットの設定において,大きなマージンで上回ります。
  論文  参考訳（メタデータ） (2022-04-11T18:31:53Z)
• Non-neural Models Matter: A Re-evaluation of Neural Referring Expression Generation Systems [6.651864489482537]
  近年、ニューラルモデルは、NLGにおけるルールベースや古典的な機械学習アプローチよりも優れています。 いくつかのタスクにおいて、よく設計された非神経アプローチは、ニューラルネットワークよりも優れたパフォーマンスを実現するため、それらを見落とすべきではない、と私たちは主張する。
  論文  参考訳（メタデータ） (2022-03-15T21:47:25Z)
• Towards Open-World Feature Extrapolation: An Inductive Graph Learning Approach [80.8446673089281]
  グラフ表現と学習を伴う新しい学習パラダイムを提案する。 本フレームワークは,1) 下位モデルとしてのバックボーンネットワーク(フィードフォワードニューラルネットなど)が,予測ラベルの入力および出力として機能を取り,2) 上位モデルとしてのグラフニューラルネットワークが,観測データから構築された特徴データグラフをメッセージパッシングすることで,新機能の埋め込みを外挿することを学ぶ。
  論文  参考訳（メタデータ） (2021-10-09T09:02:45Z)
• Identifying Untrustworthy Samples: Data Filtering for Open-domain Dialogues with Bayesian Optimization [28.22184410167622]
  オープンドメイン対話のためのデータフィルタリング手法を提案する。 トレーニングサンプルを品質基準で評価し、下位順にソートし、下位でそれらをフィルタリングします。 2つのデータセットに対する実験結果から,本手法は信頼できないサンプルを効果的に同定できることが示唆された。
  論文  参考訳（メタデータ） (2021-09-14T06:42:54Z)
• AUGNLG: Few-shot Natural Language Generation using Self-trained Data Augmentation [26.016540126949103]
  本稿では,自己学習型ニューラル検索モデルと数ショット学習型NLUモデルを組み合わせた新しいデータ拡張手法であるAUGNLGを提案する。 提案方式はBLEUとSlot Error Rateの両方でFewShotWOZデータの最先端の手法よりも優れている。
  論文  参考訳（メタデータ） (2021-06-10T08:45:28Z)
• Learning Better Sentence Representation with Syntax Information [0.0]
  構文情報と予め訓練された言語モデルを組み合わせるための新しいアプローチを提案する。 本モデルは91.2%の精度を達成し, 文完成作業では37.8%の精度でベースラインモデルを上回った。
  論文  参考訳（メタデータ） (2021-01-09T12:15:08Z)
• RADDLE: An Evaluation Benchmark and Analysis Platform for Robust Task-oriented Dialog Systems [75.87418236410296]
  我々はraddleベンチマーク、コーパスのコレクション、および様々なドメインのモデルのパフォーマンスを評価するためのツールを紹介します。 RADDLEは強力な一般化能力を持つモデルを好んで奨励するように設計されている。 先行学習と微調整に基づく最近の最先端システムの評価を行い,異種ダイアログコーパスに基づく基礎的な事前学習が,ドメインごとの個別モデルをトレーニングするよりも優れていることを示す。
  論文  参考訳（メタデータ） (2020-12-29T08:58:49Z)
• Unsupervised Paraphrasing with Pretrained Language Models [85.03373221588707]
  教師なし環境で,事前学習した言語モデルを用いて高品質なパラフレーズを生成する訓練パイプラインを提案する。 提案手法は,タスク適応,自己スーパービジョン,動的ブロッキング(Dynamic Blocking)という新しい復号アルゴリズムから構成される。 提案手法は,Quora Question PairとParaNMTの両方のデータセット上で,最先端の性能を達成できることを示す。
  論文  参考訳（メタデータ） (2020-10-24T11:55:28Z)
• SOLOIST: Building Task Bots at Scale with Transfer Learning and Machine Teaching [81.45928589522032]
  トランスフォーマーに基づく自動回帰言語モデルを用いて,モジュール型タスク指向対話システムをパラメータ化する。 タスクグラウンド応答生成モデルである異種ダイアログコーパスの事前学習を行う。 実験により、SOLOISTは、よく研究されたタスク指向のダイアログベンチマーク上で、新しい最先端のダイアログを生成する。
  論文  参考訳（メタデータ） (2020-05-11T17:58:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。