論文の概要: Investigating Effect of Dialogue History in Multilingual Task Oriented Dialogue Systems

• arxiv url: http://arxiv.org/abs/2112.12318v1
• Date: Thu, 23 Dec 2021 02:27:10 GMT
• ステータス: 処理完了
• システム内更新日: 2021-12-25 01:54:38.071321
• Title: Investigating Effect of Dialogue History in Multilingual Task Oriented Dialogue Systems
• Title（参考訳）: 多言語タスク指向対話システムにおける対話履歴の検討
• Authors: Michael Sun, Kaili Huang, and Mehrad Moradshahi
• Abstract要約: 2021年12月までに、世界で最も人気のあるスマートスピーカーの1つであるAlexaは、9つの異なる言語をサポートすることができる。 他の言語での仮想アシスタントのトレーニングは、特に低リソース言語では、しばしば困難である。 我々は多言語タスク指向対話システムのための効率的かつ効果的な学習ソリューションを考案する。
• 参考スコア（独自算出の注目度）: 2.695466667982714
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: While the English virtual assistants have achieved exciting performance with an enormous amount of training resources, the needs of non-English-speakers have not been satisfied well. Up to Dec 2021, Alexa, one of the most popular smart speakers around the world, is able to support 9 different languages [1], while there are thousands of languages in the world, 91 of which are spoken by more than 10 million people according to statistics published in 2019 [2]. However, training a virtual assistant in other languages than English is often more difficult, especially for those low-resource languages. The lack of high-quality training data restricts the performance of models, resulting in poor user satisfaction. Therefore, we devise an efficient and effective training solution for multilingual task-orientated dialogue systems, using the same dataset generation pipeline and end-to-end dialogue system architecture as BiToD[5], which adopted some key design choices for a minimalistic natural language design where formal dialogue states are used in place of natural language inputs. This reduces the room for error brought by weaker natural language models, and ensures the model can correctly extract the essential slot values needed to perform dialogue state tracking (DST). Our goal is to reduce the amount of natural language encoded at each turn, and the key parameter we investigate is the number of turns (H) to feed as history to model. We first explore the turning point where increasing H begins to yield limiting returns on the overall performance. Then we examine whether the examples a model with small H gets wrong can be categorized in a way for the model to do few-shot finetuning on. Lastly, will explore the limitations of this approach, and whether there is a certain type of examples that this approach will not be able to resolve.
• Abstract（参考訳）: 英語のバーチャルアシスタントは膨大なトレーニングリソースでエキサイティングなパフォーマンスを達成したが、非英語話者のニーズは十分に満たされていない。 2021年12月までに、世界で最も人気のあるスマートスピーカーの1つであるAlexaは、9つの異なる言語[1]をサポートすることができる。 しかし、特に低リソース言語では、英語以外の言語での仮想アシスタントのトレーニングは困難であることが多い。 高品質なトレーニングデータがないため、モデルの性能が制限され、ユーザ満足度は低下する。 そこで本研究では,自然言語入力に代えて形式的対話状態を用いるミニマリズム自然言語設計のためのキー設計選択を採用したbitod[5]と同じデータセット生成パイプラインとエンド・ツー・エンド対話システムアーキテクチャを用いて,多言語タスク指向対話システムのための効率的かつ効果的な学習ソリューションを考案する。 これにより、より弱い自然言語モデルによるエラーの余地を減らし、モデルが対話状態追跡(DST)を実行するのに必要なスロット値を正しく抽出できるようにする。 我々のゴールは、各ターンで符号化された自然言語の量を減らすことであり、調査する重要なパラメータは、履歴としてモデル化するターン数(H)である。 まず、hの増加が全体的なパフォーマンスに限界のリターンをもたらし始めるターニングポイントを調べます。 次に、hが小さいモデルが間違っている場合の例を、モデルが数秒の微調整を行う方法で分類できるかどうかを調べる。 最後に、このアプローチの限界と、このアプローチが解決できない特定の種類の例があるかどうかについて検討する。

関連論文リスト

• ChatZero:Zero-shot Cross-Lingual Dialogue Generation via Pseudo-Target Language [53.8622516025736]
  そこで本研究では,言語間符号切替方式に基づく,エンドツーエンドのゼロショット対話生成モデルChatZeroを提案する。 多言語DailyDialogとDSTC7-AVSDデータセットの実験は、ChatZeroが元のパフォーマンスの90%以上を達成することを示した。
  論文  参考訳（メタデータ） (2024-08-16T13:11:53Z)
• Adapting Multilingual Speech Representation Model for a New, Underresourced Language through Multilingual Fine-tuning and Continued Pretraining [2.3513645401551333]
  既存の多言語wav2vec 2.0モデルを新しい言語に適用する可能性を検討する。 この結果から, 継続事前学習がwav2vec 2.0モデルを新しい言語に適応させる最も効果的な方法であることが示唆された。 関連言語の種類や類似した音韻特性を持つ非関連言語で事前訓練されたモデルが利用可能である場合,その言語からの付加データを用いた多言語微調整は,音声認識性能に肯定的な影響を及ぼす可能性がある。
  論文  参考訳（メタデータ） (2023-01-18T03:57:53Z)
• Low-Resource Multilingual and Zero-Shot Multispeaker TTS [25.707717591185386]
  5分間のトレーニングデータを用いて,新しい言語を学習することが可能であることを示す。 提案手法を,対象話者との親密性,自然性,類似性の観点から示す。
  論文  参考訳（メタデータ） (2022-10-21T20:03:37Z)
• Cross-Lingual Dialogue Dataset Creation via Outline-Based Generation [70.81596088969378]
  言語間アウトラインに基づく対話データセット(COD)は、自然言語の理解を可能にする。 CODは、4つの異なる言語で対話状態の追跡とエンドツーエンドの対話モデリングと評価を可能にする。
  論文  参考訳（メタデータ） (2022-01-31T18:11:21Z)
• Neural Models for Offensive Language Detection [0.0]
  攻撃的言語検出は、成長を続ける自然言語処理(NLP)アプリケーションである。 このような有害なコンテンツと戦うために、さまざまな機械学習モデルの改善と比較に貢献することが、この論文の重要な、挑戦的な目標である、と私たちは信じています。
  論文  参考訳（メタデータ） (2021-05-30T13:02:45Z)
• Crossing the Conversational Chasm: A Primer on Multilingual Task-Oriented Dialogue Systems [51.328224222640614]
  大規模な学習済みニューラルネットワークモデルに基づく最新のTODモデルは、データ空腹です。 ToDのユースケースのデータ取得は高価で面倒だ。
  論文  参考訳（メタデータ） (2021-04-17T15:19:56Z)
• Comparison of Interactive Knowledge Base Spelling Correction Models for Low-Resource Languages [81.90356787324481]
  低リソース言語に対する正規化の推進は、パターンの予測が難しいため、難しい作業である。 この研究は、ターゲット言語データに様々な量を持つニューラルモデルとキャラクタ言語モデルの比較を示す。 我々の利用シナリオは、ほぼゼロのトレーニング例によるインタラクティブな修正であり、より多くのデータが収集されるにつれてモデルを改善する。
  論文  参考訳（メタデータ） (2020-10-20T17:31:07Z)
• Language Models as Few-Shot Learner for Task-Oriented Dialogue Systems [74.8759568242933]
  タスク指向対話システムは、自然言語理解(NLU)、対話状態追跡(DST)、対話ポリシー(DP)、自然言語生成(NLG)の4つの連結モジュールを使用する。 研究課題は、データ収集に関連する高コストから最小限のサンプルで各モジュールを学習することである。 我々は,NLU,DP,NLGタスクにおいて,言語モデルの素小ショット能力を評価する。
  論文  参考訳（メタデータ） (2020-08-14T08:23:21Z)
• TOD-BERT: Pre-trained Natural Language Understanding for Task-Oriented Dialogue [113.45485470103762]
  本研究では,言語モデリングのためのタスク指向対話データセットを,人間とマルチターンの9つに統合する。 事前学習時の対話動作をモデル化するために,ユーザトークンとシステムトークンをマスク付き言語モデルに組み込む。
  論文  参考訳（メタデータ） (2020-04-15T04:09:05Z)
• Deep Learning Models for Multilingual Hate Speech Detection [5.977278650516324]
  本稿では、16の異なるソースから9言語で多言語ヘイトスピーチを大規模に分析する。 低リソース設定では、ロジスティック回帰を用いたLASER埋め込みのような単純なモデルが最善である。 ゼロショット分類の場合、イタリア語やポルトガル語のような言語は良い結果をもたらす。
  論文  参考訳（メタデータ） (2020-04-14T13:14:27Z)
• From English To Foreign Languages: Transferring Pre-trained Language Models [0.12691047660244334]
  事前訓練されたモデルは、多くの下流自然言語処理(NLP)タスクにおいてその効果を実証している。 多言語事前訓練モデルの可用性により、高リソース言語から低リソース言語へのNLPタスクのゼロショット転送が可能となる。 我々は,既存の事前学習されたモデルを,限定的な計算予算の下で英語から他言語に移行する問題に対処する。
  論文  参考訳（メタデータ） (2020-02-18T00:22:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。