論文の概要: A Systematic Study of Performance Disparities in Multilingual Task-Oriented Dialogue Systems

• arxiv url: http://arxiv.org/abs/2310.12892v1
• Date: Thu, 19 Oct 2023 16:41:44 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-20 14:03:44.582734
• Title: A Systematic Study of Performance Disparities in Multilingual Task-Oriented Dialogue Systems
• Title（参考訳）: 多言語タスク指向対話システムにおける性能格差の体系的研究
• Authors: Songbo Hu, Han Zhou, Moy Yuan, Milan Gritta, Guchun Zhang, Ignacio Iacobacci, Anna Korhonen, Ivan Vuli\'c
• Abstract要約: マルチリンガルなタスク指向対話システム間に存在するタスクパフォーマンスの相違を,実証的に分析し,分析する。 我々は現在のToDシステムにおける適応と本質的バイアスの存在を証明した。 本稿では,新しい言語に対するToDデータ収集とシステム開発へのアプローチについて,実践的なヒントを提供する。
• 参考スコア（独自算出の注目度）: 68.76102493999134
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Achieving robust language technologies that can perform well across the world's many languages is a central goal of multilingual NLP. In this work, we take stock of and empirically analyse task performance disparities that exist between multilingual task-oriented dialogue (ToD) systems. We first define new quantitative measures of absolute and relative equivalence in system performance, capturing disparities across languages and within individual languages. Through a series of controlled experiments, we demonstrate that performance disparities depend on a number of factors: the nature of the ToD task at hand, the underlying pretrained language model, the target language, and the amount of ToD annotated data. We empirically prove the existence of the adaptation and intrinsic biases in current ToD systems: e.g., ToD systems trained for Arabic or Turkish using annotated ToD data fully parallel to English ToD data still exhibit diminished ToD task performance. Beyond providing a series of insights into the performance disparities of ToD systems in different languages, our analyses offer practical tips on how to approach ToD data collection and system development for new languages.
• Abstract（参考訳）: 世界中の多くの言語でうまく機能するロバストな言語技術の実現は、多言語nlpの中心的な目標である。 本研究では,多言語タスク指向対話(ToD)システム間に存在するタスク性能の相違を実証的に分析する。 まず,システム性能における絶対的および相対的等価性の新しい定量的尺度を定義し,言語間および個々の言語内における差異を捉えた。 一連の制御実験を通じて,todタスクの性質,基礎となる事前学習された言語モデル,対象言語,todアノテートデータの量など,パフォーマンスの相違がさまざまな要因に依存していることを実証した。 例えば、アラビア語やトルコ語で訓練されたToDシステムは、英語のToDデータと完全に平行な注釈付きToDデータを使用して、今でも減少しているToDタスクのパフォーマンスを示す。 異なる言語におけるToDシステムの性能格差に関する一連の知見を提供するだけでなく、新しい言語に対するToDデータ収集とシステム開発へのアプローチに関する実践的なヒントを提供する。

関連論文リスト

• DIALIGHT: Lightweight Multilingual Development and Evaluation of Task-Oriented Dialogue Systems with Large Language Models [76.79929883963275]
  DIALIGHTは多言語タスク指向対話(ToD)システムの開発と評価のためのツールキットである。 ローカル発話レベルとグローバル対話レベルの両方において、人間のきめ細かい評価のためのセキュアでユーザフレンドリーなWebインターフェースを備えている。 評価の結果, PLMの微調整により精度とコヒーレンスが向上する一方, LLMベースのシステムは多様で類似した応答を生成するのに優れていた。
  論文  参考訳（メタデータ） (2024-01-04T11:27:48Z)
• Cross-Lingual Dialogue Dataset Creation via Outline-Based Generation [70.81596088969378]
  言語間アウトラインに基づく対話データセット(COD)は、自然言語の理解を可能にする。 CODは、4つの異なる言語で対話状態の追跡とエンドツーエンドの対話モデリングと評価を可能にする。
  論文  参考訳（メタデータ） (2022-01-31T18:11:21Z)
• GlobalWoZ: Globalizing MultiWoZ to Develop Multilingual Task-Oriented Dialogue Systems [66.92182084456809]
  本稿では,英語のToDデータセットから大規模多言語ToDデータセットであるGlobalWoZを生成する新しいデータキュレーション手法を提案する。 本手法は,対話テンプレートの翻訳と,対象国におけるローカルエンティティの充填に基づく。 我々はデータセットと強力なベースラインのセットを公開し、実際のユースケースにおける多言語ToDシステムの学習を奨励します。
  論文  参考訳（メタデータ） (2021-10-14T19:33:04Z)
• BiToD: A Bilingual Multi-Domain Dataset For Task-Oriented Dialogue Modeling [52.99188200886738]
  BiToDは、エンドツーエンドのタスク指向対話モデリングのための最初のバイリンガルなマルチドメインデータセットである。 BiToDには、大規模で現実的なバイリンガル知識ベースを持つ7k以上のマルチドメイン対話(144k発声)が含まれている。
  論文  参考訳（メタデータ） (2021-06-05T03:38:42Z)
• Crossing the Conversational Chasm: A Primer on Multilingual Task-Oriented Dialogue Systems [51.328224222640614]
  大規模な学習済みニューラルネットワークモデルに基づく最新のTODモデルは、データ空腹です。 ToDのユースケースのデータ取得は高価で面倒だ。
  論文  参考訳（メタデータ） (2021-04-17T15:19:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。