論文の概要: Exploring the Robustness of Task-oriented Dialogue Systems for Colloquial German Varieties

• arxiv url: http://arxiv.org/abs/2402.02078v1
• Date: Sat, 3 Feb 2024 08:16:43 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-06 22:13:11.173391
• Title: Exploring the Robustness of Task-oriented Dialogue Systems for Colloquial German Varieties
• Title（参考訳）: 口語ドイツ語変種に対するタスク指向対話システムのロバスト性を探る
• Authors: Ekaterina Artemova and Verena Blaschke and Barbara Plank
• Abstract要約: 我々は、意図認識とスロット充足のための共同モデルを英語で訓練し、それを他の言語に適用する。 英語の品種に関する先行研究に触発されて、ドイツ語の文を口語形式に変換する摂動規則を手作業で作成し、評価する。 ToDシステムでは,口語品種に適用した場合,意図認識性能を維持し,平均精度で6%(4.62ポイント)の精度が低下することが実証された。
• 参考スコア（独自算出の注目度）: 29.005455590041503
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Mainstream cross-lingual task-oriented dialogue (ToD) systems leverage the transfer learning paradigm by training a joint model for intent recognition and slot-filling in English and applying it, zero-shot, to other languages. We address a gap in prior research, which often overlooked the transfer to lower-resource colloquial varieties due to limited test data. Inspired by prior work on English varieties, we craft and manually evaluate perturbation rules that transform German sentences into colloquial forms and use them to synthesize test sets in four ToD datasets. Our perturbation rules cover 18 distinct language phenomena, enabling us to explore the impact of each perturbation on slot and intent performance. Using these new datasets, we conduct an experimental evaluation across six different transformers. Here, we demonstrate that when applied to colloquial varieties, ToD systems maintain their intent recognition performance, losing 6% (4.62 percentage points) in accuracy on average. However, they exhibit a significant drop in slot detection, with a decrease of 31% (21 percentage points) in slot F1 score. Our findings are further supported by a transfer experiment from Standard American English to synthetic Urban African American Vernacular English.
• Abstract（参考訳）: 主流言語間タスク指向対話(ToD)システムは、意図認識とスロットフィリングのための共同モデルを英語で訓練し、それをゼロショットで他の言語に適用することにより、伝達学習パラダイムを活用する。 先行研究のギャップに対処し,テストデータに制限があるため,低リソースの口語型への移行をしばしば見落としていた。 英語の変種に関する先行研究に触発されて、ドイツ語の文を口語形式に変換する摂動規則を作成し、手動で評価し、4つのToDデータセットでテストセットを合成する。 摂動規則は18の異なる言語現象をカバーしており、各摂動がスロットや意図のパフォーマンスに与える影響を探索することができる。 これらの新しいデータセットを用いて、6つの変圧器の実験的評価を行う。 ここでは,各品種に適用した場合,ToDシステムは意図認識性能を維持し,平均精度で6%(4.62ポイント)を失うことを示した。 しかし、スロットF1スコアの31%(21ポイント)が減少し、スロット検出が大幅に低下した。 本研究は,標準アメリカ英語から人工都市アフリカアメリカ英語への移行実験により,さらに支持された。

関連論文リスト

• The Lou Dataset -- Exploring the Impact of Gender-Fair Language in German Text Classification [57.06913662622832]
  ジェンダーフェア言語は、すべての性別に対処したり、中立形を使用することによって包摂性を促進する。 ジェンダーフェア言語はラベルを反転させ、確実性を減らし、注意パターンを変化させることで予測に大きな影響を及ぼす。 ドイツ語のテキスト分類への影響について最初の知見を提供する一方で、他の言語にもその知見が当てはまる可能性が高い。
  論文  参考訳（メタデータ） (2024-09-26T15:08:17Z)
• Zero-shot Cross-lingual Stance Detection via Adversarial Language Adaptation [7.242609314791262]
  本稿では,ゼロショット言語間スタンス検出,多言語翻訳拡張BERT (MTAB) に対する新しいアプローチを提案する。 本手法では,ゼロショット性能を向上させるために翻訳拡張を用い,モデルの有効性をさらに向上するために,対角学習と組み合わせる。 提案手法の有効性を実証し,強力なベースラインモデルと改良されたモデルとの比較を行った。
  論文  参考訳（メタデータ） (2024-04-22T16:56:43Z)
• Prosody in Cascade and Direct Speech-to-Text Translation: a case study on Korean Wh-Phrases [79.07111754406841]
  本研究は,韻律が重要な役割を果たす発話を明瞭にするための直接S2TTシステムの能力を評価するために,コントラスト評価を用いることを提案する。 本結果は,カスケード翻訳モデルよりも直接翻訳システムの価値を明確に示すものである。
  論文  参考訳（メタデータ） (2024-02-01T14:46:35Z)
• DISCO: A Large Scale Human Annotated Corpus for Disfluency Correction in Indo-European Languages [68.66827612799577]
  ディフルエンシ補正(Disfluency correction, DC)とは、話し言葉からフィラー、繰り返し、訂正などの不適切な要素を取り除き、読みやすく解釈可能なテキストを作成する過程である。 Indo-Europeanの4つの重要な言語(英語、ヒンディー語、ドイツ語、フランス語)を網羅した、高品質な人間の注釈付きDCコーパスを提示する。 最新の機械翻訳(MT)システムと併用した場合,DCはBLEUスコアを平均5.65ポイント増加させることを示す。
  論文  参考訳（メタデータ） (2023-10-25T16:32:02Z)
• Unlikelihood Tuning on Negative Samples Amazingly Improves Zero-Shot Translation [79.96416609433724]
  Zero-shot Translation (ZST)は、トレーニングデータにおいて、目に見えない言語ペア間の翻訳を目的としている。 推論中にゼロショット言語マッピングをガイドする一般的な方法は、ソースとターゲット言語IDを意図的に挿入することである。 近年の研究では、言語IDが時折ZSTタスクのナビゲートに失敗し、ターゲット外問題に悩まされることが示されている。
  論文  参考訳（メタデータ） (2023-09-28T17:02:36Z)
• BUFFET: Benchmarking Large Language Models for Few-shot Cross-lingual Transfer [81.5984433881309]
  本稿では,54言語にまたがる15のタスクをシーケンス・ツー・シーケンス・フォーマットで統一するBUFFETを紹介する。 BUFFETは、数発の言語間移動のための厳密で公平な評価フレームワークを確立するように設計されている。 コンテクスト内言語間移動における改善の余地は極めて大きいことが判明した。
  論文  参考訳（メタデータ） (2023-05-24T08:06:33Z)
• Bridging the Domain Gap for Stance Detection for the Zulu language [6.509758931804479]
  文献で誤情報と戦うための既存のAIベースのアプローチは、自動姿勢検出を成功への不可欠な第一歩として示唆している。 そこで本研究では,ドメイン間のギャップを減らすために,ドメイン適応の手法を利用するブラックボックス非侵入手法を提案する。 これにより、英語で見られるように、この研究のターゲット言語であるズールー語に対するスタンス検出において、同様の結果を迅速に得ることができる。
  論文  参考訳（メタデータ） (2022-05-06T11:44:35Z)
• Oolong: Investigating What Makes Transfer Learning Hard with Controlled Studies [21.350999136803843]
  GLUEベンチマークの言語を体系的に変換し、言語間変動の1軸を一度に変更する。 モデルが構文的変化から大きく回復することはできるが,語彙的誤りから回復することは不可能である。 我々の実験は、言語移行シナリオを設計する際に研究者が最も注目すべき言語間移動の要因に関する洞察を提供する。
  論文  参考訳（メタデータ） (2022-02-24T19:00:39Z)
• Matching Tweets With Applicable Fact-Checks Across Languages [27.762055254009017]
  ソーシャルメディア投稿(ツイート)のクレームに対する既存のファクトチェックを自動的に見つけることに重点を置いています。 モノリンガル(英語のみ)、マルチリンガル(スペイン語、ポルトガル語)、クロスリンガル(ヒンディー語-英語)の設定において、分類と検索の両方の実験を行う。 4つの言語対における「マッチ」分類(平均精度93%)の有望な結果を示す。
  論文  参考訳（メタデータ） (2022-02-14T23:33:02Z)
• IGLUE: A Benchmark for Transfer Learning across Modalities, Tasks, and Languages [87.5457337866383]
  画像認識言語理解評価ベンチマークについて紹介する。 IGLUEは、視覚的質問応答、クロスモーダル検索、グラウンドド推論、20言語にわたるグラウンドドエンターテイメントタスクをまとめて提供する。 翻訳-テストの転送はゼロショットの転送よりも優れており、少数ショットの学習は多くのタスクに役立てることが難しい。
  論文  参考訳（メタデータ） (2022-01-27T18:53:22Z)
• Few-Shot Cross-Lingual Stance Detection with Sentiment-Based Pre-Training [32.800766653254634]
  本研究は,現在までの言語間スタンス検出に関する最も包括的な研究である。 6つの言語ファミリーの12言語で15の多様なデータセットを使用します。 実験では,新しいラベルエンコーダの追加を提案し,パターン探索トレーニングを構築した。
  論文  参考訳（メタデータ） (2021-09-13T15:20:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。