論文の概要: I$^2$KD-SLU: An Intra-Inter Knowledge Distillation Framework for Zero-Shot Cross-Lingual Spoken Language Understanding

• arxiv url: http://arxiv.org/abs/2310.02594v1
• Date: Wed, 4 Oct 2023 05:45:23 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-05 16:22:22.422662
• Title: I$^2$KD-SLU: An Intra-Inter Knowledge Distillation Framework for Zero-Shot Cross-Lingual Spoken Language Understanding
• Title（参考訳）: I$^2$KD-SLU:ゼロショット音声言語理解のためのイントライントラ知識蒸留フレームワーク
• Authors: Tianjun Mao and Chenghong Zhang
• Abstract要約: ゼロショット音声言語理解のためのイントライントラ知識蒸留フレームワーク(I$2KD-SLU)を提案する。 具体的には,意図予測と同一発話のスロット予測の間に知識内蒸留を適用するだけでなく,意図予測と同一発話のスロット予測との間に知識間蒸留を適用する。 実験の結果,提案するフレームワークは,強靭なベースラインに比べて性能が著しく向上することが示された。
• 参考スコア（独自算出の注目度）: 1.223779595809275
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Spoken language understanding (SLU) typically includes two subtasks: intent detection and slot filling. Currently, it has achieved great success in high-resource languages, but it still remains challenging in low-resource languages due to the scarcity of labeled training data. Hence, there is a growing interest in zero-shot cross-lingual SLU. Despite of the success of existing zero-shot cross-lingual SLU models, most of them neglect to achieve the mutual guidance between intent and slots. To address this issue, we propose an Intra-Inter Knowledge Distillation framework for zero-shot cross-lingual Spoken Language Understanding (I$^2$KD-SLU) to model the mutual guidance. Specifically, we not only apply intra-knowledge distillation between intent predictions or slot predictions of the same utterance in different languages, but also apply inter-knowledge distillation between intent predictions and slot predictions of the same utterance. Our experimental results demonstrate that our proposed framework significantly improves the performance compared with the strong baselines and achieves the new state-of-the-art performance on the MultiATIS++ dataset, obtaining a significant improvement over the previous best model in overall accuracy.
• Abstract（参考訳）: 音声言語理解(SLU)は通常、インテント検出とスロットフィリングの2つのサブタスクを含む。 現時点では、高リソース言語で大きな成功を収めているが、ラベル付きトレーニングデータが不足しているため、低リソース言語では依然として困難である。 したがって、ゼロショット言語間SLUへの関心が高まっている。 既存のゼロショット・クロスランガルSLUモデルの成功にもかかわらず、そのほとんどはインテントとスロット間の相互誘導を怠っている。 この問題を解決するために,ゼロショット言語間言語理解のためのイントラインター知識蒸留フレームワーク(I$^2$KD-SLU)を提案する。 具体的には,意図予測と同一発話のスロット予測の間に知識内蒸留を適用するだけでなく,意図予測と同一発話のスロット予測との間に知識間蒸留を適用する。 実験結果から,提案するフレームワークは,MultiATIS++データセットにおいて,強いベースラインと比較して性能を著しく向上し,新しい最先端性能を実現し,全体の精度において過去のベストモデルよりも大幅に向上したことを示す。

関連論文リスト

• Towards Spoken Language Understanding via Multi-level Multi-grained Contrastive Learning [50.1035273069458]
  音声言語理解(SLU)はタスク指向対話システムにおける中核的なタスクである。 本稿では,発話レベル,スロットレベル,単語レベルを含む3段階のコントラスト学習を実現するためのマルチレベルMMCLフレームワークを提案する。 本フレームワークは,2つの公開マルチインテリジェントSLUデータセットに対して,最先端の新たな結果を実現する。
  論文  参考訳（メタデータ） (2024-05-31T14:34:23Z)
• Cross-Lingual NER for Financial Transaction Data in Low-Resource Languages [70.25418443146435]
  半構造化テキストデータにおける言語間名前認識のための効率的なモデリングフレームワークを提案する。 我々は2つの独立したSMSデータセットを英語とアラビア語で使用し、それぞれが半構造化された銀行取引情報を持っている。 わずか30のラベル付きサンプルにアクセスすることで、我々のモデルは、英語からアラビア語までの商人、金額、その他の分野の認識を一般化することができる。
  論文  参考訳（メタデータ） (2023-07-16T00:45:42Z)
• The Interpreter Understands Your Meaning: End-to-end Spoken Language Understanding Aided by Speech Translation [13.352795145385645]
  音声翻訳(ST)は、エンドツーエンドの音声言語理解のために、音声モデルを事前訓練する良い方法である。 我々は,本モデルが単言語および多言語意図分類に基づくベースラインよりも高い性能を達成することを示す。 また、音声要約のための新しいベンチマークデータセットを作成し、低リソース/ゼロショットを英語からフランス語またはスペイン語に転送する。
  論文  参考訳（メタデータ） (2023-05-16T17:53:03Z)
• Multi-level Contrastive Learning for Cross-lingual Spoken Language Understanding [90.87454350016121]
  コントラスト学習のための難解なサンプルを, あらゆるレベルで生成するコードスイッチング手法を開発した。 言語間知識伝達にラベルセマンティクスを利用するラベル認識ジョイントモデルを開発した。
  論文  参考訳（メタデータ） (2022-05-07T13:44:28Z)
• GL-CLeF: A Global-Local Contrastive Learning Framework for Cross-lingual Spoken Language Understanding [74.39024160277809]
  この問題に対処するために,グローバルローカルコントラスト学習フレームワーク(GL-CLeF)を提案する。 具体的には、比較学習を採用し、二言語辞書を活用して、同じ発話の多言語ビューを構築する。 GL-CLeFは最高のパフォーマンスを達成し、言語間の類似した文の表現をうまくプルする。
  論文  参考訳（メタデータ） (2022-04-18T13:56:58Z)
• From Good to Best: Two-Stage Training for Cross-lingual Machine Reading Comprehension [51.953428342923885]
  モデル性能を向上させるための2段階のアプローチを開発する。 我々は、トップk予測が正確な答えを含む確率を最大化するために、ハードラーニング(HL)アルゴリズムを設計する。 第2段階では, 正解と他の候補との微妙な違いを学習するために, 解答を意識したコントラスト学習機構が開発された。
  論文  参考訳（メタデータ） (2021-12-09T07:31:15Z)
• Towards Multi-Sense Cross-Lingual Alignment of Contextual Embeddings [41.148892848434585]
  本稿では,バイリンガル辞書からのクロスリンガル信号のみを活用して,文脈埋め込みを感覚レベルで整列する新しい枠組みを提案する。 我々はまず,単語感覚を明示的にモデル化するために,新しい感覚認識型クロスエントロピー損失を提案する。 次に,言語間モデル事前学習のための感覚認識型クロスエントロピー損失と,複数の言語対に対する事前訓練型クロス言語モデルの上に,感覚アライメントの目的を提案する。
  論文  参考訳（メタデータ） (2021-03-11T04:55:35Z)
• Mixed-Lingual Pre-training for Cross-lingual Summarization [54.4823498438831]
  言語間の要約は、ソース言語の記事に対する対象言語の要約を作成することを目的としている。 本稿では,翻訳のような言語間タスクと,マスク付き言語モデルのようなモノリンガルタスクの両方を活用する混合言語事前学習に基づくソリューションを提案する。 本モデルでは,2.82(中国語)と1.15(中国語,英語)のROUGE-1スコアを最先端の結果に対して改善する。
  論文  参考訳（メタデータ） (2020-10-18T00:21:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。