論文の概要: Multilingual Code-Switching for Zero-Shot Cross-Lingual Intent Prediction and Slot Filling

• arxiv url: http://arxiv.org/abs/2103.07792v2
• Date: Tue, 16 Mar 2021 16:39:48 GMT
• ステータス: 処理完了
• システム内更新日: 2021-03-17 12:28:25.230720
• Title: Multilingual Code-Switching for Zero-Shot Cross-Lingual Intent Prediction and Slot Filling
• Title（参考訳）: ゼロショットクロスリンガルインテント予測とスロットフィリングのための多言語コードスイッチング
• Authors: Jitin Krishnan, Antonios Anastasopoulos, Hemant Purohit, and Huzefa Rangwala
• Abstract要約: ランダムな翻訳による多言語コードスイッチングを用いたモノリンガルソースデータの拡張手法を提案する。 multiatis++のベンチマークデータセットの実験では、インテントタスクの精度が+4.2%、スロットタスクが+1.8%に向上した。 本研究では,英語およびハイチクレオール語でスロット充填を行う新しいヒトアノテーション付きツイートデータセットを用いた危機情報学への応用について述べる。
• 参考スコア（独自算出の注目度）: 29.17194639368877
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Predicting user intent and detecting the corresponding slots from text are two key problems in Natural Language Understanding (NLU). In the context of zero-shot learning, this task is typically approached by either using representations from pre-trained multilingual transformers such as mBERT, or by machine translating the source data into the known target language and then fine-tuning. Our work focuses on a particular scenario where the target language is unknown during training. To this goal, we propose a novel method to augment the monolingual source data using multilingual code-switching via random translations to enhance a transformer's language neutrality when fine-tuning it for a downstream task. This method also helps discover novel insights on how code-switching with different language families around the world impact the performance on the target language. Experiments on the benchmark dataset of MultiATIS++ yielded an average improvement of +4.2% in accuracy for intent task and +1.8% in F1 for slot task using our method over the state-of-the-art across 8 different languages. Furthermore, we present an application of our method for crisis informatics using a new human-annotated tweet dataset of slot filling in English and Haitian Creole, collected during Haiti earthquake disaster.
• Abstract（参考訳）: テキストからユーザ意図を予測し、対応するスロットを検出することは、自然言語理解(NLU)における2つの重要な問題である。 ゼロショット学習の文脈では、このタスクは通常、mBERTのような事前訓練された多言語変換器の表現を使用するか、または、ソースデータを既知のターゲット言語に翻訳し、微調整することでアプローチされる。 私たちの研究は、トレーニング中にターゲット言語が不明な特定のシナリオに焦点を当てています。 そこで本研究では, ダウンストリームタスクを微調整する際に, トランスフォーマの言語中立性を高めるために, ランダム翻訳による多言語コードスイッチを用いた単言語データ拡張手法を提案する。 この方法は、世界中の異なる言語家族とのコードスイッチングがターゲット言語のパフォーマンスにどのように影響するかという、新しい洞察の発見にも役立ちます。 MultiATIS++のベンチマークデータセットの実験では、インテントタスクの精度が+4.2%向上し、スロットタスクの+1.8%向上した。 また,ハイチ大震災時に収集された英語とハイチクレオール語のスロット充満に関する新しい人間注釈ツイートデータセットを用いて,危機情報学の手法を適用した。

関連論文リスト

• Low-Resource Machine Translation through the Lens of Personalized Federated Learning [26.436144338377755]
  異種データを用いた自然言語処理に適用可能な新しい手法を提案する。 大規模多言語機械翻訳共有タスクのデータセットを用いて,低リソース機械翻訳タスク上で評価を行った。 MeritFedは、その効果に加えて、トレーニングに使用する各言語の影響を追跡するために適用できるため、高度に解釈可能である。
  論文  参考訳（メタデータ） (2024-06-18T12:50:00Z)
• Self-Augmentation Improves Zero-Shot Cross-Lingual Transfer [92.80671770992572]
  言語間移動は多言語NLPにおける中心的なタスクである。 このタスクの以前の作業では、並列コーパス、バイリンガル辞書、その他の注釈付きアライメントデータを使用していた。 ゼロショットの言語間移動を改善するため, 単純で効果的なSALT法を提案する。
  論文  参考訳（メタデータ） (2023-09-19T19:30:56Z)
• Simple yet Effective Code-Switching Language Identification with Multitask Pre-Training and Transfer Learning [0.7242530499990028]
  コードスイッチング(Code-switching)は、カジュアルな設定において、多言語話者が異なる言語の単語を1つの発話で混ぜる言語現象である。 英マンダリン言語指向音声データセットにおける言語識別精度向上のための2つの新しいアプローチを提案する。 我々の最良のモデルでは、実際の英マンダリンのコードスイッチングによる子指向音声コーパスにおいて、0.781のバランスの取れた精度を達成し、以前のベースラインを55.3%上回っている。
  論文  参考訳（メタデータ） (2023-05-31T11:43:16Z)
• CONCRETE: Improving Cross-lingual Fact-checking with Cross-lingual Retrieval [73.48591773882052]
  ほとんどのファクトチェックアプローチは、他の言語におけるデータ不足の問題にのみ英語に焦点を当てている。 クロスリンガル検索を付加した最初のファクトチェックフレームワークを提案する。 提案したクロスリンガル逆クローズタスク(XICT)を用いてレトリバーを訓練する。
  論文  参考訳（メタデータ） (2022-09-05T17:36:14Z)
• Overcoming Catastrophic Forgetting in Zero-Shot Cross-Lingual Generation [48.80125962015044]
  ラベル付きデータが英語でのみ利用可能である場合、対象言語で生成タスク(すなわち要約)を実行するという問題について検討する。 パラメータ効率の低い言語間での移動において、パラメータ効率の適応は標準的な微調整よりも向上することがわかった。 提案手法はさらなる品質向上を実現し,ロバストなゼロショット・クロスランガル生成が到達範囲内であることを示唆する。
  論文  参考訳（メタデータ） (2022-05-25T10:41:34Z)
• Por Qu\'e N\~ao Utiliser Alla Spr{\aa}k? Mixed Training with Gradient Optimization in Few-Shot Cross-Lingual Transfer [2.7213511121305465]
  本研究では,ソースデータとターゲットデータの両方を学習する1ステップ混合学習手法を提案する。 我々は1つのモデルを使って全てのターゲット言語を同時に処理し、過度に言語固有のモデルを避ける。 提案手法は,全タスクの最先端性能と目標適応性能を高いマージンで向上させる。
  論文  参考訳（メタデータ） (2022-04-29T04:05:02Z)
• From Masked Language Modeling to Translation: Non-English Auxiliary Tasks Improve Zero-shot Spoken Language Understanding [24.149299722716155]
  非常に低リソースの方言を含む6言語ファミリーの13言語を対象に,言語間SlotとIntent Detectionの新しいベンチマークであるxSIDを紹介した。 本研究では,英語SLU学習データと原文,構文,翻訳による非英語補助課題を併用した共同学習手法を提案する。 その結果,マスキング言語モデルによる主タスクの学習はスロットに有効であり,機械翻訳は意図分類に最適であることがわかった。
  論文  参考訳（メタデータ） (2021-05-15T23:51:11Z)
• VECO: Variable and Flexible Cross-lingual Pre-training for Language Understanding and Generation [77.82373082024934]
  我々はTransformerエンコーダにクロスアテンションモジュールを挿入し、言語間の相互依存を明確に構築する。 独自の言語でコンテキストにのみ条件付けされたマスク付き単語の予測の退化を効果的に回避することができる。 提案した言語間モデルでは,XTREMEベンチマークのさまざまな言語間理解タスクに対して,最先端の新たな結果が提供される。
  論文  参考訳（メタデータ） (2020-10-30T03:41:38Z)
• Cross-lingual Machine Reading Comprehension with Language Branch Knowledge Distillation [105.41167108465085]
  言語間機械読解(CLMRC)は、ローソース言語に大規模なデータセットがないため、依然として難しい問題である。 本稿では,Language Branch Machine Reading (LBMRC) という新しい拡張手法を提案する。 LBMRCは、個々の言語に精通したMultiple Machine Read comprehension (MRC)モデルを訓練する。 複数の言語分岐モデルから全ての対象言語に対する単一モデルへのアマルガメート知識の多言語蒸留アプローチを考案する。
  論文  参考訳（メタデータ） (2020-10-27T13:12:17Z)
• FILTER: An Enhanced Fusion Method for Cross-lingual Language Understanding [85.29270319872597]
  我々は,XLMファインタニングの入力として言語間データを利用する拡張融合法を提案する。 推論中は、ターゲット言語で入力されたテキストとソース言語の翻訳に基づいて予測を行う。 この問題に対処するため,対象言語における翻訳テキストのための自動生成ソフト擬似ラベルに基づくモデル学習のためのKL分割自己学習損失を提案する。
  論文  参考訳（メタデータ） (2020-09-10T22:42:15Z)
• Zero-Shot Cross-Lingual Transfer with Meta Learning [45.29398184889296]
  英語以外の言語ではほとんど、あるいは全くデータがない場合に、複数の言語でのトレーニングモデルの設定を同時に検討する。 メタラーニングを用いて、この挑戦的な設定にアプローチできることが示される。 我々は、標準教師付きゼロショットのクロスランガルと、異なる自然言語理解タスクのための数ショットのクロスランガル設定を用いて実験を行った。
  論文  参考訳（メタデータ） (2020-03-05T16:07:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。