論文の概要: LaDA: Latent Dialogue Action For Zero-shot Cross-lingual Neural Network
Language Modeling
- arxiv url: http://arxiv.org/abs/2308.02903v1
- Date: Sat, 5 Aug 2023 15:51:45 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-08 17:57:30.734479
- Title: LaDA: Latent Dialogue Action For Zero-shot Cross-lingual Neural Network
Language Modeling
- Title(参考訳): LaDA: ゼロショット言語間ニューラルネットワークモデリングのための潜在対話アクション
- Authors: Zhanyu Ma and Jian Ye and Shuang Cheng
- Abstract要約: 言語間適応は限られた資源を持つ音声言語理解システムにおいて有効であることが証明されている。
既存の方法はしばしばインテント検出やスロットフィリングに不満足である。
復号化戦略を最適化するために、潜在対話アクション層が提案されている。
- 参考スコア(独自算出の注目度): 20.002861239367704
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Cross-lingual adaptation has proven effective in spoken language
understanding (SLU) systems with limited resources. Existing methods are
frequently unsatisfactory for intent detection and slot filling, particularly
for distant languages that differ significantly from the source language in
scripts, morphology, and syntax. Latent Dialogue Action (LaDA) layer is
proposed to optimize decoding strategy in order to address the aforementioned
issues. The model consists of an additional layer of latent dialogue action. It
enables our model to improve a system's capability of handling conversations
with complex multilingual intent and slot values of distant languages. To the
best of our knowledge, this is the first exhaustive investigation of the use of
latent variables for optimizing cross-lingual SLU policy during the decode
stage. LaDA obtains state-of-the-art results on public datasets for both
zero-shot and few-shot adaptation.
- Abstract(参考訳): 言語間適応は限られた資源を持つ音声言語理解システム(SLU)において有効であることが証明されている。
既存のメソッドは、特にスクリプト、形態、構文のソース言語と大きく異なる遠方の言語では、意図の検出やスロットの充填に不満足であることが多い。
LaDA(Latent Dialogue Action)層は、上記の問題に対処するためにデコード戦略を最適化するために提案される。
このモデルは潜伏対話アクションの付加層から成り立っている。
複雑な多言語インテントと遠方の言語のスロット値で会話を処理できるシステムの性能を向上させることができる。
我々の知る限り、これは復号段階における言語間SLUポリシーの最適化に潜伏変数を用いた最初の徹底的な研究である。
LaDAは、ゼロショットと少数ショットの両方の適応のために、パブリックデータセットの最先端結果を取得する。
関連論文リスト
- How do Large Language Models Handle Multilingualism? [87.06210331315451]
大規模言語モデル(LLM)は、様々な言語で顕著な性能を示す。
LLMの多言語入力処理を記述したフレームワークを提案する。
さらに,特定の言語処理における言語特異的ニューロンの存在について検討する。
論文 参考訳(メタデータ) (2024-02-29T02:55:26Z) - Efficiently Aligned Cross-Lingual Transfer Learning for Conversational
Tasks using Prompt-Tuning [98.60739735409243]
英語のような高リソース言語で訓練された言語モデルの言語間移動は、多くのNLPタスクのために広く研究されている。
並列および大規模多言語会話データセットである言語間アライメント事前学習のためのXSGDを導入する。
協調的な言語間表現を容易にするために,アライメントプロンプトを学習するための効率的なプロンプトチューニング手法を開発した。
論文 参考訳(メタデータ) (2023-04-03T18:46:01Z) - Adaptive Activation Network For Low Resource Multilingual Speech
Recognition [30.460501537763736]
ASRモデルの上位層に適応的アクティベーションネットワークを導入する。
また,(1)クロス言語学習,(2)アクティベーション関数をソース言語からターゲット言語に置き換える,(2)多言語学習という2つの手法を提案する。
IARPA Babelデータセットに関する実験により、我々のアプローチは、オフスクラッチトレーニングや従来のボトルネック機能に基づく手法よりも優れていることを示した。
論文 参考訳(メタデータ) (2022-05-28T04:02:59Z) - Multi-level Contrastive Learning for Cross-lingual Spoken Language
Understanding [90.87454350016121]
コントラスト学習のための難解なサンプルを, あらゆるレベルで生成するコードスイッチング手法を開発した。
言語間知識伝達にラベルセマンティクスを利用するラベル認識ジョイントモデルを開発した。
論文 参考訳(メタデータ) (2022-05-07T13:44:28Z) - Cross-Lingual Dialogue Dataset Creation via Outline-Based Generation [70.81596088969378]
言語間アウトラインに基づく対話データセット(COD)は、自然言語の理解を可能にする。
CODは、4つの異なる言語で対話状態の追跡とエンドツーエンドの対話モデリングと評価を可能にする。
論文 参考訳(メタデータ) (2022-01-31T18:11:21Z) - From Masked Language Modeling to Translation: Non-English Auxiliary
Tasks Improve Zero-shot Spoken Language Understanding [24.149299722716155]
非常に低リソースの方言を含む6言語ファミリーの13言語を対象に,言語間SlotとIntent Detectionの新しいベンチマークであるxSIDを紹介した。
本研究では,英語SLU学習データと原文,構文,翻訳による非英語補助課題を併用した共同学習手法を提案する。
その結果,マスキング言語モデルによる主タスクの学習はスロットに有効であり,機械翻訳は意図分類に最適であることがわかった。
論文 参考訳(メタデータ) (2021-05-15T23:51:11Z) - Crossing the Conversational Chasm: A Primer on Multilingual
Task-Oriented Dialogue Systems [51.328224222640614]
大規模な学習済みニューラルネットワークモデルに基づく最新のTODモデルは、データ空腹です。
ToDのユースケースのデータ取得は高価で面倒だ。
論文 参考訳(メタデータ) (2021-04-17T15:19:56Z) - UNKs Everywhere: Adapting Multilingual Language Models to New Scripts [103.79021395138423]
マルチリンガルBERT(mBERT)やXLM-Rのような多言語言語モデルは、様々なNLPタスクに対して最先端の言語間転送性能を提供する。
キャパシティの制限と事前トレーニングデータの大きな差のため、リソース豊富な言語とリソースを対象とする言語には大きなパフォーマンスギャップがある。
本稿では,事前学習した多言語モデルの低リソース言語や未知のスクリプトへの高速かつ効果的な適応を可能にする新しいデータ効率手法を提案する。
論文 参考訳(メタデータ) (2020-12-31T11:37:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。