論文の概要: Improving Dialectal Slot and Intent Detection with Auxiliary Tasks: A Multi-Dialectal Bavarian Case Study

• arxiv url: http://arxiv.org/abs/2501.03863v1
• Date: Tue, 07 Jan 2025 15:21:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-08 15:49:48.255702
• Title: Improving Dialectal Slot and Intent Detection with Auxiliary Tasks: A Multi-Dialectal Bavarian Case Study
• Title（参考訳）: 補助的タスクによる方言スロットの改善と入力検出:多次元バイエルンのケーススタディ
• Authors: Xaver Maria Krückl, Verena Blaschke, Barbara Plank,
• Abstract要約: スロット・インテント検出(SID)のためのゼロショット変換学習の検討 複数のバイエルン方言に焦点を当て、ミュンヘン方言の新しいデータセットをリリースする。 バイエルンにおける補助的なタスクで訓練されたモデルを評価し,共同マルチタスク学習と中間タスク学習を比較した。 補助タスクは意図分類よりもスロットフィリングに肯定的な効果があり,中間タスクトレーニングはより一貫したパフォーマンス向上をもたらすことがわかった。
• 参考スコア（独自算出の注目度）: 22.89563355840371
• License:
• Abstract: Reliable slot and intent detection (SID) is crucial in natural language understanding for applications like digital assistants. Encoder-only transformer models fine-tuned on high-resource languages generally perform well on SID. However, they struggle with dialectal data, where no standardized form exists and training data is scarce and costly to produce. We explore zero-shot transfer learning for SID, focusing on multiple Bavarian dialects, for which we release a new dataset for the Munich dialect. We evaluate models trained on auxiliary tasks in Bavarian, and compare joint multi-task learning with intermediate-task training. We also compare three types of auxiliary tasks: token-level syntactic tasks, named entity recognition (NER), and language modelling. We find that the included auxiliary tasks have a more positive effect on slot filling than intent classification (with NER having the most positive effect), and that intermediate-task training yields more consistent performance gains. Our best-performing approach improves intent classification performance on Bavarian dialects by 5.1 and slot filling F1 by 8.4 percentage points.
• Abstract（参考訳）: SID(Reliable slot and intent Detection)は、デジタルアシスタントのようなアプリケーションにおいて、自然言語理解において不可欠である。 高ソース言語で微調整されたエンコーダのみのトランスフォーマーモデルは、一般的にSID上でよく機能する。 しかし、標準形式が存在しない方言データと競合し、トレーニングデータはほとんどなく、生産に費用がかかる。 SIDのゼロショット変換学習について検討し、バイエルン方言に焦点をあてて、ミュンヘン方言の新しいデータセットをリリースする。 バイエルンにおける補助的なタスクで訓練されたモデルを評価し,共同マルチタスク学習と中間タスク学習を比較した。 また、トークンレベルの構文タスク、名前付きエンティティ認識(NER)、言語モデリングの3種類の補助タスクを比較した。 内包された補助タスクは意図的分類よりもスロット充填に肯定的な効果があり(NERは最も肯定的な効果を持つ)、中間タスクトレーニングはより一貫したパフォーマンス向上をもたらす。 ベストパフォーマンスのアプローチはバイエルン方言の意図分類性能を5.1、スロットフィリングF1を8.4ポイント向上させる。

関連論文リスト

• Self-supervised Adaptive Pre-training of Multilingual Speech Models for Language and Dialect Identification [19.893213508284813]
  目標領域や下流タスクの言語に事前学習モデルを適用するために,自己教師付き適応型事前学習を提案する。 SPTはFLEURSベンチマークのXLSR性能を向上し、表現不足言語では40.1%まで向上することを示した。
  論文  参考訳（メタデータ） (2023-12-12T14:58:08Z)
• Rethinking and Improving Multi-task Learning for End-to-end Speech Translation [51.713683037303035]
  異なる時間とモジュールを考慮したタスク間の整合性について検討する。 テキストエンコーダは、主にクロスモーダル変換を容易にするが、音声におけるノイズの存在は、テキストと音声表現の一貫性を妨げる。 長さと表現の差を軽減し,モーダルギャップを橋渡しする,STタスクのための改良型マルチタスク学習(IMTL)手法を提案する。
  論文  参考訳（メタデータ） (2023-11-07T08:48:46Z)
• FonMTL: Towards Multitask Learning for the Fon Language [1.9370453715137865]
  本稿では,Fon言語のための自然言語処理におけるモデル機能向上のための,マルチタスク学習のための最初の爆発的アプローチを提案する。 我々は2つの言語モデルヘッドをエンコーダとして利用して入力の共有表現を構築し,各タスクに対して線形層ブロックを用いて分類する。 Fon の NER および POS タスクの結果は,複数言語で事前訓練された言語モデルに対して,単一タスクで微調整された言語モデルと比較して,競争力(あるいはより優れた)性能を示す。
  論文  参考訳（メタデータ） (2023-08-28T03:26:21Z)
• Prefer to Classify: Improving Text Classifiers via Auxiliary Preference Learning [76.43827771613127]
  本稿では、このような補助データアノテーションの新しい代替手段として、入力テキストのペア間のタスク固有の嗜好について検討する。 本稿では、与えられた分類課題と補助的選好の両方を学ぶことの協調効果を享受できる、P2Cと呼ばれる新しいマルチタスク学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-06-08T04:04:47Z)
• READIN: A Chinese Multi-Task Benchmark with Realistic and Diverse Input Noises [87.70001456418504]
  我々は、Realistic and Diverse Input Noisesを用いた中国のマルチタスクベンチマークREADINを構築した。 READINには4つの多様なタスクとアノテータが含まれており、Pinyin入力と音声入力という2つの一般的な中国語入力方式で元のテストデータを再入力するよう要求する。 我々は、強化された事前訓練された言語モデルと、堅牢なトレーニング手法を用いて実験を行い、これらのモデルがREADINに顕著な性能低下を被ることがしばしば見いだされた。
  論文  参考訳（メタデータ） (2023-02-14T20:14:39Z)
• Adaptive Activation Network For Low Resource Multilingual Speech Recognition [30.460501537763736]
  ASRモデルの上位層に適応的アクティベーションネットワークを導入する。 また,(1)クロス言語学習,(2)アクティベーション関数をソース言語からターゲット言語に置き換える,(2)多言語学習という2つの手法を提案する。 IARPA Babelデータセットに関する実験により、我々のアプローチは、オフスクラッチトレーニングや従来のボトルネック機能に基づく手法よりも優れていることを示した。
  論文  参考訳（メタデータ） (2022-05-28T04:02:59Z)
• Sequence-level self-learning with multiple hypotheses [53.04725240411895]
  我々は、自動音声認識(ASR)のためのアテンションベースシーケンス・ツー・シーケンス(seq2seq)モデルを用いた新しい自己学習手法を開発した。 従来の教師なし学習手法とは対照的に,我々はEmphmulti-task Learning(MTL)フレームワークを採用する。 実験の結果,本手法は,英語データのみを用いてトレーニングしたベースラインモデルと比較して,英文音声データのWERを14.55%から10.36%に削減できることがわかった。
  論文  参考訳（メタデータ） (2021-12-10T20:47:58Z)
• WavLM: Large-Scale Self-Supervised Pre-Training for Full Stack Speech Processing [102.45426364965887]
  そこで本研究では,フルスタックダウンストリーム音声タスクを解決するための,事前学習型モデルWavLMを提案する。 WavLMはHuBERTフレームワークに基づいて構築されており、音声コンテンツモデリングと話者アイデンティティ保存の両方に重点を置いている。 トレーニングデータセットを60k時間から94k時間までの公開オーディオデータにスケールアップし、そのトレーニング手順を最適化して表現抽出を改善する。
  論文  参考訳（メタデータ） (2021-10-26T17:55:19Z)
• Multilingual Speech Recognition using Knowledge Transfer across Learning Processes [15.927513451432946]
  実験結果から,WER全体の3.55%の相対的な減少が得られた。 LEAPとSSLの組み合わせにより、言語IDを使用する場合、WER全体の3.51%が相対的に減少する。
  論文  参考訳（メタデータ） (2021-10-15T07:50:27Z)
• ProtoDA: Efficient Transfer Learning for Few-Shot Intent Classification [21.933876113300897]
  我々は,メタラーニングパラダイムの下で,原型ネットワークを用いた関連するタスクのアンサンブル上での伝達学習による代替的アプローチを採用する。 本研究は,意図分類を事例として,学習課題における多様性の増大が,分類性能を著しく向上させることを示した。
  論文  参考訳（メタデータ） (2021-01-28T00:19:13Z)
• Explicit Alignment Objectives for Multilingual Bidirectional Encoders [111.65322283420805]
  本稿では,多言語エンコーダAMBER(Aligned Multilingual Bi-directional EncodeR)の学習方法を提案する。 AMBERは、異なる粒度で多言語表現を整列する2つの明示的なアライメント目標を使用して、追加の並列データに基づいて訓練される。 実験結果から、AMBERは、シーケンスタグ付けで1.1平均F1スコア、XLMR-大規模モデル上での検索で27.3平均精度を得ることがわかった。
  論文  参考訳（メタデータ） (2020-10-15T18:34:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。