論文の概要: Compositional Generalization in Spoken Language Understanding

• arxiv url: http://arxiv.org/abs/2312.15815v1
• Date: Mon, 25 Dec 2023 21:46:06 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-27 16:16:40.907888
• Title: Compositional Generalization in Spoken Language Understanding
• Title（参考訳）: 音声言語理解における合成一般化
• Authors: Avik Ray, Yilin Shen, Hongxia Jin
• Abstract要約: 本稿では, (a) 新規スロットの組み合わせと (b) 長さの一般化の2種類の構成性について検討する。 本研究では,我々の合成SLUモデルが最先端のBERT SLUモデルより大幅に優れていることを示す。
• 参考スコア（独自算出の注目度）: 58.609624319953156
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: State-of-the-art spoken language understanding (SLU) models have shown tremendous success in benchmark SLU datasets, yet they still fail in many practical scenario due to the lack of model compositionality when trained on limited training data. In this paper, we study two types of compositionality: (a) novel slot combination, and (b) length generalization. We first conduct in-depth analysis, and find that state-of-the-art SLU models often learn spurious slot correlations during training, which leads to poor performance in both compositional cases. To mitigate these limitations, we create the first compositional splits of benchmark SLU datasets and we propose the first compositional SLU model, including compositional loss and paired training that tackle each compositional case respectively. On both benchmark and compositional splits in ATIS and SNIPS, we show that our compositional SLU model significantly outperforms (up to $5\%$ F1 score) state-of-the-art BERT SLU model.
• Abstract（参考訳）: 最先端の音声言語理解(SLU)モデルは、ベンチマークSLUデータセットで非常に成功したが、限られたトレーニングデータでトレーニングされた際のモデル構成性の欠如により、多くの現実的なシナリオで失敗している。 本稿では,2種類の構成性について考察する。 (a)新規スロットの組み合わせ、及び b) 長さの一般化。 まず、深度分析を行い、最先端のSLUモデルはトレーニング中にスプリアススロット相関を学習し、両方の構成ケースで性能が劣ることがわかった。 これらの制約を緩和するために、ベンチマークSLUデータセットの最初の構成分割を作成し、各構成ケースに対応する構成損失とペアトレーニングを含む、最初の構成SLUモデルを提案する。 ATIS と SNIPS のベンチマークおよびコンポジション分割では,我々の合成 SLU モデルは,最先端の BERT SLU モデルよりも有意に優れていた(最大 5 %$ F1 スコア)。

関連論文リスト

• Model-GLUE: Democratized LLM Scaling for A Large Model Zoo in the Wild [84.57103623507082]
  本稿では,全体論的な大規模言語モデルスケーリングガイドラインであるModel-GLUEを紹介する。 我々の研究は、既存のLCMスケーリングテクニック、特に選択的マージと混合のバリエーションのベンチマークから始まります。 我々の手法は、マージ可能なモデルのクラスタリングと最適なマージ戦略選択、モデルミックスによるクラスタの統合を含む。
  論文  参考訳（メタデータ） (2024-10-07T15:55:55Z)
• Cross-composition Feature Disentanglement for Compositional Zero-shot Learning [49.919635694894204]
  合成ゼロショット学習(CZSL)において、プリミティブ(属性とオブジェクト)の視覚的特徴の歪みは例外的な結果を示した。 本稿では,複数のプリミティブ・シェアリング・コンポジションを入力とし,これらのコンポジションにまたがって一般化されるような不整合プリミティブ・コンポジションを制約するクロス・コンポジション・コンストラクション・ディエンタングルメントの解を提案する。
  論文  参考訳（メタデータ） (2024-08-19T08:23:09Z)
• From Words to Worlds: Compositionality for Cognitive Architectures [45.254578970023196]
  大規模言語モデル(LLM)は非常に高性能なコネクショナリストシステムであるが、より構成性が高いか? 以下に紹介するタスクを含む,4つのLLMファミリーと3つのタスクカテゴリにまたがる経験的分析について述べる。
  論文  参考訳（メタデータ） (2024-07-18T11:42:13Z)
• Towards Spoken Language Understanding via Multi-level Multi-grained Contrastive Learning [50.1035273069458]
  音声言語理解(SLU)はタスク指向対話システムにおける中核的なタスクである。 本稿では,発話レベル,スロットレベル,単語レベルを含む3段階のコントラスト学習を実現するためのマルチレベルMMCLフレームワークを提案する。 本フレームワークは,2つの公開マルチインテリジェントSLUデータセットに対して,最先端の新たな結果を実現する。
  論文  参考訳（メタデータ） (2024-05-31T14:34:23Z)
• Prompting Language-Informed Distribution for Compositional Zero-Shot Learning [73.49852821602057]
  合成ゼロショット学習(CZSL)タスクは、目に見えない合成視覚概念を認識することを目的としている。 本稿では,タスクに対して言語インフォームド分布(PLID)を指示するモデルを提案する。 MIT-States、UT-Zappos、C-GQAデータセットの実験結果は、PLIDの先行技術よりも優れた性能を示している。
  論文  参考訳（メタデータ） (2023-05-23T18:00:22Z)
• On the Compositional Generalization Gap of In-Context Learning [73.09193595292233]
  In-distriion (ID) と Out-of-distriion (OOD) の相違について考察する。 我々は,3つの意味解析データセットを用いて,OPT,BLOOM,CodeGen,Codexの4つのモデルファミリを評価する。
  論文  参考訳（メタデータ） (2022-11-15T19:56:37Z)
• A Study on the Integration of Pre-trained SSL, ASR, LM and SLU Models for Spoken Language Understanding [42.345266746904514]
  4種類の事前学習モデルとそれらの組み合わせを音声言語理解(SLU)に適用する。 我々は、大量の未ペアデータに基づいて事前訓練された自己教師付き音声・言語モデル(LM)を利用して、強い音声・テキスト表現を抽出する。 また、より大きな外部音声認識(ASR)やSLUコーパスで事前訓練した教師付きモデルについても検討する。
  論文  参考訳（メタデータ） (2022-11-10T20:59:13Z)
• Reference-Limited Compositional Zero-Shot Learning [19.10692212692771]
  合成ゼロショット学習(CZSL)は、既知の視覚的プリミティブの未知の合成を認識することを指す。 本稿では,メタコンポジショングラフ学習システム(MetaCGL)を提案する。
  論文  参考訳（メタデータ） (2022-08-22T03:58:02Z)
• Meta learning to classify intent and slot labels with noisy few shot examples [11.835266162072486]
  音声言語理解(SLU)モデルは、データハングリーで悪名高い。 SLUは目的分類(IC)とスロットラベリング(SL)の2つのコア問題から構成される。 本稿では,従来の微調整ベースラインとメタラーニング手法であるモデル非依存メタラーニング(MAML)を,ICの精度とSL F1の精度で一貫した性能で向上することを示す。
  論文  参考訳（メタデータ） (2020-11-30T18:53:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。