論文の概要: Compositional Generalization in Spoken Language Understanding
- arxiv url: http://arxiv.org/abs/2312.15815v1
- Date: Mon, 25 Dec 2023 21:46:06 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-27 16:16:40.907888
- Title: Compositional Generalization in Spoken Language Understanding
- Title(参考訳): 音声言語理解における合成一般化
- Authors: Avik Ray, Yilin Shen, Hongxia Jin
- Abstract要約: 本稿では, (a) 新規スロットの組み合わせと (b) 長さの一般化の2種類の構成性について検討する。
本研究では,我々の合成SLUモデルが最先端のBERT SLUモデルより大幅に優れていることを示す。
- 参考スコア(独自算出の注目度): 58.609624319953156
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: State-of-the-art spoken language understanding (SLU) models have shown
tremendous success in benchmark SLU datasets, yet they still fail in many
practical scenario due to the lack of model compositionality when trained on
limited training data. In this paper, we study two types of compositionality:
(a) novel slot combination, and (b) length generalization. We first conduct
in-depth analysis, and find that state-of-the-art SLU models often learn
spurious slot correlations during training, which leads to poor performance in
both compositional cases. To mitigate these limitations, we create the first
compositional splits of benchmark SLU datasets and we propose the first
compositional SLU model, including compositional loss and paired training that
tackle each compositional case respectively. On both benchmark and
compositional splits in ATIS and SNIPS, we show that our compositional SLU
model significantly outperforms (up to $5\%$ F1 score) state-of-the-art BERT
SLU model.
- Abstract(参考訳): 最先端の音声言語理解(SLU)モデルは、ベンチマークSLUデータセットで非常に成功したが、限られたトレーニングデータでトレーニングされた際のモデル構成性の欠如により、多くの現実的なシナリオで失敗している。
本稿では,2種類の構成性について考察する。
(a)新規スロットの組み合わせ、及び
b) 長さの一般化。
まず、深度分析を行い、最先端のSLUモデルはトレーニング中にスプリアススロット相関を学習し、両方の構成ケースで性能が劣ることがわかった。
これらの制約を緩和するために、ベンチマークSLUデータセットの最初の構成分割を作成し、各構成ケースに対応する構成損失とペアトレーニングを含む、最初の構成SLUモデルを提案する。
ATIS と SNIPS のベンチマークおよびコンポジション分割では,我々の合成 SLU モデルは,最先端の BERT SLU モデルよりも有意に優れていた(最大 5 %$ F1 スコア)。
関連論文リスト
- Enhancing Compositional Generalization via Compositional Feature
Alignment [15.61061934384114]
我々は、既存の実世界の画像データセットから派生したCGベンチマークスイートであるCG-Benchを開発した。
簡単な2段階ファインタニング手法であるコンポジション・フィーチャーアライメント(CFA)を提案する。
CG-Bench for CLIP and DINOv2, two powerful pretrained vision foundation model。
論文 参考訳(メタデータ) (2024-02-05T10:06:24Z) - Beyond Sole Strength: Customized Ensembles for Generalized
Vision-Language Models [59.608411859194]
ファインチューニング型視覚言語モデル (VLM) はその実用的価値から人気が高まっている。
本稿では、より弱いVLMを活用してロバストな単一モデルの一般化を促進するための協調可能性について検討する。
それぞれが特定のシナリオに合わせてカスタマイズされた3つのアンサンブル戦略を導入する。
提案したアンサンブル戦略はゼロショット,ベース・ツー・ニュー,クロスデータセットの一般化に基づいて評価され,新たな最先端性能を実現する。
論文 参考訳(メタデータ) (2023-11-28T05:17:25Z) - Prompting Language-Informed Distribution for Compositional Zero-Shot
Learning [80.29186197773636]
合成ゼロショット学習(CZSL)タスクは、目に見えない視覚概念を認識することを目的としている。
本稿では,タスクに対して言語インフォームド分布(PLID)を指示するモデルを提案する。
MIT-States、UT-Zappos、C-GQAデータセットの実験結果は、PLIDの先行技術よりも優れた性能を示している。
論文 参考訳(メタデータ) (2023-05-23T18:00:22Z) - On the Compositional Generalization Gap of In-Context Learning [73.09193595292233]
In-distriion (ID) と Out-of-distriion (OOD) の相違について考察する。
我々は,3つの意味解析データセットを用いて,OPT,BLOOM,CodeGen,Codexの4つのモデルファミリを評価する。
論文 参考訳(メタデータ) (2022-11-15T19:56:37Z) - A Study on the Integration of Pre-trained SSL, ASR, LM and SLU Models
for Spoken Language Understanding [42.345266746904514]
4種類の事前学習モデルとそれらの組み合わせを音声言語理解(SLU)に適用する。
我々は、大量の未ペアデータに基づいて事前訓練された自己教師付き音声・言語モデル(LM)を利用して、強い音声・テキスト表現を抽出する。
また、より大きな外部音声認識(ASR)やSLUコーパスで事前訓練した教師付きモデルについても検討する。
論文 参考訳(メタデータ) (2022-11-10T20:59:13Z) - Reference-Limited Compositional Zero-Shot Learning [19.10692212692771]
合成ゼロショット学習(CZSL)は、既知の視覚的プリミティブの未知の合成を認識することを指す。
本稿では,メタコンポジショングラフ学習システム(MetaCGL)を提案する。
論文 参考訳(メタデータ) (2022-08-22T03:58:02Z) - Learning Graph Embeddings for Open World Compositional Zero-Shot
Learning [47.09665742252187]
コンポジションゼロショット学習(CZSL)は、トレーニング中に見られる状態とオブジェクトの視覚的プリミティブの見えない構成を認識することを目的としている。
Co-CGE(Compositional Cosine Graph Embeddings)を提案する。
Co-CGEは、グラフ畳み込みニューラルネットワークを介して状態、オブジェクトおよびそれらの組成間の依存性をモデル化する。
論文 参考訳(メタデータ) (2021-05-03T17:08:21Z) - Open World Compositional Zero-Shot Learning [47.09665742252187]
構成ゼロショット学習(CZSL)は、訓練中に見えない状態オブジェクトの合成を認識する必要がある。
我々はオープンワールドの環境で活動しており、そこでは検索スペースには多数の未知の合成が含まれている。
論文 参考訳(メタデータ) (2021-01-29T14:45:52Z) - Meta learning to classify intent and slot labels with noisy few shot
examples [11.835266162072486]
音声言語理解(SLU)モデルは、データハングリーで悪名高い。
SLUは目的分類(IC)とスロットラベリング(SL)の2つのコア問題から構成される。
本稿では,従来の微調整ベースラインとメタラーニング手法であるモデル非依存メタラーニング(MAML)を,ICの精度とSL F1の精度で一貫した性能で向上することを示す。
論文 参考訳(メタデータ) (2020-11-30T18:53:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。