論文の概要: StarDrinks: An English and Korean Test Set for SLU Evaluation in a Drink Ordering Scenario
- arxiv url: http://arxiv.org/abs/2604.26500v1
- Date: Wed, 29 Apr 2026 10:03:12 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-04-30 15:59:36.347884
- Title: StarDrinks: An English and Korean Test Set for SLU Evaluation in a Drink Ordering Scenario
- Title（参考訳）: StarDrinks: 飲料注文シナリオにおけるSLU評価のための英語と韓国語テストセット
- Authors: Marcely Zanon Boito, Caroline Brun, Inyoung Kim, Denys Proux, Salah Ait-Mokhtar, Nikolaos Lagos, Jean-Luc Meunier, Ioan Calapodescu,
- Abstract要約: 本稿では,英語と韓国語を対象としたテストセットであるStarDrinksを紹介した。
本データセットは音声合成SLU, 音声合成NLU, 音声合成ASR評価をサポートする。
- 参考スコア（独自算出の注目度）: 10.559250889237036
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: LLMs and speech assistants are increasingly used for task-oriented interactions, yet their evaluation often relies on controlled scenarios that fail to capture the variability and complexity of real user requests. Drink ordering, for example, involves diverse named entities, drink types, sizes, customizations, and brand-specific terminology, as well as spontaneous speech phenomena such as hesitations and self-corrections. To address this gap, we introduce StarDrinks, a test set in English and Korean containing speech utterances features, transcriptions, and annotated slots. Our dataset supports speech-to-slots SLU, transcription-to-slots NLU, and speech-to-transcription ASR evaluation, providing a realistic benchmark for model robustness and generalization in a linguistically rich, real-world task.
- Abstract（参考訳）: LLMや音声アシスタントはタスク指向のインタラクションにますます使われていますが、その評価は実際のユーザ要求の多様性や複雑さを捉えるのに失敗する制御されたシナリオに依存しています。
例えば、飲み物の注文には、様々な名前のエンティティ、飲み物の種類、サイズ、カスタマイズ、ブランド固有の用語、さらには、ためらいや自己訂正のような自然発声現象が含まれる。
このギャップに対処するために,英語と韓国語によるテストセットであるStarDrinksを紹介した。
我々のデータセットは、言語的にリッチな実世界のタスクにおいて、モデルロバストネスと一般化のための現実的なベンチマークを提供するため、音声合成SLU、音声合成NLU、音声合成ASR評価をサポートする。
関連論文リスト
- Do What I Say: A Spoken Prompt Dataset for Instruction-Following [64.72383858691795]
DoWhatISay (DOWIS) は、人間の音声と文字によるプロンプトのデータセットである。
5つのスタイルで、タスク言語ペアごとに10のプロンプト変種を提供する。
DOWISを用いて最先端のSLLMをベンチマークし、即時モダリティ、スタイル、言語、タスクタイプ間の相互作用を分析する。
論文 参考訳（メタデータ） (2026-03-10T16:39:46Z) - Decomposed Prompting: Probing Multilingual Linguistic Structure Knowledge in Large Language Models [54.58989938395976]
本稿では,シーケンスラベリングタスクに対する分割プロンプト手法を提案する。
提案手法は,38言語を対象としたUniversal Dependencies part-of-speech Taggedについて検証する。
論文 参考訳（メタデータ） (2024-02-28T15:15:39Z) - Towards ASR Robust Spoken Language Understanding Through In-Context
Learning With Word Confusion Networks [68.79880423713597]
本稿では,トップ仮説のみに頼るのではなく,ASRシステムの格子出力を利用する手法を提案する。
音声質問応答と意図分類を網羅した文脈内学習実験により,LLMの音声書き起こしに対する弾力性について明らかにした。
論文 参考訳（メタデータ） (2024-01-05T17:58:10Z) - Improving Textless Spoken Language Understanding with Discrete Units as
Intermediate Target [58.59044226658916]
Spoken Language Understanding (SLU) は、音声音声から意味情報を抽出することを目的としたタスクである。
本研究では,テキストレスSLUの性能向上のための中間ガイダンスとして離散単位を用いることを提案する。
論文 参考訳（メタデータ） (2023-05-29T14:00:24Z) - Joint Modelling of Spoken Language Understanding Tasks with Integrated
Dialog History [30.20353302347147]
本研究では,発話の意図,対話行動,話者の役割,感情を共同で予測するために,対話コンテキストを学習する新しいモデルアーキテクチャを提案する。
本実験は,タスク固有分類器と類似した結果が得られることを示す。
論文 参考訳（メタデータ） (2023-05-01T16:26:18Z) - SLUE Phase-2: A Benchmark Suite of Diverse Spoken Language Understanding
Tasks [88.4408774253634]
音声言語理解(SLU)タスクは、音声研究コミュニティで何十年にもわたって研究されてきた。
SLUタスクベンチマークはそれほど多くはなく、既存のベンチマークの多くは、すべての研究者が自由に利用できないデータを使っている。
最近の研究は、いくつかのタスクにそのようなベンチマークを導入し始めている。
論文 参考訳（メタデータ） (2022-12-20T18:39:59Z) - What BERT Based Language Models Learn in Spoken Transcripts: An
Empirical Study [6.696983725360809]
言語モデル(LM)は、音声言語理解(SLU)を含む様々なタスクでユビキタスに活用されている。
本研究では、SLUを話者(分散、一時停止、オーバートーク)、チャンネル(会話型、ターンタスク)、ASR(挿入、削除、置換)の3つの代表的な特性に分解することを提案する。
本稿では,BERT に基づく言語モデル (BERT, RoBERTa) を探索し,言語手がかりがない場合に多言語特性を理解する能力について検討する。
論文 参考訳（メタデータ） (2021-09-19T11:23:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。