論文の概要: Transforming NLU with Babylon: A Case Study in Development of Real-time, Edge-Efficient, Multi-Intent Translation System for Automated Drive-Thru Ordering

• arxiv url: http://arxiv.org/abs/2411.15372v1
• Date: Fri, 22 Nov 2024 23:03:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-26 14:24:48.151871
• Title: Transforming NLU with Babylon: A Case Study in Development of Real-time, Edge-Efficient, Multi-Intent Translation System for Automated Drive-Thru Ordering
• Title（参考訳）: Babylonを用いたNLU変換:自動ドライブスルー順序付けのためのリアルタイム・エッジ効率・マルチインテント翻訳システムの開発
• Authors: Mostafa Varzaneh, Pooja Voladoddi, Tanmay Bakshi, Uma Gunturi,
• Abstract要約: リアルタイムの会話型AIエージェントは、ドライブスルーシステムのような動的で屋外環境で自然言語理解(NLU)を実行するという課題に直面している。 これらの設定では、バックグラウンドノイズ、多様なアクセント、マルチインテントクエリを処理するためにNLUモデルが必要である。 目的翻訳タスクとしてNLUに取り組むトランスフォーマーベースのアーキテクチャであるBabylonを紹介する。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: Real-time conversational AI agents face challenges in performing Natural Language Understanding (NLU) in dynamic, outdoor environments like automated drive-thru systems. These settings require NLU models to handle background noise, diverse accents, and multi-intent queries while operating under strict latency and memory constraints on edge devices. Additionally, robustness to errors from upstream Automatic Speech Recognition (ASR) is crucial, as ASR outputs in these environments are often noisy. We introduce Babylon, a transformer-based architecture that tackles NLU as an intent translation task, converting natural language inputs into sequences of regular language units ('transcodes') that encode both intents and slot information. This formulation allows Babylon to manage multi-intent scenarios in a single dialogue turn. Furthermore, Babylon incorporates an LSTM-based token pooling mechanism to preprocess phoneme sequences, reducing input length and optimizing for low-latency, low-memory edge deployment. This also helps mitigate inaccuracies in ASR outputs, enhancing system robustness. While this work focuses on drive-thru ordering, Babylon's design extends to similar noise-prone scenarios, for e.g. ticketing kiosks. Our experiments show that Babylon achieves significantly better accuracy-latency-memory footprint trade-offs over typically employed NMT models like Flan-T5 and BART, demonstrating its effectiveness for real-time NLU in edge deployment settings.
• Abstract（参考訳）: リアルタイムの会話型AIエージェントは、自動駆動スルーシステムのような動的で屋外環境で自然言語理解(NLU)を実行する際の課題に直面します。 これらの設定では、エッジデバイス上で厳格なレイテンシとメモリ制限の下で動作しながら、バックグラウンドノイズ、多様なアクセント、マルチインテントクエリを処理するために、NLUモデルが必要である。 さらに、上流音声認識(ASR)の誤りに対する堅牢性は重要であり、これらの環境でのASR出力はしばしばノイズが多い。 本研究では,NLUを意図翻訳タスクとして取り組んだトランスフォーマーベースのアーキテクチャであるBabylonを紹介し,自然言語入力を正規言語単位(「変換」)のシーケンスに変換し,インテントとスロット情報をエンコードする。 この定式化により、Babylonは単一の対話で複数のインテリジェントシナリオを管理することができる。 さらに、BabylonはLSTMベースのトークンプーリング機構をプリプロセスの音素シーケンスに組み込んで、入力長を削減し、低レイテンシで低メモリのエッジデプロイメントを最適化する。 これにより、ASR出力の不正確性が軽減され、システムの堅牢性が向上する。 この作業はドライブスルーの注文に重点を置いているが、バビロンの設計は、例えばキオスクのチケット販売など、同様のノイズ発生シナリオにまで拡張されている。 実験の結果,BabylonはFlan-T5やBARTといった一般的なNMTモデルよりも精度が向上し,エッジ配置におけるリアルタイムNLUの有効性が示された。

関連論文リスト

• VALL-E R: Robust and Efficient Zero-Shot Text-to-Speech Synthesis via Monotonic Alignment [101.2489492032816]
  VALL-E Rは、堅牢で効率的なゼロショットテキスト音声合成システムである。 この研究は、失語症に罹患した人々のためのスピーチの作成を含む有意義なプロジェクトに適用される可能性がある。
  論文  参考訳（メタデータ） (2024-06-12T04:09:44Z)
• Towards ASR Robust Spoken Language Understanding Through In-Context Learning With Word Confusion Networks [68.79880423713597]
  本稿では,トップ仮説のみに頼るのではなく,ASRシステムの格子出力を利用する手法を提案する。 音声質問応答と意図分類を網羅した文脈内学習実験により,LLMの音声書き起こしに対する弾力性について明らかにした。
  論文  参考訳（メタデータ） (2024-01-05T17:58:10Z)
• Multimodal Audio-textual Architecture for Robust Spoken Language Understanding [18.702076738332867]
  マルチモーダル言語理解 (MLU) モジュールは、ASR文字の誤りによるSLUの性能劣化を軽減するために提案されている。 本モデルは,3つのSLUデータセットから5つのタスクに対して評価し,3つのASRエンジンからのASR転写を用いてロバスト性を検証した。 その結果、提案手法は、学術的ASRエンジンの全てのデータセットでPLMモデルの性能を上回り、ASRエラー伝播問題を効果的に軽減することを示した。
  論文  参考訳（メタデータ） (2023-06-12T01:55:53Z)
• Efficient Long Sequence Modeling via State Space Augmented Transformer [92.74707853711374]
  我々はSPADE($underlinetextbfS$tate sunderlinetextbfP$ace)を提案する。 我々は,SPADEの底層にSSMを付加し,他の層に対して効率的な局所的注意法を適用した。 Long Range Arenaベンチマークと言語モデリングタスクの実験結果から,提案手法の有効性が示された。
  論文  参考訳（メタデータ） (2022-12-15T20:51:27Z)
• STOP: A dataset for Spoken Task Oriented Semantic Parsing [66.14615249745448]
  エンドツーエンド音声言語理解(SLU)は単一モデルを用いて音声から直接意図を予測する。 Spoken Task-Oriented semantic Parsing (STOP) データセットをリリースします。 人間が録音した音声に加えて、我々はTS生成バージョンをリリースし、エンド・ツー・エンドのSLUシステムの低リソース領域適応の性能をベンチマークする。
  論文  参考訳（メタデータ） (2022-06-29T00:36:34Z)
• Deliberation Model for On-Device Spoken Language Understanding [69.5587671262691]
  我々は、エンドツーエンド(E2E)音声言語理解(SLU)に対する新しい議論に基づくアプローチを提案する。 提案手法は,自然言語から合成音声訓練に移行する際の劣化を著しく低減できることを示す。
  論文  参考訳（メタデータ） (2022-04-04T23:48:01Z)
• Multi-task RNN-T with Semantic Decoder for Streamable Spoken Language Understanding [16.381644007368763]
  E2E SLU(End-to-end Spoken Language Understanding)は、共同最適化と低レイテンシの利点により、関心を集めている。 本稿では,これらの考察に対処するために,マルチタスク・セマンティックトランスデューサモデルを提案する。 提案アーキテクチャは, ASR と NLU のラベルを自動回帰的に予測し, セマンティックデコーダを用いて従来予測されていたワードピースとスロットタグの両方を取り込みます。
  論文  参考訳（メタデータ） (2022-04-01T16:38:56Z)
• Streaming End-to-End ASR based on Blockwise Non-Autoregressive Models [57.20432226304683]
  非自己回帰(NAR)モデリングは、音声処理においてますます注目を集めている。 エンドツーエンドのNAR音声認識システムを提案する。 提案手法は低レイテンシ条件下でのオンラインASR認識を改善する。
  論文  参考訳（メタデータ） (2021-07-20T11:42:26Z)
• End-to-End Spoken Language Understanding using RNN-Transducer ASR [14.267028645397266]
  本稿では,音声音声からテキスト,意図,スロットを抽出するエンドツーエンド学習音声理解システム(SLU)を提案する。 ストリーミングリカレントニューラルネットワークトランスデューサ(RNNT)ベースの自動音声認識(ASR)モデルからなり、ニューラルネットワークを通じてニューラル自然言語理解(NLU)モデルに接続される。
  論文  参考訳（メタデータ） (2021-06-30T09:20:32Z)
• Contextual Biasing of Language Models for Speech Recognition in Goal-Oriented Conversational Agents [11.193867567895353]
  ゴール指向の会話インターフェイスは特定のタスクを達成するように設計されている。 推論時に提供されるサンプル発話にBERTから派生したコンテキスト埋め込みを利用する新しいアーキテクチャを提案する。 本実験では,目標指向音声データセットにおける非文脈発話レベルNLMレコレータに対する単語誤り率(WER)の相対的な7%の低減を示した。
  論文  参考訳（メタデータ） (2021-03-18T15:38:08Z)
• Speech To Semantics: Improve ASR and NLU Jointly via All-Neural Interfaces [17.030832205343195]
  本稿では,音声アシスタントを指向した音声から自然言語意図を抽出する言語理解(SLU)の問題について考察する。 ハードウェア制約のあるシナリオにデプロイする機会を開放するために必要な仕様のために、エンドツーエンドのSLUモデルを構築することができる。 共同学習モデルでは,NLUからの意味情報を取り入れたASRの改良や,隠蔽層に符号化されたASRの混乱に露呈することでNLUの改善が示されている。
  論文  参考訳（メタデータ） (2020-08-14T02:43:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。