論文の概要: End-to-End Voice Intent Recognition for Spontaneous Human-Drone Interaction with Naive Users
- arxiv url: http://arxiv.org/abs/2606.24910v1
- Date: Fri, 19 Jun 2026 08:07:13 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-25 17:05:30.043864
- Title: End-to-End Voice Intent Recognition for Spontaneous Human-Drone Interaction with Naive Users
- Title（参考訳）: ナイーブユーザとの自然対話のためのエンド・ツー・エンド音声インテント認識
- Abstract要約: 本稿では,フランス語におけるリアルタイム人間-ドローンインタラクションのためのエンドツーエンド音声言語理解アーキテクチャを提案する。
遠隔操作セッション中に収集した自発音声の新しいコーパスであるVoiceStickについて検討した。
- 参考スコア（独自算出の注目度）: 1.3868431756593296
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Voice control offers an intuitive alternative to manual drone piloting, yet most existing systems rely on rigid command vocabularies that fail to handle the spontaneous, disfluent speech of naive users. This paper addresses this gap by proposing an End-to-End Spoken Language Understanding architecture for real-time human-drone interaction in French. Our model combines a frozen Self-Supervised Learning acoustic encoder with a lightweight LSTM-based classification head, augmented by a cross-modal knowledge distillation objective that aligns acoustic representations with semantic embeddings from a text teacher, without requiring transcription at inference time. We evaluate our approach on VoiceStick, a novel French corpus of spontaneous speech collected during real teleoperation sessions with 29 nonexpert dyads. On simple voice commands, our best configuration achieves 93% accuracy at 7 ms inference latency, outperforming cascade baselines (79%, 202 ms) with a 29x speedup. On the full spontaneous speech test set, our architecture reaches 82% accuracy, with crossmodal distillation consistently improving robustness across all configurations. These results demonstrate that End-to-End architectures are not only feasible but preferable for spontaneous voice-guided UAV teleoperation, combining semantic robustness, low latency, and calibrated confidence.
- Abstract（参考訳）: 音声コントロールは、手動によるドローン操縦に代わる直感的な代替手段を提供するが、既存のほとんどのシステムは、自発的で不自由なユーザーの発話を処理できない厳格なコマンド語彙に依存している。
本稿では,フランス語におけるリアルタイム人間とドローンの対話のためのエンド・ツー・エンド音声言語理解アーキテクチャを提案する。
本モデルでは, 自己監督学習型音響エンコーダを軽量LSTM分類ヘッドと組み合わせ, 音声表現をテキスト教師のセマンティック埋め込みと整合させるクロスモーダルな知識蒸留目標を用いて, 推論時に書き起こしを必要とせずに拡張する。
我々は,29の非専門的なダイアドを用いた実遠隔操作セッションで収集した自発音声の新たなコーパスであるVoiceStickについて検討した。
単純な音声コマンドでは、7msの推論遅延で93%の精度を実現し、29倍のスピードアップでカスケードベースライン(79%、202ms)を上回りました。
完全自然発声テストセットでは,我々のアーキテクチャは82%の精度に到達し,クロスモーダル蒸留により全構成の堅牢性は一貫して向上した。
これらの結果から,エンド・ツー・エンドアーキテクチャは音声誘導型UAV遠隔操作において実現可能であるだけでなく,セマンティック・ロバスト性,低レイテンシ,キャリブレーション信頼の両立を図っている。
関連論文リスト
- CuteTTS: Efficient and High-Quality Speech Synthesis via Autoregressive Modeling of Continuous Latents [53.73961877379327]
CuteTTSはコンパクトな連続自己回帰型TSシステムである。
意味的に整列した因果性VAE潜伏剤とパッチレベルの自己回帰、明示的な話者条件付け、双方向のフローマッチングヘッドを組み合わせる。
論文 参考訳（メタデータ） (2026-08-09T11:10:20Z) - AnyAudio-Judge: A Dynamic Rubric-Based Benchmark and Evaluator for Audio Instruction Following [17.52339026461815]
本稿では,複雑な音声キャプションを可変個の独立した検証可能なバイナリルーブリックアイテムに適応的に分解する動的ルーブリック評価パラダイムを提案する。
我々はこの能力をAnyAudio-Judge Benchでベンチマークする。
実験により、AnyAudio-Judgeは、最先端のベースラインに比べて、ゼロショットアライメントの検出を著しく向上する。
論文 参考訳（メタデータ） (2026-06-02T04:00:32Z) - A Gesture-Based Visual Learning Model for Acoustophoretic Interactions using a Swarm of AcoustoBots [8.171680721155761]
AcoustoBotsは、触覚、指向性オーディオ、音響浮揚を届けるモバイル・アココノトペティック・ロボットだ。
既存の実装はスクリプト化されたコマンドに依存しており、リアルタイムなヒューマンコントロールのための直感的なインターフェースがない。
本研究では,マルチモーダルなAcoustoBotプラットフォームと非接触型ヒューマン・スワームインタラクションのためのジェスチャーに基づく視覚学習フレームワークを提案する。
論文 参考訳（メタデータ） (2026-04-21T16:32:38Z) - iPhoneme: Brain-to-Text Communication for ALS Using ConformerXL Decoding [1.529342790344802]
ALS患者のための脳とテキストのコミュニケーションシステム iPhoneme について述べる。
このシステムは、深層学習音素デコーダと、視線支援音素入力インタフェースを組み合わせる。
インタラクションの面では、iPhonemeは、居住時間選択を代替するコード付きガウン+サイレント音声パラダイムを導入している。
論文 参考訳（メタデータ） (2026-04-07T05:08:27Z) - Speech-Hands: A Self-Reflection Voice Agentic Approach to Speech Recognition and Audio Reasoning with Omni Perception [142.4692205981783]
我々は,外部の音声知覚をいつ信頼するか,いつ外部の音声知覚を相談するかを知るという,一貫したスキルを学習する音声認識フレームワークを導入する。
音声認識と外部の音声理解タスクの両方でオムニモデルを鼻で微調整することは、しばしば性能を低下させる。
これを解決するために、我々のフレームワークであるSpeech-Handsは、問題を明示的な自己回帰決定として再考する。この学習可能なプリミティブは、モデルが欠陥のある外部候補によって脱線されるのを防ぐのに有効である。
論文 参考訳（メタデータ） (2026-01-14T12:06:50Z) - LibriConvo: Simulating Conversations from Read Literature for ASR and Diarization [1.0251581485267474]
話者認識型会話シミュレーション(SASC)に基づくマルチ話者対話データセットLibriConvoを紹介する。
意味的に切り離された発話に大きく依存する以前のリソースとは異なり、LibriConvoはセマンティックコヒーレンスとリアルな会話のタイミングを保証する。
データセットは、1,496の対話に830のユニークな話者を持つ240.1時間で構成され、頑健な評価のために話者の不一致な方法で分割される。
論文 参考訳（メタデータ） (2025-10-27T13:35:22Z) - Predictive Speech Recognition and End-of-Utterance Detection Towards Spoken Dialog Systems [55.99999020778169]
本稿では,次の単語を予測し,発話終了まで残される時間を推定する機能について検討する。
我々は,音響情報と言語情報の両方を組み込んだクロスアテンションに基づくアルゴリズムを開発した。
その結果,提案モデルでは,提案する単語を予測し,将来のEOUイベントを実際のEOUより300ミリ秒前まで推定する能力を示した。
論文 参考訳（メタデータ） (2024-09-30T06:29:58Z) - A Cross-Modal Approach to Silent Speech with LLM-Enhanced Recognition [0.0]
サイレント音声インタフェース(SSI)は、無音音声通信のための脳-コンピュータインタフェースの非侵襲的な代替手段を提供する。
我々は,マルチモーダル・ニューラル・オーディオ(MONA)を導入し,多モーダル・アライメントを利用した多モーダル・モデルの学習を行う。
我々の知る限りでは、オープンボキャブラリ上の非侵襲的無声音声認識が15% WERの閾値をクリアした最初の事例である。
論文 参考訳（メタデータ） (2024-03-02T21:15:24Z) - Disentangling Voice and Content with Self-Supervision for Speaker
Recognition [57.446013973449645]
本稿では,音声における話者の特性と内容の変動を同時にモデル化するアンタングル化フレームワークを提案する。
実験はVoxCelebとSITWのデータセットで実施され、EERとminDCFの平均減少率は9.56%と8.24%である。
論文 参考訳（メタデータ） (2023-10-02T12:02:07Z) - Robust Speech Recognition via Large-Scale Weak Supervision [69.63329359286419]
インターネット上での大量の音声の書き起こしを単純に予測するために訓練された音声処理システムの能力について検討する。
マルチランガルとマルチタスクの監視を680,000時間にスケールすると、結果は標準ベンチマークによく当てはまる。
私たちは、堅牢な音声処理のさらなる研究の基盤となるために、モデルと推論コードをリリースしています。
論文 参考訳（メタデータ） (2022-12-06T18:46:04Z) - Fully Automated End-to-End Fake Audio Detection [57.78459588263812]
本稿では,完全自動エンドツーエンド音声検出手法を提案する。
まず、wav2vec事前学習モデルを用いて、音声の高レベル表現を得る。
ネットワーク構造には, Light-DARTS という異種アーキテクチャサーチ (DARTS) の修正版を用いる。
論文 参考訳（メタデータ） (2022-08-20T06:46:55Z) - Dynamic Acoustic Unit Augmentation With BPE-Dropout for Low-Resource
End-to-End Speech Recognition [62.94773371761236]
我々は、OOVレートの高い低リソースセットアップで効果的なエンドツーエンドASRシステムを構築することを検討します。
本稿では,BPE-dropout法に基づく動的音響ユニット拡張法を提案する。
我々の単言語トルココンフォーマーは22.2%の文字誤り率(CER)と38.9%の単語誤り率(WER)の競争結果を確立した。
論文 参考訳（メタデータ） (2021-03-12T10:10:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。