論文の概要: Talk to Me, Jarvis: An Open-Source Edge-Deployable Voice Assistant Framework for Autonomous Racecars

• arxiv url: http://arxiv.org/abs/2609.21109v1
• Date: Thu, 17 Sep 2026 21:51:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-21 18:40:16.785745
• Title: Talk to Me, Jarvis: An Open-Source Edge-Deployable Voice Assistant Framework for Autonomous Racecars
• Title（参考訳）: Jarvis氏に聞く: 自動運転レースカーのためのオープンソースのエッジデプロイ可能な音声アシスタントフレームワーク
• Abstract要約: Jarvisは、自動運転車の高レベルの行動コマンドのためのオフライン音声アシスタントである。 そのアーキテクチャは、音声認識と合成と自然言語コマンドの分類を軽量でローカルなフレームワークに統合する。 我々のソリューションは大規模なオンラインホストモデルよりも優れており、平均処理レイテンシは1.39秒で97.63パーセントの意図認識精度を実現している。
• 参考スコア（独自算出の注目度）: 40.58214278340615
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent advances in large language models have improved their effectiveness as back-end components for voice assistants, particularly in intent understanding and context-aware input classification. However, online-hosted models introduce network dependency and variable inference latency, limiting their suitability for time-critical autonomous driving applications. In this work, we address these issues by developing Jarvis, an offline voice assistant for high-level behavioral commands of autonomous vehicles. Its architecture integrates speech recognition and synthesis with natural language command classification into a lightweight, local framework. Jarvis core component is a text-to-command classifier, built using a domain-specific fine-tuning of the Mistral 7B model, demonstrating low-latency inference. Our experimental evaluation demonstrates that our solution outperforms larger online-hosted models, achieving 97.63 % intent recognition accuracy with an average processing latency of 1.39 s, making it well-suited for operations requiring quick response times. To support further research and fine-tuning, we provide an open-source implementation.
• Abstract（参考訳）: 近年の大規模言語モデルの進歩により、音声アシスタントのバックエンドコンポーネントとしての有効性が向上し、特に意図理解や文脈認識による入力分類が向上している。 しかし、オンラインホストされたモデルは、ネットワーク依存性と可変推論レイテンシを導入し、時間クリティカルな自律運転アプリケーションに適していることを制限している。 本研究では,自動運転車の高レベル動作制御のためのオフライン音声アシスタントであるJarvisを開発することで,これらの課題に対処する。 そのアーキテクチャは、音声認識と合成と自然言語コマンドの分類を軽量でローカルなフレームワークに統合する。 Jarvisコアコンポーネントはテキストからコマンドへの分類であり、Mistral 7Bモデルのドメイン固有の微調整を使用して構築され、低遅延推論を示す。 実験により,本ソリューションは大規模オンラインホストモデルよりも優れた性能を示し,97.63パーセントの意図認識精度を平均処理遅延1.39秒で達成し,迅速な応答時間を必要とする操作に適していることがわかった。 さらなる研究と微調整を支援するため、オープンソース実装を提供しています。

関連論文リスト

• Stream RAG: Instant and Accurate Spoken Dialogue Systems with Streaming Tool Usage [66.67531241554546]
  従来のASR-LLM-TTSパイプラインに代わる強力な対話システムとして、エンドツーエンドの音声対話システムが登場している。 本稿では,音声入力システムに直接ツールの使用を拡張するための最初のアプローチを紹介する。 提案するStreaming Retrieval-Augmented Generation (Streaming RAG) は,ユーザ音声と並行してツールクエリを予測することにより,ユーザ知覚のレイテンシを低減する新しいフレームワークである。
  論文  参考訳（メタデータ） (2025-10-02T14:18:20Z)
• VoiceAssistant-Eval: Benchmarking AI Assistants across Listening, Speaking, and Viewing [45.15289852736435]
  VoiceAssistant-Evalは、13のタスクカテゴリにまたがる10,497のキュレートされた例で構成されている。 実用性を示すため,21のオープンソースモデルとGPT-4o-Audioを評価した。 プロプライエタリなモデルは、オープンソースモデルより普遍的に優れているわけではない。
  論文  参考訳（メタデータ） (2025-09-26T17:59:59Z)
• MultiVox: A Benchmark for Evaluating Voice Assistants for Multimodal Interactions [70.93364531054273]
  音声と視覚を融合させる音声アシスタントの能力を評価する最初のベンチマークであるMultiVoxを紹介する。 具体的には、MultiVoxには、多種多様なパラ言語的特徴を包含する1000の人間の注釈付き音声対話が含まれている。 10の最先端モデルに対する我々の評価は、人間はこれらのタスクに長けているが、現在のモデルは、常に文脈的に接地された応答を生成するのに苦労していることを示している。
  論文  参考訳（メタデータ） (2025-07-14T23:20:42Z)
• Voila: Voice-Language Foundation Models for Real-Time Autonomous Interaction and Voice Role-Play [21.93291433513335]
  Voilaは応答遅延をわずか195ミリ秒で達成し、平均的な人間の応答時間を上回る。 その階層的なマルチスケールトランスフォーマーは、大規模言語モデルの推論機能を統合する。 Voilaは、100万以上のプレビルドされた音声をサポートし、短いオーディオサンプルから10秒で新しい音声を効率的にカスタマイズする。
  論文  参考訳（メタデータ） (2025-05-05T15:05:01Z)
• Step-Audio: Unified Understanding and Generation in Intelligent Speech Interaction [110.38946048535033]
  本稿では,音声認識のための最初のプロダクション対応オープンソースソリューションであるStep-Audioを紹介する。 1) 統合された理解と生成を実現する統合音声テキストマルチモーダルモデル、2) 安価な音声クローニングフレームワークを確立し、蒸留によりオープンソースで軽量なStep-Audio-TTS-3Bモデルを生産する生成音声データエンジン、3) 方言、感情、歌、RAP間の動的調整を可能にする命令駆動型微制御システム、4) ツールコールとロールプレイング機能を備えた強化認知アーキテクチャ。
  論文  参考訳（メタデータ） (2025-02-17T15:58:56Z)
• Multi-task Voice-Activated Framework using Self-supervised Learning [0.9864260997723973]
  wav2vec 2.0のような自己教師型学習手法は、未ラベルおよび未転写音声データから音声表現を学習する上で有望な結果を示している。 本稿では,様々な音声アクティベートタスクに対して,事前学習したwav2vec 2.0モデルを適用するための汎用フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-10-03T19:28:57Z)
• Speech Enhancement using Self-Adaptation and Multi-Head Self-Attention [70.82604384963679]
  本稿では,補助的話者認識機能を用いた音声強調のための自己適応手法について検討する。 テスト発話から直接適応に用いる話者表現を抽出する。
  論文  参考訳（メタデータ） (2020-02-14T05:05:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。