論文の概要: Late Breaking Results: Audio-Language-Action Models with Direct Speech Conditioning for Robotic Manipulation

• arxiv url: http://arxiv.org/abs/2610.33866v1
• Date: Sat, 24 Oct 2026 19:19:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-27 22:27:13.472907
• Title: Late Breaking Results: Audio-Language-Action Models with Direct Speech Conditioning for Robotic Manipulation
• Title（参考訳）: ロボットマニピュレーションのための直接音声条件付き音声言語行動モデル
• Abstract要約: 視覚-アクション(VLA)モデルは、ロボットが入力されたテキストで指示に従うことを可能にする。 テキストを明示的に書き起こさずに音声を直接モータコマンドにマッピングするSpeech-$_0.5$を提案する。 具体的には、$_0.5$で構築されたクロスモーダルプロジェクションを使用して、音声フレームを直接オーディオトークンに変換し、応答遅延を大幅に低減します。
• 参考スコア（独自算出の注目度）: 29.623398870054146
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Vision-language-action (VLA) models enable robots to follow instructions in typed text, limiting broader deployment in natural speech. The traditional solution by prepending a speech recognition before VLA to convert speech into texts would incur additional latency and propagate errors. To address this, we present Speech-$π_{0.5}$, which maps raw speech directly to motor commands without explicit textual transcriptions. Specifically, built on $π_{0.5}$, we use a cross-modal projection to convert voice frames directly into audio tokens with significant response latency reduction. To further improve the accuracy, we adopt split LoRA adaptation with dedicated audio and task adapters, under a two-stage training. Speech-$π_{0.5}$ achieves $3\times$ lower response latency than ASR pipeline while maintaining competitive task success on LIBERO, and generalizes robustly to unseen accents where a single adapter degrades significantly.
• Abstract（参考訳）: 視覚言語アクション(VLA)モデルは、ロボットが型付きテキストで指示に従うことを可能にし、自然言語のより広範な展開を制限する。 VLAの前に音声認識を行い、音声をテキストに変換するという従来の解決策は、追加のレイテンシを発生させ、エラーを伝播させる。 そこで本論文では,音声を音声コマンドに直接マッピングする音声-π_{0.5}$を,明示的なテキストの書き起こしを伴わずに提示する。 具体的には、π_{0.5}$で構築されたクロスモーダルプロジェクションを用いて、音声フレームを直接音声トークンに変換し、応答遅延を大幅に低減する。 さらに精度を向上させるために,2段階の訓練において,専用オーディオとタスクアダプタを用いた分割LoRA適応を採用する。 Speech-$π_{0.5}$は、LIBERO上での競合タスクの成功を維持しながら、ASRパイプラインよりも3\times$低応答レイテンシを実現し、単一のアダプタが大幅に劣化する未確認アクセントに強く一般化する。

関連論文リスト

• VITA-Audio: Fast Interleaved Cross-Modal Token Generation for Efficient Large Speech-Language Model [84.25283710008785]
  VITA-Audioは、高速な音声テキストトークン生成を備えたエンドツーエンドの大規模音声モデルである。 MCTPモジュールは、単一のモデルフォワードパス内で複数のオーディオトークンを効率よく生成する。 4段階のプログレッシブ・トレーニング・ストラテジーは,音声品質の低下を最小限に抑えたモデルアクセラレーションを実現するために検討された。
  論文  参考訳（メタデータ） (2025-05-06T17:59:53Z)
• Long-Form Speech Generation with Spoken Language Models [64.29591880693468]
  テキストなしの音声言語モデルは、数十秒を超える可読な音声を生成するのに苦労する。 我々は、長音の音声から学習し、サンプルする最初の音声言語モデルであるSpeechSSMを導出する。 SpeechSSMは線形時間列モデリングの最近の進歩を活用し、コヒーレンスと効率性において現在のトランスフォーマー音声LMを大幅に上回っている。
  論文  参考訳（メタデータ） (2024-12-24T18:56:46Z)
• Recent Advances in Speech Language Models: A Survey [45.968078636811356]
  音声言語モデル(SpeechLMs)は、テキストから変換することなく音声を生成するエンドツーエンドモデルである。 本稿では,近年のSpeechLM構築手法について概観する。
  論文  参考訳（メタデータ） (2024-10-01T21:48:12Z)
• Zero-Shot Text-to-Speech for Text-Based Insertion in Audio Narration [62.75234183218897]
  話者の訓練データなしで自然かつ一貫性のあるターゲット音声を生成する一段階の文脈認識フレームワークを提案する。 変換器をベースとしたデコーダを用いて,編集音声のメルスペクトルを生成する。 これは最近のゼロショット TTS エンジンを大きなマージンで上回っている。
  論文  参考訳（メタデータ） (2021-09-12T04:17:53Z)
• Towards Natural and Controllable Cross-Lingual Voice Conversion Based on Neural TTS Model and Phonetic Posteriorgram [21.652906261475533]
  言語間の音声変換は、音素集合のかなりのミスマッチと異なる言語の音声韻律のために難しい問題である。 我々は、新しい言語間VCフレームワークであるFastSpeech-VCを設計するために、ニューラルテキスト音声(TTS)モデルを構築した。
  論文  参考訳（メタデータ） (2021-02-03T10:28:07Z)
• Fluent and Low-latency Simultaneous Speech-to-Speech Translation with Self-adaptive Training [40.71155396456831]
  音声から音声への同時翻訳は広く有用であるが,極めて困難である。 ソース言語音声と並行してターゲット言語音声を生成する必要があるが、わずか数秒遅れている。 現在のアプローチは、話者がより速く話すときの遅延を徐々に蓄積し、話者がゆっくり話すときの不自然な停止を導入する。 そこで本稿では,翻訳の長さを柔軟に調整し,異なる音源の音声レートに対応する自己適応翻訳(SAT)を提案する。
  論文  参考訳（メタデータ） (2020-10-20T06:02:15Z)
• FastSpeech 2: Fast and High-Quality End-to-End Text to Speech [189.05831125931053]
  FastSpeechのような非自己回帰テキスト・トゥ・スピーチ(TTS)モデルは、同等の品質の以前の自己回帰モデルよりもはるかに高速に音声を合成することができる。 FastSpeechには,(1)教師-学生蒸留パイプラインが複雑で時間を要すること,(2)教師モデルから抽出した期間が十分正確でないこと,(2)教師モデルから抽出したターゲットメル-スペクトログラムが情報損失に悩まされていること,など,いくつかの欠点がある。 我々は,教師の簡易な出力ではなく,接地目標でモデルを直接訓練するFastSpeech 2を提案する。
  論文  参考訳（メタデータ） (2020-06-08T13:05:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。