論文の概要: Listen Before Act: Audio-Conditioned Robot Manipulation with ListenVLA

• arxiv url: http://arxiv.org/abs/2610.16313v1
• Date: Mon, 12 Oct 2026 07:38:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-19 06:30:38.496141
• Title: Listen Before Act: Audio-Conditioned Robot Manipulation with ListenVLA
• Title（参考訳）: 音声で操作するロボット「ListenVLA」
• Abstract要約: 視覚アクションモデル(VLA)は、視覚知覚と言語命令をアクション生成に接続することで高度なロボット操作を行う。 本稿では,GR00T N1.7に基づく音声誘導操作のための音声条件付きVLAポリシーであるListenVLAを紹介する。 LIBERO-Audioは,音に基づくターゲット選択,聴覚イベントに対する応答,音響的証拠を明らかにする物理的相互作用を対象とする8タスクのベンチマークである。
• 参考スコア（独自算出の注目度）: 18.77212272710994
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Vision-language-action (VLA) models have advanced robotic manipulation by connecting visual perception and language instructions to action generation. However, many manipulation tasks depend on auditory cues that cannot be reliably inferred from visual observations and may need to be elicited through physical interaction. To address this gap, we present ListenVLA, an audio-conditioned VLA policy built on GR00T N1.7 for sound-guided manipulation. ListenVLA combines semantic audio embeddings with waveform-derived acoustic cues over a causal audio history and conditions continuous action generation through audio tokens and feature modulation. Moreover, we introduce an audio-action binding objective that uses context-matched demonstrations to link auditory differences to demonstrated action differences. The objective supervises short-horizon differences between flow-velocity predictions under different audio conditions, with shared pure-noise action inputs and fixed non-audio observations, alongside full-chunk action supervision. Furthermore, we develop LIBERO-Audio, an eight-task benchmark covering sound-based target selection, responses to auditory events, and physical interactions that reveal acoustic evidence. Experiments on LIBERO-Audio and three real-world manipulation tasks show excellent performance. Ablation studies support the contributions of binding supervision and audio modulation, while audio swap tests show that sound influences action predictions. Our code and videos are available at https://anonymous.4open.science/r/listenvla-F18D
• Abstract（参考訳）: 視覚言語アクション(VLA)モデルは、視覚知覚と言語命令をアクション生成に接続することで高度なロボット操作を行う。 しかし、多くの操作タスクは視覚的観察から確実に推測できない聴覚的手がかりに依存しており、物理的相互作用によって引き起こされる必要がある。 このギャップに対処するために,GR00T N1.7上に構築された音声条件付きVLAポリシーであるListenVLAを提案する。 ListenVLAは、セマンティックオーディオ埋め込みと波形由来の音響手がかりを因果的オーディオ履歴と条件付きで組み合わせ、音声トークンと特徴変調による連続的なアクション生成を行う。 さらに、文脈マッチングによる実演を用いて、聴覚の違いをリンクし、行動の違いを実演するオーディオ・アクション・バインディング・オブジェクトを提案する。 本研究の目的は,音環境の異なる場合の流速予測における短時間の時間差を監督することである。 さらに,音に基づくターゲット選択,聴覚イベントに対する応答,音響的証拠を明らかにする物理的相互作用を含む8タスクのベンチマークであるLIBERO-Audioを開発した。 LIBERO-Audioと3つの実世界の操作タスクの実験は優れた性能を示した。 アブレーション研究は、結合監督とオーディオ変調の貢献を支持し、オーディオスワップテストは、音が行動予測に影響を及ぼすことを示す。 私たちのコードとビデオはhttps://anonymous.4open.science/r/listenvla-F18Dで公開されています。

関連論文リスト

• Hear to See: Discerning Stateful Listening for Audio-Visual Instance Segmentation [58.79612575170589]
  既存の手法では、重なり合う音響イベントと視覚的インスタンスをマッチングし、音声視覚力学を扱うのに苦労している。 本稿では,2つのメカニズムを用いて,これらの課題に対処するH2Sを提案する。 論文が受け入れられたら、コードはオープンソースになる。
  論文  参考訳（メタデータ） (2026-08-04T07:35:57Z)
• When Vision Speaks for Sound [31.08404410801052]
  ビデオ対応MLLMの急速な進歩にもかかわらず、ビデオにおける明らかな音声理解はビジョン駆動であることが多い。 この問題は、最先端のオープンソースオムニモデルと、GoogleやOpenAIといったプロバイダによるクローズドソースモデルの両方にまたがっている。 我々は、この障害モードを、モデルが(頻繁に)オーディオグラウンドに現れるが、実際にオーディオとビジュアルストリームが本当に一致しているかどうかを検証せずに、視覚-音響相関を利用する、オーディオ-ビジュアル・クリーバー・ハンス効果として特徴付けている。
  論文  参考訳（メタデータ） (2026-05-13T05:00:19Z)
• Don't Let the Video Speak: Audio-Contrastive Preference Optimization for Audio-Visual Language Models [57.29797562658234]
  オーディオ・ビジュアル言語モデル(AVLM)によるクロスモーダル幻覚のボトルネック 本稿では、この深い視覚的優位性に対応するために、オーディオコントラスト優先最適化(ACPO)を提案する。 ACPOは、音響事実としての視覚的記述をペナライズする出力コントラスト目的と、真の聴覚信号に不変な生成を明示的にペナライズするためにオーディオトラックを交換する入力コントラスト目的を導入する。
  論文  参考訳（メタデータ） (2026-04-15T17:51:28Z)
• Towards the Vision-Sound-Language-Action Paradigm: The HEAR Framework for Sound-Centric Manipulation [26.766367856312694]
  本稿では,視覚・ストリーミング音声・言語・プロプライエセプションを考慮した連続制御パラダイムとして,VSLA(Vision-Sound-Language-Action)を定式化した。 i) 実行ギャップをまたいだコンパクトで因果的な音声コンテキストを維持するためのストリーミングヒストリザ、(ii) オームニ基礎モデルから多感覚入力を推論するエンビジョンタ、(iii) オーディオワールドモデルとして定式化されたアドバンサ、そして(iv) 流れを予測して時間的ダイナミクスを学ぶための、VSLAフレームワークであるHEARを紹介する。
  論文  参考訳（メタデータ） (2026-03-17T03:22:30Z)
• Selective Noise Suppression and Discriminative Mutual Interaction for Robust Audio-Visual Segmentation [59.11043512784162]
  本稿では,SNRPモジュールとDAMF戦略を備えたSDAVSを提案する。 実験により,提案手法はベンチマークAVSデータセットの最先端性能を実現することを示す。
  論文  参考訳（メタデータ） (2026-03-15T03:22:24Z)
• Listen, Look, Drive: Coupling Audio Instructions for User-aware VLA-based Autonomous Driving [16.800050024086953]
  本稿では、カメラストリームとその場での音声指示を結合するユーザ対応VLAであるEchoVLAを紹介する。 音声強調データセットを、対応する運転行動と組み合わせた異なる感情型で合成する。 オープンループベンチマークでは, 平均L2誤差を59.4%, 衝突速度を74.4%削減する。
  論文  参考訳（メタデータ） (2026-01-17T19:12:34Z)
• ThinkSound: Chain-of-Thought Reasoning in Multimodal Large Language Models for Audio Generation and Editing [47.14083940177122]
  ThinkSoundは、ビデオの段階的にインタラクティブなオーディオ生成と編集を可能にする新しいフレームワークである。 提案手法は,3つの相補的な段階 – セマンティック・コヒーレント,インタラクティブなオブジェクト中心の改良,ターゲット編集 – に分解する。 実験により、ThinkSoundはオーディオメトリクスとCoTメトリクスの両方で、ビデオからオーディオ生成における最先端のパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2025-06-26T16:32:06Z)
• Generating Visually Aligned Sound from Videos [83.89485254543888]
  自然ビデオから音を生成するタスクに焦点をあてる。 音は時間的にも内容的にも視覚信号と一致しているべきです。 カメラの外部で発生する音は、ビデオコンテンツから推測することはできない。
  論文  参考訳（メタデータ） (2020-07-14T07:51:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。