論文の概要: HelixWorld: A Real-time Interactive Audio-Visual World Model

• arxiv url: http://arxiv.org/abs/2609.38123v1
• Date: Tue, 29 Sep 2026 17:51:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-30 21:28:47.812557
• Title: HelixWorld: A Real-time Interactive Audio-Visual World Model
• Title（参考訳）: HelixWorld: リアルタイムインタラクティブなオーディオ-ビジュアルワールドモデル
• Abstract要約: HelixWorldはリアルタイムの対話型オーディオ・ビジュアル・ワールドモデルで、視覚シーンとカメラ地上の空間ステレオサウンドがユーザーインタラクションの下で共存する。 低遅延因果的相互作用を可能にするため,教師を数ステップのストリーミング学習生にオンラインでのトラジェクトリー蒸留損失を通じて蒸留する。 実験によると、HelixWorldは最先端のサイレントワールドモデルと視覚的忠実度と応答性で一致している。
• 参考スコア（独自算出の注目度）: 80.08063153528869
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: World simulation is inherently multisensory, demanding synchronized visual and acoustic dynamics in real time. Yet prevailing interactive world models remain strictly silent, focusing exclusively on visual rendering and control while overlooking the acoustic dimension. We present HelixWorld, a real-time interactive audio-visual world model where visual scenes and camera-grounded spatial stereo sound co-evolve natively under user interaction. We curate a high-fidelity spatial audio-visual dataset with true stereo acoustics and metric camera poses, upon which we pre-train a bidirectional teacher conditioned on 6-DoF camera trajectories and user actions. To enable low-latency causal interaction, we distill the teacher into a few-step streaming student via an online trajectory distillation loss, sustaining drift-free joint audio-visual rollouts at 24 FPS on a single GPU. Furthermore, we formalize spatial-acoustic consistency and introduce HelixBench to evaluate whether synthesized sound fields faithfully track dynamic viewpoint motion. Extensive experiments demonstrate that HelixWorld matches state-of-the-art silent world models in visual fidelity and responsiveness, while significantly surpassing existing baselines in camera-aligned spatial-acoustic immersion.
• Abstract（参考訳）: 世界シミュレーションは本質的に多感覚であり、リアルタイムに視覚と音響の同期を要求される。 しかし、一般的な対話型世界モデルは、音響的次元を見下ろしながら、視覚的なレンダリングと制御にのみ焦点を絞って、厳密な沈黙を維持している。 We present HelixWorld, a real-time interactive audio-visual world model where visual scene and camera-grounded space stereo sound co-evolvely under user interaction。 実際のステレオ音響とメートル法カメラのポーズで高忠実度空間音響-視覚データセットをキュレートし、6-DoFカメラ軌道とユーザ動作で条件付き双方向教師を事前訓練する。 低遅延因果的相互作用を可能にするために,教師をオンライントラジェクトリー蒸留損失により数ステップのストリーミング学生に蒸留し,単一のGPU上で24FPSでドリフトフリーのジョイント・ヴィジュアル・ロールアウトを継続する。 さらに、空間音響の整合性を定式化し、HelixBenchを導入し、合成音場が動的視点運動を忠実に追跡するかどうかを評価する。 大規模な実験では、HelixWorldは現在のサイレントワールドモデルと視覚的忠実度と応答性で一致し、カメラの空間音響没入における既存のベースラインをはるかに上回っている。

関連論文リスト

• Matrix-Game 3.5: Enhancing Real-Time Streaming Interactive World Models with Patch Memory [28.887112448832525]
  本稿では,3つの重要な改良点を通じて,リアルタイム対話型ワールドジェネレーションを推し進めるMatrix-Game 3.5を紹介する。 まず、パッチメモリとタイル付きPRoPEコンポーネントが追加で学習可能なパラメータを導入しない統合幾何対応メモリフレームワークを提案する。 第2に、静的なシーン幾何学と動的主題を別々にモデル化した静的な非交叉世界表現を導入する。 第3に、双方向拡散モデルから数ステップの因果生成器に変換する2段階進行リアルタイム蒸留フレームワークを開発する。
  論文  参考訳（メタデータ） (2026-08-30T17:11:00Z)
• SpatialV2A: Visual-Guided High-fidelity Spatial Audio Generation [15.901895888187711]
  BinauralVGSoundは、空間的に認識されたビデオ・オーディオ生成をサポートするために設計された、最初の大規模ビデオ・バイオーラルオーディオデータセットである。 このフレームワークには視覚誘導型音響空間化モジュールが組み込まれており、生成したオーディオが現実的な空間特性と層状空間深さを示すことを保証する。
  論文  参考訳（メタデータ） (2026-01-21T14:14:37Z)
• Enhancing XR Auditory Realism via Multimodal Scene-Aware Acoustic Rendering [5.528622598353137]
  物理的環境に動的に適応して空間的に正確な音を描画する新しいオンデバイスシステムであるSAMOSAを紹介する。 SAMOSAは、室内形状、表面材料、意味駆動音響コンテキストのリアルタイム推定を融合することにより、相乗的マルチモーダルシーン表現を利用する。 このリッチな表現により、シーン先行による効率的な音響キャリブレーションが可能になり、システムは非常にリアルなRoom Impulse Response(RIR)を合成できる。
  論文  参考訳（メタデータ） (2025-11-14T23:13:02Z)
• Audio Driven Real-Time Facial Animation for Social Telepresence [65.66220599734338]
  最小遅延時間で3次元顔アバターをアニメーションするオーディオ駆動リアルタイムシステムを提案する。 我々のアプローチの中心は、音声信号をリアルタイムに潜在表情シーケンスに変換するエンコーダモデルである。 我々は、リアルタイムなパフォーマンスを達成しつつ、自然なコミュニケーションに必要な表情の豊富なスペクトルを捉えている。
  論文  参考訳（メタデータ） (2025-10-01T17:57:05Z)
• AV-NeRF: Learning Neural Fields for Real-World Audio-Visual Scene Synthesis [61.07542274267568]
  我々は,マルチモーダル学習のための,現実の映像シーン合成という新たな課題と,その一級のNeRFベースのアプローチについて検討する。 音声伝搬の事前知識をNeRFに統合する音響認識型音声生成モジュールを提案する。 本稿では,音源に対する視野方向を表す座標変換モジュールを提案する。
  論文  参考訳（メタデータ） (2023-02-04T04:17:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。