論文の概要: Wan-Streamer v0.1: End-to-end Real-time Interactive Foundation Models
- arxiv url: http://arxiv.org/abs/2606.25041v3
- Date: Mon, 29 Jun 2026 05:06:50 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-30 15:56:39.024574
- Title: Wan-Streamer v0.1: End-to-end Real-time Interactive Foundation Models
- Title（参考訳）: Wan-Streamer v0.1: エンドツーエンドのインタラクティブファンデーションモデル
- Abstract要約: Wan-Streamerは、ローストリーミングインタラクションのためのエンドツーエンドのインタラクティブ基盤モデルである。
音声とビデオは、入力と出力の両方を単一のTransformerシーケンスでシームレスにモデル化する。
およそ200msのモデル側レスポンスレイテンシと、合計550msのインタラクションレイテンシを実現している。
- 参考スコア（独自算出の注目度）: 68.51256516936338
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We present Wan-Streamer, a native-streaming, end-to-end interactive foundation model designed from the ground up for real-time, low-latency, full-duplex audio-visual interaction. Wan-Streamer seamlessly models language, audio, and video as both input and output within a single Transformer, where the sequence is represented as interleaved visual, audio, and text input tokens together with visual, audio, and text output tokens, coordinated by block-causal attention for incremental streaming. Unlike cascaded interactive systems that rely on separate VAD, ASR, language, TTS, audio-driven animation, or video-generation modules, Wan-Streamer does not rely on external language, speech, avatar, or video-generation modules: perception, reasoning, generation, response timing, turn management, and cross-modal synchronization are learned jointly within one unified model, reducing pipeline latency and error accumulation. To support natural audio-visual responsiveness, we redesign the entire stack around streamability, including causal encoders, causal decoders, block-causal attention, and low-latency multimodal token scheduling, enabling streaming units as short as 160 ms at 25 fps. Wan-Streamer achieves approximately 200 ms model-side response latency and approximately 550 ms total interaction latency when combined with 350 ms bidirectional network latency, supporting sub-second duplex audio-visual communication. These results position Wan-Streamer as a unified, end-to-end, multimodal interactive foundation model for low-latency streaming interaction.
- Abstract（参考訳）: We present Wan-Streamer, a native-streaming, end-to-end Interactive foundation model designed to real-time, low-latency, full-duplex audio-visual interaction。
Wan-Streamerは言語、音声、ビデオを単一のトランスフォーマー内で入力と出力の両方としてシームレスにモデル化し、シーケンスはインターリーブされたビジュアル、オーディオ、テキスト入力トークンとして表現され、ビジュアル、オーディオ、テキスト出力トークンとともに、インクリメンタルストリーミングのためにブロック・カウサルの注意によって調整される。
別個のVAD、ASR、言語、TS、オーディオ駆動アニメーション、ビデオ生成モジュールに依存するケースケードの対話システムとは異なり、Wan-Streamerは外部言語、音声、アバター、あるいはビデオ生成モジュールに依存しない。
自然な音声・視覚応答性をサポートするため,カソーサルエンコーダ,因果デコーダ,ブロック・カソーサルアテンション,低遅延マルチモーダルトークンスケジューリングなど,ストリーム性を中心としたスタック全体を再設計し,25fpsで160msのストリーミングを可能とした。
Wan-Streamerは、350msの双方向ネットワーク遅延と組み合わせることで、約200msのモデル側応答レイテンシと約550msのインタラクションレイテンシを実現し、サブ秒間二重オーディオ・ビジュアル通信をサポートする。
これらの結果は、Wan-Streamerを低レイテンシなストリーミングインタラクションのための統一、エンドツーエンド、マルチモーダルインタラクティブ基盤モデルとして位置づける。
関連論文リスト
- TontaubeV1: Streaming Text-to-Speech with Hierarchical Codec Modeling and Bounded Context [0.04583541422554719]
TontaubeV1は、単一のコンシューマGPUからのストリーミングを可能にしながら、自然な韻律を保存するモデルである。
本設計では,セマンティックストリームの生成時に,韻律構造がほぼ確立されていると仮定する。
このモデルは、音声コンディショニングのために最大1分間のレファレンスオーディオを受け入れ、主に英語とドイツ語向けに設計されている。
論文 参考訳（メタデータ） (2026-09-08T13:03:46Z) - Aero Realtime: Fully Aligned Input-Output Streams for Low-Latency Streaming Multimodal Generation [33.4073718746898]
本稿では,映像,音声,テキストを共有時間グリッド上でリアルタイムに出力するAero Realtimeを紹介した。
4つのNVIDIA A6000ワークステーションでは、Aero Realtimeは84msの中央値と173msのP95処理ラグを継続的にストリーミングされたビデオの20分以上保持している。
その結果,デュアルプレックス・プロアクティブ・ハードウェア・アライン・マルチモーダルインタラクションのための完全インプット・アウトプット・モデリングの実現可能性を示した。
論文 参考訳（メタデータ） (2026-08-09T04:22:57Z) - Video = World + Event Stream [70.56197496608006]
Wan-Streamer v0.3は、ひとつの組織でネイティブインタラクションモデルを再構築します。
これにより、大量の実ビデオに対して、汎用的な事前学習タスクが得られる。
機能的には、モデルのマルチモーダル理解プロセスは視覚-アクション-様である。
論文 参考訳（メタデータ） (2026-07-16T14:19:42Z) - Wan-Streamer v0.2: Higher Resolution, Same Latency [68.78755383327113]
Wan-Streamer v0.2は、ネイティブストリーミング、エンドツーエンドのオーディオ-視覚インタラクションモデルの遅延保存アップグレードである。
リアルタイム会話中に、姿勢、視線、手、近くの物体、およびローカルなシーンレイアウトが正当であるシーングラウンドのミッドショットエージェントをサポートする。
論文 参考訳（メタデータ） (2026-07-05T18:05:20Z) - An Efficient vLLM-Based Inference Pipeline for Unified Audio Understanding and Generation [63.50393485685279]
音声の理解と生成を統一する vLLM ベースの推論パイプラインを提案する。
共有直観自由誘導(CFG)のスループットを克服する。
連続バッチ内でペア条件と非条件要求を共スケジューリングすることにより、CFGの実装は、非CFGスループットの80%を維持できます。
論文 参考訳（メタデータ） (2026-07-02T12:55:11Z) - Audio Interaction Model [102.4354125819644]
今日のLALM(Large Audio Language Models)はオフラインであり、ストリーミングオーディオモデルはASRや音声チャットのような単一のタスクのみを処理する。
それは、常時オンの知覚・認知応答ループを通じて、音、環境、指示をリアルタイムで聞き、リアルタイムで反応するモデルである。
我々は,この仕組みをオーディオインタラクションモデルとして定式化し,オフラインタスクの実行を継続する統合ストリーミングモデルであるAudio-Interactionで実現した。
論文 参考訳（メタデータ） (2026-06-03T17:26:11Z) - OmniInteract: Benchmarking Real-World Streaming Interaction for Real-Time Omnimodal Assistants [43.2907783462394]
音声-視覚的ストリームに対するネイティブ推論によって評価されたリアルタイム全言語モデルのストリーミングベンチマーク。
本研究では,対話型品質タイムラインF1,割り込み診断スイート,368の1QnAスロットを用いて,応答の正しさ,タイミング,不正出力の割り込み,コンテキスト継続性を評価した。
論文 参考訳（メタデータ） (2026-05-26T02:49:47Z) - MiniCPM-o 4.5: Towards Real-Time Full-Duplex Omni-Modal Interaction [76.4461698685681]
Mini-o 4.5は、人間レベルのリアルタイムストリーミングインタラクションに向けた最新の取り組みです。
Omni-CPMは、オムニモードの知覚と出力を共有時間軸に沿って整列する統合ストリーミングフレームワークである。
合計9Bパラメータで、Mini-o 4.5は視力計算能力においてGemini 2.5 Flashにアプローチし、最先端のオープンな計算性能を提供する。
論文 参考訳（メタデータ） (2026-04-30T04:05:43Z) - Voxtral Realtime [134.66962524291424]
Voxtral Realtimeはストリーミング自動音声認識モデルである。
オフラインの書き込み品質は、秒以下のレイテンシで一致します。
私たちはApache 2.0ライセンスの下でモデルウェイトをリリースしています。
論文 参考訳（メタデータ） (2026-02-11T19:17:10Z) - Real-Time Streamable Generative Speech Restoration with Flow Matching [35.33575179870606]
Stream$.$FMは、32ミリ秒(ms)のアルゴリズム待ち時間と48ミリ秒の総待ち時間を持つフレーム因果フローベースの生成モデルである。
現在利用可能なGPUでは,高品質なストリーミング生成音声処理が実現可能であることを示す。
論文 参考訳（メタデータ） (2025-12-22T14:41:17Z) - X-Streamer: Unified Human World Modeling with Audiovisual Interaction [36.50697656708077]
X-Streamerは、テキスト、音声、ビデオ間の無限の相互作用が可能なデジタルヒューマンエージェントを構築するためのフレームワークである。
中心となるのは、マルチモーダル理解と生成を統一するThinker-Actorデュアルトランスフォーマーアーキテクチャである。
X-Streamerは2つのA100 GPU上でリアルタイムに動作し、一貫したビデオチャット体験を数時間持続する。
論文 参考訳（メタデータ） (2025-09-25T20:53:27Z) - VITA-Audio: Fast Interleaved Cross-Modal Token Generation for Efficient Large Speech-Language Model [84.25283710008785]
VITA-Audioは、高速な音声テキストトークン生成を備えたエンドツーエンドの大規模音声モデルである。
MCTPモジュールは、単一のモデルフォワードパス内で複数のオーディオトークンを効率よく生成する。
4段階のプログレッシブ・トレーニング・ストラテジーは,音声品質の低下を最小限に抑えたモデルアクセラレーションを実現するために検討された。
論文 参考訳（メタデータ） (2025-05-06T17:59:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。