Fugu-MT 論文翻訳(概要): Aero Realtime: Fully Aligned Input-Output Streams for Low-Latency Streaming Multimodal Generation

論文の概要: Aero Realtime: Fully Aligned Input-Output Streams for Low-Latency Streaming Multimodal Generation

arxiv url: http://arxiv.org/abs/2608.08469v1
Date: Sun, 09 Aug 2026 04:22:57 GMT
ステータス: 翻訳完了
システム内更新日: 2026-08-11 19:16:36.838096
Title: Aero Realtime: Fully Aligned Input-Output Streams for Low-Latency Streaming Multimodal Generation
Title（参考訳）: Aero Realtime:低レイテンシストリーミングマルチモーダル生成のための完全アライン入力出力ストリーム
Abstract要約: 本稿では,映像,音声,テキストを共有時間グリッド上でリアルタイムに出力するAero Realtimeを紹介した。 4つのNVIDIA A6000ワークステーションでは、Aero Realtimeは84msの中央値と173msのP95処理ラグを継続的にストリーミングされたビデオの20分以上保持している。その結果,デュアルプレックス・プロアクティブ・ハードウェア・アライン・マルチモーダルインタラクションのための完全インプット・アウトプット・モデリングの実現可能性を示した。
参考スコア（独自算出の注目度）: 33.4073718746898
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Existing streaming multimodal models process observations incrementally but still follow a turn-based prefill-then-decode pattern, making them non-duplex: new observations cannot naturally enter an active generation stream. Proactive alternatives use micro-turn polling or external response gates, which fragment continuous interaction, decouple response timing from language generation, and complicate KV-cache-friendly serving. We introduce Aero Realtime, a 4B streaming multimodal model with a duplex architecture for realtime generation. Aero Realtime aligns video, audio, and textual output on a shared temporal grid, where each approximately 80-ms audio slot predicts either a lexical token or a silence token. This allows input and output to advance together, enabling one autoregressive objective to learn both when to respond and what to generate. During inference, Aero Realtime appends only the newest multimodal slot, carries forward the previous output state, and reuses the KV cache for efficient incremental execution. We further provide a complete training and serving recipe, including realtime QA construction, slot-aligned supervision, hardware-aware distributed training, and resumable inference. On four NVIDIA A6000 workstation GPUs, Aero Realtime maintains 84-ms median and 173-ms P95 processing lag over 20 minutes of a continuously streamed video, remaining within 200~ms of the source timeline. These results demonstrate the feasibility of fully aligned input-output modeling for duplex, proactive, and hardware-aligned multimodal interaction.
Abstract（参考訳）: 既存のストリーミングマルチモーダルモデルは、観測を漸進的に処理するが、それでもターンベースのプリフィル-then-decodeパターンに従っており、それらを非二重にする。プロアクティブな代替手段は、マイクロターンポーリングまたは外部応答ゲートを使用し、連続的な相互作用を断片化し、応答タイミングを言語生成から切り離し、KV-cacheフレンドリーなサーブを複雑化する。本研究では,実時間生成のための2重アーキテクチャを持つ4BストリーミングマルチモーダルモデルであるAero Realtimeを紹介する。 Aero Realtimeは、ビデオ、オーディオ、テキストの出力を共有時間グリッドにアライメントし、約80ミリ秒のオーディオスロットがレキシカルトークンまたはサイレントトークンを予測します。これにより、インプットとアウトプットが共に進行し、ある自己回帰的な目的がいつ応答するか、何を生成するのかを学ぶことができる。推論中、Aero Realtimeは最新のマルチモーダルスロットのみを追加し、以前の出力状態を前進させ、効率的なインクリメンタル実行のためにKVキャッシュを再利用する。さらに、リアルタイムQA構築、スロットアライメント監視、ハードウェア対応分散トレーニング、再利用可能な推論を含む、完全なトレーニングとサービスレシピを提供する。 4つのNVIDIA A6000ワークステーションGPU上では、Aero Realtimeは84msの中央値と173msのP95処理ラグを継続的にストリーミングされたビデオの20分以上にわたって維持し、ソースタイムラインから200〜ms以内に留まる。これらの結果は,デュプレックス,プロアクティブ,ハードウェアアラインなマルチモーダルインタラクションのための完全整列入力出力モデルの実現可能性を示している。

関連論文リスト

StreamPI: Streaming Multimodal Temporal Modeling for Vision-Language-Action Models [84.17128030384099]
StreamPIはストリーミングマルチモーダル時間モデリングフレームワークである。追加パラメータを導入することなく、単一フレームのVLAに時間的推論能力を持たせる。メモリ依存および正確な認識シナリオにまたがる実ロボットタスクの実験とシミュレーションベンチマークのLIBEROは、StreamPIが様々なタスクでpi0.5より優れていることを示した。
論文参考訳（メタデータ） (2026-08-26T17:33:19Z)
StreamArena: Toward Continuous, Interactive, and Long-Horizon Agentic Streaming Video Understanding [42.88155526332792]
時間スケールでインタラクティブなストリーミングビデオ理解のためのベンチマークであるStreamArenaを紹介する。多様なシステムに対する評価は、連続的な相互作用と長距離多モード理解の間の緊張を露呈する。レイテンシクリティカルなインタラクションとアクティブな監視を,独立したスケジュール作業者に割り当てる2層アーキテクチャであるStreamMindとの緊張に対処する。
論文参考訳（メタデータ） (2026-08-06T07:46:37Z)
Wan-Streamer v0.1: End-to-end Real-time Interactive Foundation Models [68.51256516936338]
Wan-Streamerは、ローストリーミングインタラクションのためのエンドツーエンドのインタラクティブ基盤モデルである。音声とビデオは、入力と出力の両方を単一のTransformerシーケンスでシームレスにモデル化する。およそ200msのモデル側レスポンスレイテンシと、合計550msのインタラクションレイテンシを実現している。
論文参考訳（メタデータ） (2026-06-23T18:01:03Z)
Don't Pause: Streaming Video-Language Synchrony for Online Video Understanding [69.296913137409]
オンラインビデオ理解のための新しいパラダイム: SVLS(Streaming Video-Language Synchrony)を紹介する。 LyraVは、2つのコアイノベーションを備えた階層的なコントロールフレームワーク上に構築されたライブストリーミングアシスタントである。まず、フレーム駆動トランジションコントローラ(FDTC)は、いつ話を続けるか、新しいレスポンスを開始するか、沈黙を保つか、といった、高レベルのセマンティックな決定を行います。第二に、プラグアンドプレイの軽量予測モジュールであるStreaming Token Pacer (SToP)は、動的に言語生成率に適応し、視覚的コンテンツのペースにマッチする。
論文参考訳（メタデータ） (2026-06-05T07:29:20Z)
OmniInteract: Benchmarking Real-World Streaming Interaction for Real-Time Omnimodal Assistants [43.2907783462394]
音声-視覚的ストリームに対するネイティブ推論によって評価されたリアルタイム全言語モデルのストリーミングベンチマーク。本研究では,対話型品質タイムラインF1,割り込み診断スイート,368の1QnAスロットを用いて,応答の正しさ,タイミング,不正出力の割り込み,コンテキスト継続性を評価した。
論文参考訳（メタデータ） (2026-05-26T02:49:47Z)
MiniCPM-o 4.5: Towards Real-Time Full-Duplex Omni-Modal Interaction [76.4461698685681]
Mini-o 4.5は、人間レベルのリアルタイムストリーミングインタラクションに向けた最新の取り組みです。 Omni-CPMは、オムニモードの知覚と出力を共有時間軸に沿って整列する統合ストリーミングフレームワークである。合計9Bパラメータで、Mini-o 4.5は視力計算能力においてGemini 2.5 Flashにアプローチし、最先端のオープンな計算性能を提供する。
論文参考訳（メタデータ） (2026-04-30T04:05:43Z)
StreamDiffusionV2: A Streaming System for Dynamic and Interactive Video Generation [65.90400162290057]
生成モデルは、コンテンツの作り方、スタイル、配信方法を再定義することで、ライブストリーミング業界を変革している。ビデオ拡散の最近の進歩は、オフライン生成のための時間的一貫性とサンプリング効率を著しく改善した。ライブオンラインストリーミングは厳しいサービスレベル(SLO)の下で動作します。タイム・ツー・ファーストフレームは最小限でなければなりません。
論文参考訳（メタデータ） (2025-11-10T18:51:28Z)
STORM: Token-Efficient Long Video Understanding for Multimodal LLMs [116.4479155699528]
STORMは、イメージエンコーダとビデオLLMの間に専用のテンポラリエンコーダを組み込んだ、新しいアーキテクチャである。我々は,STORMが様々な長いビデオ理解ベンチマークにおいて最先端の結果を達成することを示す。
論文参考訳（メタデータ） (2025-03-06T06:17:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。