論文の概要: Ripple: Real-Time Streaming Audio-Video Generation With Cross-Modal Recurrent Memory

• arxiv url: http://arxiv.org/abs/2607.26818v1
• Date: Wed, 29 Jul 2026 12:13:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-30 21:06:25.658883
• Title: Ripple: Real-Time Streaming Audio-Video Generation With Cross-Modal Recurrent Memory
• Title（参考訳）: Ripple: マルチモードリカレントメモリを備えたリアルタイムストリーミングオーディオビデオ生成
• Abstract要約: Rippleは、モード間リカレントメモリ機構を備えたリアルタイムのジョイントオーディオビデオ生成システムである。 480P解像度で28FPSを実現し、教師よりも高速で、一貫性のあるロングフォーム生成を実現している。
• 参考スコア（独自算出の注目度）: 20.92714383117306
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Audio-video generative models achieve impressive quality but suffer from high latency, making them unsuitable for real-time applications. Although several streaming audio-video generation methods have been proposed, they remain costly and fail to support long-form generation. To address this, we propose \textbf{Ripple}, a real-time joint audio-video generation system with a cross-modal recurrent memory mechanism. To enable efficient streaming inference while preserving long-term context, Ripple combines a fixed-length sliding-window attention with modality-specific memory states that continuously summarize audio and video context. Cross-modal memory interaction is further introduced to enhance audio-visual synchronization. To learn this memory-augmented model effectively, we devise a three-stage training recipe: (1) adapting a bidirectional audio-video teacher to block-wise causal attention with simulated memory, (2) optimizing the memory construction and interaction pipeline through end-to-end distillation, and (3) applying online reinforcement post-training tailored for streaming audio-video generation. As a result, Ripple achieves ~28 FPS at 480P resolution, over faster than the teacher, while capable of coherent long-form generation. Extensive experiments on both short-video and long-video benchmarks demonstrate our superior performance over existing offline and online joint audio-video generation methods.
• Abstract（参考訳）: オーディオビデオ生成モデルは、素晴らしい品質を実現するが、レイテンシーに悩まされるため、リアルタイムアプリケーションには適さない。 いくつかのストリーミングオーディオビデオ生成法が提案されているが、コストがかかり、長大な生成をサポートできない。 そこで本研究では,モーダル・リカレントメモリ機構を備えたリアルタイム共同オーディオビデオ生成システムである \textbf{Ripple} を提案する。 長期的コンテキストを維持しながら効率的なストリーミング推論を可能にするために、Rippleは、固定長のスライドウインドウアテンションと、オーディオとビデオのコンテキストを継続的に要約するモーダリティ固有のメモリ状態を組み合わせる。 さらに、オーディオと視覚の同期を強化するために、メモリ間の相互作用が導入された。 このメモリ拡張モデルを効果的に学習するために,(1)双方向オーディオビデオ教師を同期メモリでブロックワイズ注意に適応させる,(2)エンドツーエンド蒸留によるメモリ構築とインタラクションパイプラインを最適化する,(3)ストリーミングオーディオビデオ生成に適したオンライン強化ポストトレーニングを適用する,という3段階のトレーニングレシピを考案した。 その結果、Rippleは480P解像度で約28 FPSを実現し、教師よりも高速で、一貫性のあるロングフォーム生成が可能になった。 ショートビデオとロングビデオのベンチマークによる大規模な実験は、既存のオフラインおよびオンラインのジョイントオーディオビデオ生成方法よりも優れたパフォーマンスを示している。

関連論文リスト

• Encore: Infinite Audio-Video Generation with Adaptive Signal Routing [22.689981874924943]
  既存のオーディオビデオ生成手法は、同期のよいクリップを生成するが、短い時間に限られる。 長ビデオ生成法は、チャンクベースの反復合成によって持続時間を延長するが、完全に音声を欠いている。 本稿では,ロングフォーム同期オーディオビデオ生成のためのEncoreを提案する。
  論文  参考訳（メタデータ） (2026-08-28T18:10:18Z)
• Efficient Audio-Visual Generation via Synchrony-Aware Cross-Modal Sparse Attention [31.052048543229464]
  効率的な音声視覚生成のための同期対応アクセラレーションフレームワークを提案する。 提案手法は,映像品質,音声品質,音声とビデオの同期を保ちながら,推論効率を向上させる。
  論文  参考訳（メタデータ） (2026-08-16T04:26:05Z)
• UniSwap: Streaming Audio-Visual Identity Swapping for Talking Videos [23.032949794607106]
  講演ビデオにおける音声と視覚の相互同一性をストリーミングする最初のフレームワークであるUniSwapについて紹介する。 実験では、強い音声と視覚の同期、競争力のあるアイデンティティ保存、効率的なストリーミング、安定したロングフォーム生成が示される。
  論文  参考訳（メタデータ） (2026-08-12T07:45:39Z)
• StreamHOI: Interaction-aware Temporal Memory Adaptation for Streaming HOI Video Generation [31.081864027419016]
  長周期HOIビデオ生成のための低遅延ストリーミングフレームワークであるemphStreamHOIを提案する。 StreamHOIは、強い相互作用の妥当性、オブジェクトの忠実さ、人間の品質と効率を達成し、0.75秒のレイテンシで17.6 FPSに達する。
  論文  参考訳（メタデータ） (2026-07-22T14:06:39Z)
• LiveStarPro: Proactive Streaming Video Understanding with Hierarchical Memory for Long-Horizon Streams [59.485485426790966]
  このLiveStarProは、長時間のストリーミング上でのプロアクティブなビデオ理解のために設計されたライブストリーミングアシスタントである。 LiveStarProは既存のメソッドを一貫して上回り、セマンティックな正確性は28.9%向上した。 そのストリーミングキーバリューキャッシュは、キャッシュなしで同じモデル上で1.58倍の推論速度を得る。
  論文  参考訳（メタデータ） (2026-06-16T11:18:05Z)
• StreamChar: Long-Horizon Streaming Character Audio-Video Generation with Decoupled Orchestration [16.23723735702324]
  StreamCharは,短時間のオーディオビデオから長期のオーケストレーションを分離するストリーミングフレームワークである。 ショートクリップおよびロングホライゾンプロトコルの実験は、StreamCharが1つのH100 GPU上でリアルタイムに実行されることを示している。
  論文  参考訳（メタデータ） (2026-05-25T10:04:52Z)
• RELIC: Interactive Video World Model with Long-Horizon Memory [74.81433479334821]
  真のインタラクティブな世界モデルは、リアルタイムの長距離ストリーミング、一貫した空間記憶、正確なユーザ制御を必要とする。 この3つの課題を完全に解決する統合フレームワークであるRELICを紹介します。 単一の画像とテキスト記述が与えられた後、RELICは任意のシーンをリアルタイムにメモリを意識した長期探索を可能にする。
  論文  参考訳（メタデータ） (2025-12-03T18:29:20Z)
• video-SALMONN S: Streaming Audio-Visual LLMs Beyond Length Limits via Memory [51.03819128505358]
  Video-SALMONN Sは、まず1FPSと360p解像度で3時間ビデオを処理する。 テストタイムトレーニングメモリモジュールは、トークン表現を継続的に更新して、長距離依存関係をキャプチャする。 プロンプト依存メモリリーダは、固定サイズメモリからコンテキスト関連コンテンツを検索する。
  論文  参考訳（メタデータ） (2025-10-13T08:20:15Z)
• HunyuanVideo-Foley: Multimodal Diffusion with Representation Alignment for High-Fidelity Foley Audio Generation [14.921126281071544]
  HunyuanVideo-Foleyはエンドツーエンドのテキスト・ビデオ・オーディオ・フレームワークである。 高忠実度オーディオを視覚力学や意味文脈と正確に整合させて合成する。 音声の忠実度、視覚的セマンティックなアライメント、時間的アライメント、分布マッチングにまたがる新しい最先端パフォーマンスを実現する。
  論文  参考訳（メタデータ） (2025-08-23T07:30:18Z)
• StableAvatar: Infinite-Length Audio-Driven Avatar Video Generation [91.45910771331741]
  オーディオ駆動型アバタービデオ生成のための現在の拡散モデルでは、自然な音声同期とアイデンティティの整合性を備えた長ビデオの合成が困難である。 本稿では,無限長高画質映像を後処理なしで合成する最初のエンドツーエンドビデオ拡散変換器であるStableAvatarについて述べる。
  論文  参考訳（メタデータ） (2025-08-11T17:58:24Z)
• LONG3R: Long Sequence Streaming 3D Reconstruction [29.79885827038617]
  Long3Rは、より長いシーケンス上でのマルチビュー3Dシーン再構成をストリーミングするために設計された新しいモデルである。 本モデルでは,新たな観測値の更新と更新を繰り返すことで,リアルタイム処理を実現している。 実験により、LONG3Rは、特に長いシーケンスにおいて、最先端のストリーミング手法よりも優れていることが示された。
  論文  参考訳（メタデータ） (2025-07-24T09:55:20Z)
• Streaming Video Understanding and Multi-round Interaction with Memory-enhanced Knowledge [57.01131456894516]
  現在のビデオ理解モデルは、長いビデオシーケンスの処理、マルチターン対話のサポート、現実の動的シナリオへの適応に苦労している。 本稿では,ストリーミングビデオ推論と対話インタラクションのためのトレーニング不要フレームワークStreamChatを提案する。 我々のフレームワークは並列システムスケジューリング戦略を取り入れており、処理速度を向上し、レイテンシを低減し、現実世界のアプリケーションで堅牢な性能を保証する。
  論文  参考訳（メタデータ） (2025-01-23T08:33:10Z)
• MEMO: Memory-Guided Diffusion for Expressive Talking Video Generation [55.95148886437854]
  メモリ誘導EMO (Memory-guided EMOtion-aware diffusion) は、音声による映像を生成するエンドツーエンドのポートレートアニメーション手法である。 MEMOは、多様な画像とオーディオタイプ、全体的な品質、オーディオ-リップ同期、アイデンティティの整合性、表現-感情アライメントにおいて、よりリアルな会話ビデオを生成する。
  論文  参考訳（メタデータ） (2024-12-05T18:57:26Z)
• Seeing and Hearing: Open-domain Visual-Audio Generation with Diffusion Latent Aligners [69.70590867769408]
  ビデオとオーディオのコンテンツ制作は、映画産業とプロのユーザーにとって重要な技術である。 既存の拡散に基づく手法は、ビデオと音声を別々に生成する。 本研究では,このギャップを埋めることを目的として,クロス・ビジュアル・オーディオとジョイント・ヴィジュアル・オーディオ生成のためのフレームワークを慎重に設計した。
  論文  参考訳（メタデータ） (2024-02-27T17:57:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。