論文の概要: Long-Horizon Audio-Visual Generation for Persistent Stories and Interactive Worlds
- arxiv url: http://arxiv.org/abs/2608.23383v2
- Date: Tue, 25 Aug 2026 14:42:59 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-26 14:09:34.306341
- Title: Long-Horizon Audio-Visual Generation for Persistent Stories and Interactive Worlds
- Title（参考訳）: 永続的物語と対話的世界のための長軸音響映像生成
- Abstract要約: 本稿では,2つの目的を持ったオーディオ視覚生成システムであるJoyAI-Echo-1.5を提案する。
この長ビデオ版では、コンポーザブルなクロスショットメモリが導入され、複数の先行ショットと、音声フィルタリングされたフルショットオーディオから派生した話者キューに視覚的エビデンスを集約する。
世界モデルの変種は、不均一なナビゲーション入力を校正されたメートル法6-DoFカメラ軌跡に変換し、幾何学的条件付け経路を介してそれらを注入する。
- 参考スコア（独自算出の注目度）: 60.18437892555415
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Video generation is progressing beyond isolated clips toward long-form narratives and interactive worlds, requiring models to preserve identities, follow user controls, and remain stable over extended rollouts. We present JoyAI-Echo-1.5, a unified audio-visual generation system with two purpose-built variants. The long-video variant introduces composable cross-shot memory that aggregates visual evidence across multiple prior shots and speaker cues derived from speech-filtered full-shot audio, enabling persistent character appearance and voice identity across flexible combinations of text, image, and memory conditioning. The world-model variant converts heterogeneous navigation inputs into calibrated metric 6-DoF camera trajectories and injects them through a geometry-aware conditioning pathway, enabling controller-agnostic interaction across flexible viewpoints. To support efficient long-horizon generation, we transform a bidirectional audio-visual backbone into a causal few-step generator using progressive teacher forcing and short- and long-horizon Self-Gradient Forcing on self-generated rollouts. Experiments demonstrate strong performance in both settings. JoyAI-Echo-1.5 achieves improvements over existing long-video baselines in cross-shot consistency, visual quality, text alignment, and speech fidelity. Its world-model variant ranks first on WBench, with an average score of 81.7, and achieves leading visual quality and long-horizon persistence on SANA-WM-Bench. Together, these results indicate that memory, geometric control, and rollout-aware training provide a practical foundation for generating coherent stories and continuously evolving interactive worlds. Project page: https://echo-team-joy-future-academy-jd.github.io/Echo-1.5-Page/.
- Abstract（参考訳）: ビデオ生成は、孤立したクリップを超えて、長文の物語やインタラクティブな世界へと進み、モデルのアイデンティティの保存、ユーザコントロールの追跡、ロールアウトの延長よりも安定している。
本稿では,2つの目的を持ったオーディオ視覚生成システムであるJoyAI-Echo-1.5を提案する。
この長ビデオ版では、コンポーザブルなクロスショットメモリが導入されており、複数の先行ショットにまたがって視覚的エビデンスを集約し、音声フィルタリングされたフルショットオーディオから派生した話者手がかりを収集し、テキスト、画像、メモリコンディショニングの柔軟な組み合わせで永続的な文字の出現と音声アイデンティティを可能にする。
ワールドモデル変種は、不均一なナビゲーション入力を校正されたメートル法6-DoFカメラ軌跡に変換し、幾何学的条件付け経路を通じてそれらを注入することで、フレキシブルな視点でコントローラと非依存の相互作用を可能にする。
双方向音声視覚バックボーンを進行型教師強制と短軸・長軸セルフグラディエント強制を用いた因果数ステップジェネレータに変換する。
両方の設定で、実験は強いパフォーマンスを示します。
JoyAI-Echo-1.5は、クロスショット一貫性、視覚的品質、テキストアライメント、音声の忠実性において、既存の長ビデオベースラインの改善を実現している。
世界モデルの変種は、平均スコア81.7のWBenchにランクインし、SANA-WM-Benchの視覚的品質と長期持続性を達成する。
これらの結果から,記憶,幾何学的制御,ロールアウト・アウェア・トレーニングが,コヒーレントなストーリーを生成し,対話的世界を継続的に進化させるための実践的基盤となることが示唆された。
プロジェクトページ:https://echo-team-joy-future-academy-jd.github.io/Echo-1.5-Page/。
関連論文リスト
- DiVA: Enabling Interactive Digital Life Simulation via Video Models [107.640138694388]
DiVAは、長期的かつオープンなインタラクティブ体験のための新しいパラダイムを開拓した、インタラクティブなデジタルライフシミュレータである。
長期的な視覚的品質とリアリズムを維持し、持続的でインタラクティブなシミュレーションとしての有効性を検証する。
論文 参考訳（メタデータ） (2026-09-12T09:33:15Z) - EchoWM: Open and Enterable Omnimodal World Models [71.49148067556887]
EchoWMは、入力可能な生成メディアのための一様世界モデルである。
720pのビデオ、環境音、音楽、音声を共同生成しながら、継続的なナビゲーションに反応する。
論文 参考訳（メタデータ） (2026-08-24T12:39:59Z) - Wonder: Video World Model Done Better [70.28870858365214]
We present Wonder, a general-purpose video world model for real-time, camera-controllable world exploration。
画像や条件付きビデオが与えられたWonderは、ユーザがカメラを動かして対話的にナビゲートできるプレイ可能な世界を構築する。
本研究では、空間的に整列した動きと向きを与える高密度座標場を用いた新しいカメラコンディショニングを提案する。
論文 参考訳（メタデータ） (2026-07-28T17:45:25Z) - OmniVAE: An Audio-Video VAE with Cross-Modal Alignment for Joint Generation [73.57253966578186]
OmniVAEは、音声とビデオの潜伏表現の微粒なセマンティックアライメントを学習する、共同で訓練されたオーディオビデオVAEである。
実験により、両方の目的が常に潜在空間の学習性を改善することが示された。
論文 参考訳（メタデータ） (2026-07-26T21:51:28Z) - OmniMate: Open-Ended Real-Time Streaming Audio-Visual Generation for Interactive Avatars [13.53343552751081]
オープン・エンド・リアルタイム・インタラクティブ・オーディオ・ビジュアル・アバター生成のための統合フレームワークを提案する。
OmniMateは視覚的内容、音声、音響効果をリアルタイムで合成し、自然と没入的なマルチターンインタラクションを可能にする。
我々は,OmniMateが高品質で低レイテンシなストリーミングを実現すると同時に,長時間の音声・視覚的整合性を維持していることを示す。
論文 参考訳（メタデータ） (2026-07-25T03:42:52Z) - VividVoice: A Unified Framework for Scene-Aware Visually-Driven Speech Synthesis [33.07214721477614]
本稿では,既存の音声生成モデルの限界に対処するタスク・シーン・アウェア・ビジュアル・ドリブン・音声合成を提案する。
データ不足とモダリティデカップリングという2つのコア課題に対処するための統合生成フレームワークであるVividVoiceを提案する。
VividVoiceは,音声の忠実度,コンテンツ明瞭度,マルチモーダル整合性において,既存のベースラインモデルよりも大幅に優れていた。
論文 参考訳（メタデータ） (2026-02-01T07:56:24Z) - RELIC: Interactive Video World Model with Long-Horizon Memory [74.81433479334821]
真のインタラクティブな世界モデルは、リアルタイムの長距離ストリーミング、一貫した空間記憶、正確なユーザ制御を必要とする。
この3つの課題を完全に解決する統合フレームワークであるRELICを紹介します。
単一の画像とテキスト記述が与えられた後、RELICは任意のシーンをリアルタイムにメモリを意識した長期探索を可能にする。
論文 参考訳（メタデータ） (2025-12-03T18:29:20Z) - LongScape: Advancing Long-Horizon Embodied World Models with Context-Aware MoE [16.561410415129778]
LongScapeは、チャンク内拡散とチャンク間自己回帰因果生成を組み合わせたハイブリッドフレームワークである。
私たちの中心となるイノベーションは、ロボットアクションのセマンティックコンテキストに基づいてビデオを分割するアクションガイド付き可変長チャンキングメカニズムです。
論文 参考訳（メタデータ） (2025-09-26T02:47:05Z) - FaceChain-ImagineID: Freely Crafting High-Fidelity Diverse Talking Faces from Disentangled Audio [45.71036380866305]
我々は、音声を聴く人々の過程を抽象化し、意味のある手がかりを抽出し、単一の音声から動的に音声に一貫性のある発話顔を生成する。
ひとつはアイデンティティ、コンテンツ、感情をエンタングルドオーディオから効果的に切り離すことであり、もう一つは動画内多様性とビデオ間の一貫性を維持することである。
本稿では,3つのトレーニング可能なアダプタと凍結遅延拡散モデルとのフレキシブルな統合を含む,制御可能なコヒーレントフレーム生成を提案する。
論文 参考訳（メタデータ） (2024-03-04T09:59:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。