論文の概要: DiVA: Enabling Interactive Digital Life Simulation via Video Models
- arxiv url: http://arxiv.org/abs/2609.13830v1
- Date: Sat, 12 Sep 2026 09:33:15 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-16 07:15:05.563191
- Title: DiVA: Enabling Interactive Digital Life Simulation via Video Models
- Title（参考訳）: DiVA:ビデオモデルによるインタラクティブデジタルライフシミュレーションの実現
- Abstract要約: DiVAは、長期的かつオープンなインタラクティブ体験のための新しいパラダイムを開拓した、インタラクティブなデジタルライフシミュレータである。
長期的な視覚的品質とリアリズムを維持し、持続的でインタラクティブなシミュレーションとしての有効性を検証する。
- 参考スコア（独自算出の注目度）: 107.640138694388
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We present DiVA, a deeply interactive digital life simulator pioneering a new paradigm for long-term, open-ended interactive experiences within digital character worlds. DiVA's architecture pairs a Multimodal Large Language Model (MLLM) as a router with a meticulously designed stacked video pipeline for seamless, multi-turn interactions with action and audio response. To maintain continuity and avoid degradation, we model generation as a three-part coupled system: waiting video, action video, and the transitions between them. These transitions are critically handled by our Anchored Video Continuation (AVC) module, which returns the character to stable states to prevent degradation. By encoding information from the preceding action video segment, AVC ensures smooth transitions, significantly reducing camera jitter and inconsistencies common in current video transition methods. This design also enables complex pose changes (e.g., sitting to standing) typically difficult for audio-driven models. These system designs together ensure high-fidelity identity, coherence, and dynamics for extended experiences. To validate our pipeline design, we comprehensively compare our system against alternatives by replacing our core generation module with mainstream long-video, continuation, and interpolation methods. We further analyze the necessity of the three-stage design, anchor-state selection, transition naturalness, spatial grounding, and the quality-latency trade-off, and we expand the comparison to additional long-form audio-driven avatar models. Results confirm DiVA is markedly superior in maintaining long-term visual quality and realism, validating its effectiveness as a sustainable, interactive simulation.
- Abstract（参考訳）: 我々は,デジタルキャラクタの世界における長期的かつオープンなインタラクティブ体験のための新しいパラダイムを開拓した,深くインタラクティブなデジタルライフシミュレータであるDiVAを紹介する。
DiVAのアーキテクチャは、マルチモーダル大言語モデル(MLLM)をルータとして、シームレスでマルチターンなアクションとオーディオ応答との相互作用をシームレスに設計したビデオパイプラインと組み合わせている。
連続性を維持し、劣化を避けるため、我々は3部結合システムとして、待機ビデオ、アクションビデオ、それらの間の遷移をモデル化する。
これらの遷移は、AVC(Anchored Video Continuation)モジュールによって批判的に処理されます。
前者のアクションビデオセグメントから情報をエンコードすることで、AVCはスムーズな遷移を保証し、現在のビデオ遷移法に共通するカメラジッタや不整合を著しく低減する。
この設計により、オーディオ駆動モデルでは一般的に難しい複雑なポーズ変更(例えば、座ったり立ったり)が可能になる。
これらのシステム設計は、拡張エクスペリエンスのための高忠実度アイデンティティ、コヒーレンス、ダイナミックスを保証する。
パイプライン設計を検証するため、コアジェネレーションモジュールをメインストリームの長ビデオ、継続、補間メソッドに置き換えることで、システムと代替品を総合的に比較する。
さらに, 3段階設計, アンカー状態選択, 遷移自然性, 空間接地, 品質-遅延トレードオフの必要性を解析し, 付加的な長めオーディオ駆動型アバターモデルとの比較を拡大する。
その結果、DiVAは長期的な視覚的品質とリアリズムの維持に優れており、持続的でインタラクティブなシミュレーションとしての有効性が検証された。
関連論文リスト
- Long-Horizon Audio-Visual Generation for Persistent Stories and Interactive Worlds [60.18437892555415]
本稿では,2つの目的を持ったオーディオ視覚生成システムであるJoyAI-Echo-1.5を提案する。
この長ビデオ版では、コンポーザブルなクロスショットメモリが導入され、複数の先行ショットと、音声フィルタリングされたフルショットオーディオから派生した話者キューに視覚的エビデンスを集約する。
世界モデルの変種は、不均一なナビゲーション入力を校正されたメートル法6-DoFカメラ軌跡に変換し、幾何学的条件付け経路を介してそれらを注入する。
論文 参考訳（メタデータ） (2026-08-24T15:31:12Z) - LiveTalk: Real-Time Multimodal Interactive Video Diffusion via Improved On-Policy Distillation [35.01134463094784]
汎用多目的対話型AIシステムを構築するためには,拡散によるリアルタイムビデオ生成が不可欠である。
既存の蒸留法では、モデルが自己回帰し、サンプリング工程を減らしてこれを緩和することができる。
本論文は,テキスト,画像,音声を含むマルチモーダル環境下でのリアルタイム対話型ビデオ拡散を目標とし,そのギャップを埋める。
論文 参考訳（メタデータ） (2025-12-29T16:17:36Z) - Complementary and Contrastive Learning for Audio-Visual Segmentation [74.11434759171199]
本稿では,ローカル情報とグローバル情報の両方を処理可能な新しいフレームワークであるComplementary and Contrastive Transformer(CCFormer)を提案する。
提案手法は,S4, MS3, AVSSデータセットにまたがる最先端のベンチマークを新たに設定する。
論文 参考訳（メタデータ） (2025-10-11T06:36:59Z) - BindWeave: Subject-Consistent Video Generation via Cross-Modal Integration [56.98981194478512]
本稿では,幅広いテーマ・ツー・ビデオシナリオを扱う統一フレームワークを提案する。
MLLM-DiTフレームワークは,事前訓練されたマルチモーダルな大規模言語モデルで,基底エンティティに対して深い相互モーダル推論を行う。
OpenS2Vベンチマークの実験により、本手法は、生成ビデオにおける主観的整合性、自然性、テキスト関連性において優れた性能を実現することを示した。
論文 参考訳（メタデータ） (2025-10-01T02:41:11Z) - DreamVVT: Mastering Realistic Video Virtual Try-On in the Wild via a Stage-Wise Diffusion Transformer Framework [26.661935208583756]
VVT(Virtual try-on)技術は、eコマース広告やエンターテイメントに将来性があるとして、学術的な関心を集めている。
本研究では,現実のシナリオにおける適応性を高めるために,多種多様な人間中心データを活用することが可能なDreamVVTを提案する。
第1段階では、入力ビデオから代表フレームをサンプリングし、視覚言語モデル(VLM)と統合された多フレーム試行モデルを用いて、高忠実で意味論的に整合した試行画像を合成する。
第2段階では、微粒な動きと外観記述とともに骨格図が作成される。
論文 参考訳（メタデータ） (2025-08-04T18:27:55Z) - A Framework Combining 3D CNN and Transformer for Video-Based Behavior Recognition [0.0]
本稿では3D CNNとTransformerアーキテクチャを組み合わせたハイブリッドフレームワークを提案する。
3D CNNモジュールは低レベルの時間的特徴を抽出し、Transformerモジュールは長期の時間的依存関係をキャプチャする。
提案モデルは従来の3D CNNやスタンドアロンのトランスフォーマーよりも優れており、高い認識精度と管理可能な複雑さを実現している。
論文 参考訳（メタデータ） (2025-08-02T07:33:29Z) - LoViC: Efficient Long Video Generation with Context Compression [68.22069741704158]
百万単位のオープンドメインビデオに基づいてトレーニングされたDiTベースのフレームワークであるLoViCを紹介する。
当社のアプローチの核心はFlexFormerです。ビデオとテキストを統合された潜在表現に共同で圧縮する表現型オートエンコーダです。
論文 参考訳（メタデータ） (2025-07-17T09:46:43Z) - Efficient Long-duration Talking Video Synthesis with Linear Diffusion Transformer under Multimodal Guidance [39.94595889521696]
LetsTalkは、マルチモーダルガイダンスと新しいメモリバンク機構を備えた拡散トランスフォーマーフレームワークである。
特に、LetsTalkは、拡張ビデオ生成時のエラーの蓄積とアーティファクトのサンプリングを緩和するために、ノイズレギュラー化されたメモリバンクを導入している。
我々はLetsTalkが生成品質の新たな最先端を確立し、時間的に一貫したリアルな会話ビデオを生成することを示す。
論文 参考訳（メタデータ） (2024-11-24T04:46:00Z) - Long-Short Temporal Contrastive Learning of Video Transformers [62.71874976426988]
ビデオのみのデータセットにおけるビデオトランスフォーマーの自己教師付き事前トレーニングは、大規模画像データセットでの教師付き事前トレーニングで得られたものよりも、同等以上のアクション認識結果につながる可能性がある。
我々の手法は、長短時空間コントラスト学習(Long-Short Temporal Contrastive Learning)と呼ばれ、ビデオトランスフォーマーが、より長い時間的範囲から捉えた時間的文脈を予測することによって、効果的なクリップレベルの表現を学習することを可能にする。
論文 参考訳（メタデータ） (2021-06-17T02:30:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。