論文の概要: From Synchrony to Sequence: Exo-to-Ego Generation via Interpolation
- arxiv url: http://arxiv.org/abs/2604.13793v1
- Date: Wed, 15 Apr 2026 12:32:25 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-04-16 20:38:32.529421
- Title: From Synchrony to Sequence: Exo-to-Ego Generation via Interpolation
- Title（参考訳）: シンクロニーからシーケンスへ:補間によるExo-to-Ego生成
- Authors: Mohammad Mahdi, Nedko Savov, Danda Pani Paudel, Luc Van Gool,
- Abstract要約: Exo-Seqto-Egoビデオ生成は、同期された3人称と対応するカメラポーズから1人称ビューを合成することを目的としている。
同期されたExo-egoデータは本質的に時間的不連続を導入し、標準ビデオ生成ベンチマークのスムーズな動作仮定に違反する。
我々は、ソースとターゲットビデオの間に補間して単一の連続信号を形成するシーケンシャルシーケンスモデルであるSyn2Ex-Forcingを提案する。
- 参考スコア（独自算出の注目度）: 54.68405211129937
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Exo-to-Ego video generation aims to synthesize a first-person video from a synchronized third-person view and corresponding camera poses. While paired supervision is available, synchronized exo-ego data inherently introduces substantial spatio-temporal and geometric discontinuities, violating the smooth-motion assumptions of standard video generation benchmarks. We identify this synchronization-induced jump as the central challenge and propose Syn2Seq-Forcing, a sequential formulation that interpolates between the source and target videos to form a single continuous signal. By reframing Exo2Ego as sequential signal modeling rather than a conventional condition-output task, our approach enables diffusion-based sequence models, e.g. Diffusion Forcing Transformers (DFoT), to capture coherent transitions across frames more effectively. Empirically, we show that interpolating only the videos, without performing pose interpolation already produces significant improvements, emphasizing that the dominant difficulty arises from spatio-temporal discontinuities. Beyond immediate performance gains, this formulation establishes a general and flexible framework capable of unifying both Exo2Ego and Ego2Exo generation within a single continuous sequence model, providing a principled foundation for future research in cross-view video synthesis.
- Abstract（参考訳）: Exo-to-Egoビデオ生成は、同期された3人称視点と対応するカメラポーズから1人称映像を合成することを目的としている。
ペア化された監視が利用可能であるが、同期されたエゴデータは本質的に時空間および幾何学的不連続性を導入し、標準ビデオ生成ベンチマークのスムーズな動作仮定に違反している。
我々は、この同期誘起ジャンプを中心課題とし、ソースとターゲットビデオの間に補間して単一の連続信号を形成するシーケンシャルな定式化であるSyn2Seq-Forcingを提案する。
従来の条件出力タスクではなくシーケンシャルな信号モデリングとしてExo2Egoをリフレッシュすることにより、拡散に基づくシーケンスモデル、例えば拡散強制変換器(DFoT)を可能にし、フレーム間のコヒーレントな遷移をより効果的に捉えることができる。
実験的に,ポーズ補間を行なわずに動画のみを補間することが,すでに顕著な改善をもたらしており,その主な難しさは時空間の不連続によるものであることを強調している。
即時のパフォーマンス向上以外にも、この定式化は単一の連続シーケンスモデル内でExo2EgoとEgo2Exoの生成を統一できる汎用的で柔軟なフレームワークを確立し、クロスビュービデオ合成における将来の研究の基礎となる。
関連論文リスト
- Can Video Diffusion Models Predict Past Frames? Bidirectional Cycle Consistency for Reversible Interpolation [25.677744104220853]
ビデオフレームは、特定の動作セマンティクスに固執しながら、所定のエンドポイント間で現実的な中間フレームを合成することを目的としている。
本稿では,前向きと後向きの軌跡の対称性を強制する新しい双方向フレームワークを提案する。
本手法は,37フレームと73フレームの両方のタスクにおいて,画像品質,運動の滑らかさ,動的制御における最先端性能を実現する。
論文 参考訳（メタデータ） (2026-04-02T06:58:46Z) - Harmony: Harmonizing Audio and Video Generation through Cross-Task Synergy [39.04292189640444]
Harmonyは、機械的に音声と視覚の同期を強制する新しいフレームワークである。
それは新しい最先端技術を確立し、生成忠実度と重要な点の両方において既存の方法よりもはるかに優れており、きめ細かいオーディオと視覚の同期を実現している。
論文 参考訳（メタデータ） (2025-11-26T16:53:05Z) - SViMo: Synchronized Diffusion for Video and Motion Generation in Hand-object Interaction Scenarios [48.09735396455107]
ハンドオブジェクトインタラクション(HOI)生成には、大きな応用可能性がある。
現在の3D HOIモーション生成アプローチは、事前に定義された3Dオブジェクトモデルとラボでキャプチャされたモーションデータに大きく依存している。
本稿では,同期拡散プロセス内での視覚的事前制約と動的制約を組み合わせることで,HOIビデオと動きを同時に生成するフレームワークを提案する。
論文 参考訳（メタデータ） (2025-06-03T05:04:29Z) - AsynFusion: Towards Asynchronous Latent Consistency Models for Decoupled Whole-Body Audio-Driven Avatars [71.90109867684025]
全体オーディオ駆動型アバターポーズと表現生成は、生命に似たデジタル人間を作るための重要なタスクである。
本稿では,拡散変換器を応用し,結合表現とジェスチャ合成を実現する新しいフレームワークAsynFusionを提案する。
AsynFusionは、リアルタイムで同期された全身アニメーションを生成する際に最先端のパフォーマンスを達成する。
論文 参考訳（メタデータ） (2025-05-21T03:28:53Z) - Tuning-Free Multi-Event Long Video Generation via Synchronized Coupled Sampling [81.37449968164692]
ビデオ全体にわたってデノイングパスを同期する新しい推論フレームワークであるシンクロナイズド結合サンプリング(SynCoS)を提案する。
提案手法は, シームレスな局所遷移を保証し, グローバルコヒーレンスを強制する2つの相補的なサンプリング戦略を組み合わせる。
大規模な実験により、SynCoSは、よりスムーズな遷移とより優れた長距離コヒーレンスを実現し、マルチイベント長ビデオ生成を大幅に改善することが示された。
論文 参考訳（メタデータ） (2025-03-11T16:43:45Z) - AR-Diffusion: Asynchronous Video Generation with Auto-Regressive Diffusion [19.98565541640125]
自動回帰拡散(AR-Diffusion, Auto-Regressive Diffusion)は, フレキシブルビデオ生成のための自己回帰拡散モデルと拡散モデルの強みを組み合わせた新しいモデルである。
自己回帰生成に触発されて、個々のフレームの腐敗タイムステップに非減少制約を組み込む。
このセットアップは、時間的因果的注意とともに、時間的コヒーレンスを保ちながら、長さの異なる柔軟なビデオの生成を可能にする。
論文 参考訳（メタデータ） (2025-03-10T15:05:59Z) - Upscale-A-Video: Temporal-Consistent Diffusion Model for Real-World
Video Super-Resolution [65.91317390645163]
Upscale-A-Videoは、ビデオアップスケーリングのためのテキストガイド付き遅延拡散フレームワークである。
ローカルでは、一時的なレイヤをU-NetとVAE-Decoderに統合し、短いシーケンス内で一貫性を維持する。
また、テキストプロンプトによってテクスチャ生成と調整可能なノイズレベルをガイドし、復元と生成のバランスを取ることで、柔軟性も向上する。
論文 参考訳（メタデータ） (2023-12-11T18:54:52Z) - Modelling Latent Dynamics of StyleGAN using Neural ODEs [52.03496093312985]
我々は、GANから独立に反転した潜在符号の軌跡を学習する。
学習した連続軌道により、無限のフレームと一貫したビデオ操作を行うことができる。
提案手法は最先端の性能を実現するが,計算量が少なくなる。
論文 参考訳（メタデータ） (2022-08-23T21:20:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。