論文の概要: Pair-Free Coarse-to-Real Video Generation via Real-to-Coarse Image Supervision

• arxiv url: http://arxiv.org/abs/2610.28954v1
• Date: Tue, 20 Oct 2026 22:09:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-23 09:50:43.222978
• Title: Pair-Free Coarse-to-Real Video Generation via Real-to-Coarse Image Supervision
• Title（参考訳）: 実写映像スーパービジョンによるPair-free Coarse-to-Real Video生成
• Abstract要約: Coarse-to-real(C2R)ビデオ生成は、粗いアニメーション、シミュレーション、ゲームレンダリングビデオからフォトリアリスティックビデオに変換する。 ペア化されたビデオは入手が難しいが、ペア化されたリアル・ツー・粗い画像は既存の編集ツールや3D再構成ツールで簡単に構築できる。
• 参考スコア（独自算出の注目度）: 10.660909847561536
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Coarse-to-real (C2R) video generation converts coarse animation, simulation, or game-rendered videos into photorealistic videos while preserving scene layout, camera motion, and dynamics. Training such models requires aligned (coarse, realistic) video pairs, which are expensive to create and confine prior systems to narrow synthetic domains. We exploit a simple asymmetry: paired videos are hard to obtain, but paired real-to-coarse images are easy to construct with existing editing and 3D reconstruction tools. Using these image pairs, we train the DINO-R2C model to transfer realistic images to coarse images in DINO feature space, and apply it frame-wise to ordinary real videos to synthesize pseudo-coarse videos. The C2R# model then learns to generate each real video from its pseudo-coarse counterpart, free from needing (coarse, realistic) video pairs. At inference, the DINO-R2C model is discarded and actual coarse videos drive the C2R# model directly. Thus, our pair-free training scales with any real-video corpora rather than with paired synthetic videos. We will release the model and project webpage at https://gonzalognogales.github.io/coarse2real-sharp/.
• Abstract（参考訳）: Coarse-to-real(C2R)ビデオ生成は、粗いアニメーション、シミュレーション、またはゲームレンダリングされたビデオを、シーンレイアウト、カメラモーション、ダイナミックスを保存しながら、フォトリアリスティックなビデオに変換する。 このようなモデルのトレーニングには、より狭い合成ドメインに事前システムを作成し、閉じ込めるのに費用がかかる(粗い、現実的な)ビデオペアが必要である。 ペア化されたビデオは入手が難しいが、ペア化されたリアル・ツー・粗い画像は既存の編集ツールや3D再構成ツールで簡単に構築できる。 これらの画像ペアを用いて、DINO-R2Cモデルをトレーニングし、DINO特徴空間内の粗い画像に現実的な画像を転送し、通常の実映像にフレームワイズして擬似粗いビデオを合成する。 C2R#モデルはその後、(粗い、現実的な)ビデオペアを必要とせずに、擬似粗いものから、それぞれの実ビデオを生成することを学習する。 DINO-R2Cモデルは破棄され、実際の粗いビデオはC2R#モデルを直接駆動する。 このように、ペアなしのトレーニングは、ペア合成ビデオではなく、実際のビデオコーパスでスケールします。 モデルとプロジェクトのWebページはhttps://gonzalognogales.github.io/coarse2real-sharp/で公開します。

関連論文リスト

• Seeing Realism from Simulation: Efficient Video Transfer for Vision-Language-Action Data Augmentation [39.90318150105298]
  視覚言語アクション(VLA)モデルは通常、大規模な実世界のビデオに依存している。 シミュレーションVLAビデオをリアルなトレーニングビデオに変換する,効率的なビデオ拡張フレームワークを提案する。
  論文  参考訳（メタデータ） (2026-05-04T15:57:07Z)
• Coarse-to-Real: Generative Rendering for Populated Dynamic Scenes [22.450051108066216]
  本稿では,C2R(Coarse-to-Real)について述べる。 提案手法では, シーンレイアウト, カメラモーション, 人体軌跡を明瞭に制御するために, 粗い3次元レンダリングを用いる。 最小限の3D入力から、時間的に一貫性があり、コントロール可能で、リアルな都市シーンビデオを生成する。
  論文  参考訳（メタデータ） (2026-01-29T20:29:04Z)
• MAD: Motion Appearance Decoupling for efficient Driving World Models [94.40548866741791]
  本稿では,一般的な映像モデルを制御可能な運転世界モデルに変換する,効率的な適応フレームワークを提案する。 鍵となるアイデアは、外見合成からモーションラーニングを分離することである。 私たちのMAD-LTXモデルであるLTXへのスケーリングは、すべてのオープンソース競合より優れています。
  論文  参考訳（メタデータ） (2026-01-14T12:52:23Z)
• S^2VG: 3D Stereoscopic and Spatial Video Generation via Denoising Frame Matrix [60.060882467801484]
  そこで本研究では,既製の単眼ビデオ生成モデルを利用して,没入型3Dビデオを生成する,ポーズフリーかつトレーニングフリーな手法を提案する。 提案手法はまず,生成したモノクロ映像を推定深度情報を用いて予め定義されたカメラ視点にワープし,新しいテキストフレーム・マトリクス・インペイント・フレームワークを適用した。 提案手法の有効性は,Sora, Lumiere, WALT, Zeroscope など,様々な生成モデルを用いた実験により検証した。
  論文  参考訳（メタデータ） (2025-08-11T14:50:03Z)
• Zero-Shot Video Editing Using Off-The-Shelf Image Diffusion Models [68.31777975873742]
  ビデオ編集の最近の試みは、トレーニングに大量のテキスト・ビデオデータと計算資源を必要とする。 我々は、ゼロショットビデオ編集のためのシンプルで効果的な方法であるvid2vid-zeroを提案する。 実験と分析は、現実世界のビデオの属性、主題、場所などの編集において有望な結果を示す。
  論文  参考訳（メタデータ） (2023-03-30T17:59:25Z)
• MagicVideo: Efficient Video Generation With Latent Diffusion Models [76.95903791630624]
  我々はMagicVideoと呼ばれる遅延拡散モデルに基づく効率的なテキスト・ビデオ生成フレームワークを提案する。 低次元空間における映像の配布をモデル化する新しい3次元U-Netの設計により、MagicVideoは1枚のGPUカード上で256×256の空間解像度でビデオクリップを合成できる。 我々は広範な実験を行い、MagicVideoが現実的または虚構的なコンテンツで高品質なビデオクリップを作成できることを実証した。
  論文  参考訳（メタデータ） (2022-11-20T16:40:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。