論文の概要: FilmTogether: Cinematic Video Generation from Low-Cost Inputs
- arxiv url: http://arxiv.org/abs/2611.00899v1
- Date: Sat, 31 Oct 2026 12:59:20 GMT
- ステータス: 情報取得中
- システム内更新日: 2026-11-03 19:59:51.026363
- Title: FilmTogether: Cinematic Video Generation from Low-Cost Inputs
- Title(参考訳): FilmTogether: 低コスト入力によるシネマティックビデオ生成
- Abstract要約: CineCraft-120Kは、ペア対応の編集プロンプトを付加した、低レートと高コストのビデオペアの大規模なデータセットである。
CineCraft-120Kは多様で高解像度で高コストのシネマティック銀行で、何十年ものメディア生産にまたがり、5つの広いドメインと23のきめ細かいサブカテゴリに微妙に分類されている。
テキストメモリは低2高外観変化に対してセマンティックキャパシティを拡大し、ヒントメモリは高コスト要素の階層的視覚的特徴補正を提供する。
- 参考スコア(独自算出の注目度): 48.56606822787876
- License:
- Abstract: The widespread adoption of mobile devices has democratized video recording, but a stark aesthetic divide persists between casual, low-cost captures and high-cost cinematic productions. Bridging this gap requires upgrading heterogeneous production elements, such as lighting, specialized costumes, and materials, without altering the core layout, identity, and temporal motion of the original footage. However, this task is heavily bottlenecked by two important challenges: 1) Lacking a high-quality paired training data specifically designed to handle complex low-to-high appearance shifts. 2) Ignoring the capacity of current video editing models to perceive and enhance the multiple low-cost compositions. To address these issues, we present CineCraft-120K, a large-scale dataset of aligned low- and high-cost video pairs annotated with pair-aware editing prompts. CineCraft-120K features a diverse, high-resolution and high-cost Cinematic Crafting bank spanning decades of media production, meticulously taxonomized into 5 broad domains and 23 fine-grained sub-categories. It also provides element-level mapping between low- and high-cost counterparts, offering pair-aware rich textual prompts that precisely detail the required aesthetic transformations while anchoring structural layout. Architecturally, we propose a simple yet effective dual-memory feature adapter, where a text-memory expands semantic capacity for low2high appearance changes, and a hint memory supplies layer-wise visual feature corrections of high-cost element before context injection. Extensive experiments and ablation studies demonstrate the superiority of CineCraft-120K for low-to-high-cost video editing, alongside the effectiveness of our dual-memory adapter.
- Abstract(参考訳): モバイルデバイスの普及は、ビデオ録画を民主化してきたが、その美学的な違いは、カジュアルで低コストな撮影と、高コストの撮影との間にある。
このギャップを埋めるには、照明、特殊衣装、素材などの異種生産要素を改良する必要があるが、コアレイアウト、アイデンティティ、時間的動きは変更されない。
しかし、このタスクは2つの重要な課題に大きくボトルネックされている。
1) 複雑な低-高外観シフトを処理するために特別に設計された高品質なペアトレーニングデータの欠落。
2)既存の映像編集モデルの容量を無視し,複数の低コストな構成を知覚し,強化する。
これらの問題に対処するため、我々はCineCraft-120Kを提案する。CineCraft-120Kは、ペア対応の編集プロンプトを付加した、低コストと高コストのビデオペアからなる大規模なデータセットである。
CineCraft-120Kは多種多様で高解像度で高コストのCinetic Crafting Bankで、何十年もメディア制作が続けられており、5つの広義のドメインと23のきめ細かいサブカテゴリに分類されている。
また、低コストと高コストの双方の要素レベルのマッピングも提供し、ペア対応のリッチテキストプロンプトを提供し、構造的なレイアウトを固定しながら、必要な美的変換を詳細に記述する。
アーキテクチャ上,テキストメモリは低外観変化に対するセマンティックキャパシティを拡張し,ヒントメモリはコンテキスト注入前の高コスト要素の階層的視覚的特徴補正を提供する。
CineCraft-120Kの低費用ビデオ編集における優位性, デュアルメモリアダプタの有効性について検討した。
関連論文リスト
- PAI-Actor: Cinematic Multi-Character Replacement in Dynamic Scenes [51.8637101384136]
PAI-Actorは動的映画のシーンにおける文字置換のためのシネマティック・マルチキャラクタ・アニメーション・フレームワークである。
私たちのゴールは、オリジナルのシーンダイナミックス、カメラモーション、バックグラウンドコンテンツを保存しながら、実際のビデオクリップ内の複数のキャラクターを置き換え、アニメーションすることです。
実験の結果,PAI-Actorは高忠実度マルチキャラクタアニメーションを実現し,シーンの整合性,映像品質,より効率的な長文生成を実現している。
論文 参考訳(メタデータ) (2026-09-05T06:27:27Z) - CineMobile: On-Device Image-to-Video Diffusion for Cinematic Camera Motion Generation [17.654969014220033]
CineMobileは49フレームの480pビデオを生成し、NVIDIA H200 GPUでは0.6秒、MediaTek Dimensity 8400 Ultimate 5Gプラットフォームでは20秒を遅延する。
CineMobileは、ビジュアル品質を同等に保ちながら、世代別40倍のスピードアップを実現している。
論文 参考訳(メタデータ) (2026-07-04T10:24:35Z) - LIVE: Leveraging Image Manipulation Priors for Instruction-based Video Editing [45.1196749483108]
我々は,大規模で高品質な画像編集データをビデオデータセットとともに活用し,編集能力を増強する共同トレーニングフレームワークであるLIVEを提案する。
フレームワイドなトークンノイズ戦略を導入し、特定のフレームの潜伏を推論トークンとして扱い、大規模な事前学習ビデオ生成モデルを活用して、妥当な時間変換を生成する。
画像編集に多いが、既存のビデオデータセットでは不十分な60以上の課題を含む総合的な評価ベンチマークをキュレートする。
論文 参考訳(メタデータ) (2026-04-18T15:09:01Z) - EasyVideoR1: Easier RL for Video Understanding [51.760544033045726]
検証可能な報酬(RLVR)からの強化学習は,大規模言語モデルの推論能力向上に顕著な効果を示した。
EasyVideoR1は、ビデオ理解タスクで大きな視覚言語モデルをトレーニングするために特別に設計された、完全かつ効率的な強化学習フレームワークである。
論文 参考訳(メタデータ) (2026-04-18T07:56:32Z) - V-Warper: Appearance-Consistent Video Diffusion Personalization via Value Warping [42.87624197744494]
V-Warperは、トランスフォーマーベースのビデオ拡散モデルのためのトレーニング不要な粗いパーソナライズフレームワークである。
追加のビデオトレーニングを必要とせずに、きめ細かいアイデンティティの忠実度を高める。
即時アライメントと動きのダイナミクスを保ちながら、外観の忠実度を著しく向上させる。
論文 参考訳(メタデータ) (2025-12-13T16:05:52Z) - Turbo2K: Towards Ultra-Efficient and High-Quality 2K Video Synthesis [50.77548592888096]
2Kビデオ合成の需要は、超明快なビジュアルに対する消費者の期待が高まるにつれて増大している。
Turbo2Kはディテールリッチな2Kビデオを生成するための効率的なフレームワークである。
論文 参考訳(メタデータ) (2025-04-20T03:30:59Z) - HiTVideo: Hierarchical Tokenizers for Enhancing Text-to-Video Generation with Autoregressive Large Language Models [63.65066762436074]
HiTVideoは、テキストからビデオ生成タスクにおける既存のビデオトークンの潜在的な制限を解決することを目的としている。
マルチレイヤの離散トークンフレームワークを備えた3D因果VAEを使用し、ビデオコンテンツを階層的に構造化されたコードブックにエンコードする。
論文 参考訳(メタデータ) (2025-03-14T15:36:39Z) - Multi-Modal Video Topic Segmentation with Dual-Contrastive Domain
Adaptation [74.51546366251753]
ビデオトピックセグメンテーションは、ビデオの基礎となる粗い粒度のセマンティック構造を明らかにする。
ビデオの書き起こしとフレームの両方を利用するマルチモーダルなビデオトピックセグメンタを提案する。
提案手法は, 精度と転送性の両方の観点から, ベースライン法をはるかに上回っている。
論文 参考訳(メタデータ) (2023-11-30T21:59:05Z) - Deep Slow Motion Video Reconstruction with Hybrid Imaging System [12.340049542098148]
現在の技術は、難題では有効でない線形物体の動きを仮定することにより、フレームを通して標準映像のフレームレートを増大させる。
本稿では,アライメントと外観推定を組み合わせた2段階のディープラーニングシステムを提案する。
我々は、合成合成ハイブリッドビデオでモデルをトレーニングし、様々なテストシーンで高品質な結果を示す。
論文 参考訳(メタデータ) (2020-02-27T14:18:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。