論文の概要: Can video generation replace cinematographers? Research on the cinematic language of generated video

• arxiv url: http://arxiv.org/abs/2412.12223v2
• Date: Fri, 28 Mar 2025 03:50:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-31 15:06:06.065605
• Title: Can video generation replace cinematographers? Research on the cinematic language of generated video
• Title（参考訳）: 映像生成は撮影者を置き換えることができるか? : 生成された映像の映像言語に関する研究
• Authors: Xiaozhe Li, Kai WU, Siyi Yang, YiZhan Qu, Guohua. Zhang, Zhiyu Chen, Jiayao Li, Jiangchuan Mu, Xiaobin Hu, Wen Fang, Mingliang Xiong, Hao Deng, Qingwen Liu, Gang Li, Bin He,
• Abstract要約: 本稿では,テキスト・ツー・ビデオ(T2V)モデルにおける撮影制御を改善するための3つのアプローチを提案する。 まず,20のサブカテゴリ,ショットフレーミング,ショットアングル,カメラの動きを網羅した,微妙な注釈付き映画言語データセットを紹介する。 第二に、カメラディフ(CameraDiff)は、ロラを精度よく安定した撮影制御に利用し、フレキシブルショット生成を確実にする。 第3に,撮影アライメントの評価とマルチショット合成のガイドを目的としたCameraCLIPを提案する。
• 参考スコア（独自算出の注目度）: 31.0131670022777
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent advancements in text-to-video (T2V) generation have leveraged diffusion models to enhance visual coherence in videos synthesized from textual descriptions. However, existing research primarily focuses on object motion, often overlooking cinematic language, which is crucial for conveying emotion and narrative pacing in cinematography. To address this, we propose a threefold approach to improve cinematic control in T2V models. First, we introduce a meticulously annotated cinematic language dataset with twenty subcategories, covering shot framing, shot angles, and camera movements, enabling models to learn diverse cinematic styles. Second, we present CameraDiff, which employs LoRA for precise and stable cinematic control, ensuring flexible shot generation. Third, we propose CameraCLIP, designed to evaluate cinematic alignment and guide multi-shot composition. Building on CameraCLIP, we introduce CLIPLoRA, a CLIP-guided dynamic LoRA composition method that adaptively fuses multiple pre-trained cinematic LoRAs, enabling smooth transitions and seamless style blending. Experimental results demonstrate that CameraDiff ensures stable and precise cinematic control, CameraCLIP achieves an R@1 score of 0.83, and CLIPLoRA significantly enhances multi-shot composition within a single video, bridging the gap between automated video generation and professional cinematography.\textsuperscript{1}
• Abstract（参考訳）: テキスト・ツー・ビデオ(T2V)生成の最近の進歩は、テキスト記述から合成されたビデオにおける視覚的コヒーレンスを高めるために拡散モデルを活用している。 しかし、既存の研究は主に物体の動きに焦点を当てており、しばしば映画言語を見下ろしている。 そこで本研究では,T2Vモデルにおける撮影制御を改善するための3つのアプローチを提案する。 まず,20のサブカテゴリで,ショットフレーミング,ショットアングル,カメラの動きを網羅した微妙な注釈付き映画言語データセットを導入し,多様な映画スタイルの学習を可能にした。 第二に、カメラディフ(CameraDiff)は、ロラを精度よく安定した撮影制御に利用し、フレキシブルショット生成を確実にする。 第3に,撮影アライメントの評価とマルチショット合成のガイドを目的としたCameraCLIPを提案する。 CameraCLIP上に構築したCLIPLoRAは,CLIP誘導型動的LORA合成法で,複数のプレトレーニング済みLORAを適応的に融合し,スムーズな遷移とシームレスなスタイルブレンディングを実現する。 実験により,CameraDiffは安定かつ高精度な撮影制御を実現し,CameraCLIPはR@1スコア0.83を達成し,CLIPLoRAはビデオの自動生成とプロ撮影とのギャップを埋めて,単一のビデオ内でのマルチショット合成を著しく向上させることがわかった。 \textsuperscript{1}

関連論文リスト

• CineVerse: Consistent Keyframe Synthesis for Cinematic Scene Composition [23.795982778641573]
  CineVerseは、シーン構成のタスクのための新しいフレームワークである。 従来のマルチショット生成と同様に、我々のタスクはフレーム間の一貫性と連続性の必要性を強調する。 我々の課題は、複数のキャラクター、複雑な相互作用、視覚的映像効果など、映画制作に固有の課題に対処することにも焦点を当てている。
  論文  参考訳（メタデータ） (2025-04-28T15:28:14Z)
• CamMimic: Zero-Shot Image To Camera Motion Personalized Video Generation Using Diffusion Models [47.65379612084075]
  CamMimicは、所定のリファレンスビデオで観察されたカメラモーションを、ユーザの選択したシーンにシームレスに転送するように設計されている。 非関連シーン間のカメラの動き伝達を評価するための確立された指標が存在しないため,CameraScoreを提案する。
  論文  参考訳（メタデータ） (2025-04-13T08:04:11Z)
• GenDoP: Auto-regressive Camera Trajectory Generation as a Director of Photography [98.28272367169465]
  本稿では,写真監督の専門知識にインスパイアされた自己回帰モデルを導入し,芸術的かつ表現的なカメラトラジェクトリを生成する。 包括的で多様なデータベースのおかげで、高品質でコンテキスト対応のカメラムーブメント生成のための自動回帰デコーダのみのトランスフォーマーをトレーニングします。 実験により、既存の手法と比較して、GenDoPはより良い制御性、よりきめ細かい軌道調整、より高い運動安定性を提供することが示された。
  論文  参考訳（メタデータ） (2025-04-09T17:56:01Z)
• Long Context Tuning for Video Generation [63.060794860098795]
  Long Context Tuning (LCT) は、訓練済みのシングルショットビデオ拡散モデルのコンテキストウィンドウを拡張する訓練パラダイムである。 本手法は、シーン内のすべてのショットを包含するために、個々のショットからフルアテンションメカニズムを拡張する。 実験では、コヒーレントなマルチショットシーンを実証し、合成生成やインタラクティブショット拡張など、新たな能力を示す。
  論文  参考訳（メタデータ） (2025-03-13T17:40:07Z)
• EditIQ: Automated Cinematic Editing of Static Wide-Angle Videos via Dialogue Interpretation and Saliency Cues [6.844857856353673]
  我々は、静止画、大視野、高解像度カメラで撮影されたシーンを撮影的に編集する、完全に自動化されたフレームワークEditIQを提案する。 静的カメラフィードから、EditIQは最初、複数の仮想フィードを生成し、カメラマンのチームをエミュレートする。 これらの仮想カメラショットは後に自動編集アルゴリズムを用いて組み立てられ、その目的は視聴者に最も鮮明なシーンコンテンツを提示することである。
  論文  参考訳（メタデータ） (2025-02-04T09:45:52Z)
• VideoGen-of-Thought: A Collaborative Framework for Multi-Shot Video Generation [70.61101071902596]
  現在の世代モデルは短いクリップを生成するのに優れていますが、マルチショット映画のようなビデオを作るのに苦戦しています。 マルチショットビデオ生成に特化して設計された協調学習不要なアーキテクチャであるVideoGen-of-Thought (VGoT)を提案する。 我々の実験は、VGoTが高品質でコヒーレントなマルチショットビデオを作成する際に、既存のビデオ生成方法を上回ることを実証している。
  論文  参考訳（メタデータ） (2024-12-03T08:33:50Z)
• One-Shot Learning Meets Depth Diffusion in Multi-Object Videos [0.0]
  本稿では,一対のテキスト・ビデオから一対のコヒーレント・多様な映像を生成可能な,新しい深度条件付き手法を提案する。 提案手法は,従来設計した空間的・時間的注意機構を用いて,事前学習したモデルを用いて連続的な動きを捉える。 推論中、ビデオ生成のための構造的ガイダンスを提供するためにDDIMインバージョンを使用する。
  論文  参考訳（メタデータ） (2024-08-29T16:58:10Z)
• Image Conductor: Precision Control for Interactive Video Synthesis [90.2353794019393]
  映画製作とアニメーション制作は、しばしばカメラの遷移と物体の動きを調整するための洗練された技術を必要とする。 イメージコンダクタ(Image Conductor)は、カメラトランジションとオブジェクトの動きを正確に制御し、単一の画像からビデオアセットを生成する方法である。
  論文  参考訳（メタデータ） (2024-06-21T17:55:05Z)
• Video-LaVIT: Unified Video-Language Pre-training with Decoupled Visual-Motional Tokenization [52.63845811751936]
  ダイナミックスビデオのモデリングのため、ビデオ事前トレーニングは難しい。 本稿では,ビデオ事前学習におけるこのような制限を,効率的なビデオ分解によって解決する。 筆者らのフレームワークは,13のマルチモーダルベンチマークにおいて,画像と映像のコンテントの理解と生成が可能であることを実証した。
  論文  参考訳（メタデータ） (2024-02-05T16:30:49Z)
• Cinematic Behavior Transfer via NeRF-based Differentiable Filming [63.1622492808519]
  既存のSLAM手法は動的シーンの制限に直面し、人間のポーズ推定はしばしば2次元投影に焦点を当てる。 まず,逆撮影行動推定手法を提案する。 次に,新しい2Dビデオや3D仮想環境に様々な撮影タイプを転送できる映像転送パイプラインを導入する。
  論文  参考訳（メタデータ） (2023-11-29T15:56:58Z)
• MovieFactory: Automatic Movie Creation from Text using Large Generative Models for Language and Images [92.13079696503803]
  映画制作のためのフレームワークであるMovieFactory(3072$times$1280)、映画スタイル(マルチシーン)、マルチモーダル(サウンド)映画について紹介する。 本手法は,簡単なテキスト入力を用いて,スムーズなトランジションでキャプティベーション映画を制作することを可能にする。
  論文  参考訳（メタデータ） (2023-06-12T17:31:23Z)
• Let's Think Frame by Frame with VIP: A Video Infilling and Prediction Dataset for Evaluating Video Chain-of-Thought [62.619076257298204]
  我々は、少数のビデオ推論のシーケンシャルな理解として、フレーミングビデオ推論を動機付けている。 VIPは、ビデオチェーンオブ思考を通してモデルの推論能力を調べるために設計された、推論時の課題データセットである。 我々は、VIP上でGPT-4、GPT-3、VICUNAをベンチマークし、複雑なビデオ推論タスクのパフォーマンスギャップを実証し、今後の作業を促進する。
  論文  参考訳（メタデータ） (2023-05-23T10:26:42Z)
• Automatic Camera Trajectory Control with Enhanced Immersion for Virtual Cinematography [23.070207691087827]
  実世界のシネマトグラフィーのルールは、監督がカメラをアクターと包括的に同期させることで没入感を生み出すことができることを示している。 この戦略に触発されて,アクターとカメラの3面の同期を可能にするディープカメラ制御フレームワークを提案する。 提案手法は,高品質な没入型撮影映像を定量的かつ質的に生成する。
  論文  参考訳（メタデータ） (2023-03-29T22:02:15Z)
• A Unified Framework for Shot Type Classification Based on Subject Centric Lens [89.26211834443558]
  主観的誘導ネットワーク(SGNet)を用いたショット型認識のための学習フレームワークを提案する。 SGNetは、ショットの主題と背景を2つのストリームに分け、それぞれがスケールとムーブメントタイプの分類のための別々のガイダンスマップとして機能する。 大規模なデータセットであるMovieShotsを構築し、7Kフィルムトレーラーから46K枚の写真と、それらのスケールとムーブメントのアノテーションを含む。
  論文  参考訳（メタデータ） (2020-08-08T15:49:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。