論文の概要: LIFT: Layout-In-Future Video Generation under Large Viewpoint Change via On-Policy Self-Distillation

• arxiv url: http://arxiv.org/abs/2609.38146v1
• Date: Tue, 29 Sep 2026 17:57:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-30 21:28:47.821932
• Title: LIFT: Layout-In-Future Video Generation under Large Viewpoint Change via On-Policy Self-Distillation
• Title（参考訳）: LIFT: オンライン自己蒸留による大規模視点変化下でのレイアウトインフューチャー映像生成
• Abstract要約: LIFTは、カメラ制御とLayout-In-FuTure制御を補完する統合イメージ・ビデオ生成フレームワークである。 LIFTは,他の手法よりも画質,将来制御性,カメラ制御性が向上することを示す。
• 参考スコア（独自算出の注目度）: 59.42255951160295
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We introduce LIFT, a unified image-to-video generation framework that complements camera control with Layout-In-FuTure control, enabling users to specify what should appear in a future view and where it should appear. This addresses a practical need in controllable video generation: given an initial image, users often care not only about how the camera moves, but also about what the scene should look like at key future moments, especially the final frame. Existing camera controls specify viewpoint trajectories, while text prompts provide only coarse semantic guidance; neither precisely determines the content and spatial layout of future views. This limitation becomes particularly pronounced under large viewpoint changes, where the camera reveals regions that are not visible in the first frame. LIFT therefore uses the last-frame layout as an explicit control signal for the desired future scene. Since learning from such sparse layout guidance is substantially more challenging than conditioning on dense per-frame layouts, we introduce on-policy self-distillation (OPSD) to transfer the control capability of a dense-layout teacher to a last-frame-layout student. We further curate LIFT-Vista, a dataset featuring large viewpoint changes with camera and temporally consistent layout annotations. Experiments show that LIFT improves video quality, future-layout controllability, and camera controllability over other methods.
• Abstract（参考訳）: 本稿では,カメラ制御とLayout-In-FuTure制御を補完する統合イメージ・ビデオ生成フレームワークであるLIFTを紹介した。 初期の画像からすると、ユーザーはカメラの動きだけでなく、シーンが将来の重要な瞬間、特に最終フレームでどう見えるかにも気を配ることが多い。 既存のカメラコントロールは視点の軌跡を指定するが、テキストプロンプトは粗いセマンティックガイダンスのみを提供する。 この制限は、カメラが第1フレームで見えない領域を明らかにする大きな視点変化の下で特に顕著になる。 したがってLIFTは、望まれる将来のシーンの明示的な制御信号として、最後のフレームレイアウトを使用する。 このような粗いレイアウト指導から学ぶことは、高密度なフレーム単位のレイアウトを条件付けるよりもかなり難しいため、高密度なレイアウト教師の制御能力をラストフレームレイアウトの学生に伝達するために、オンライン自己蒸留(OPSD)を導入する。 さらに、カメラによる視点変化と時間的に一貫したレイアウトアノテーションを備えたデータセットであるLIFT-Vistaをキュレートする。 実験により、LIFTは他の方法よりも画質、将来のレイアウト制御性、カメラ制御性が向上することが示された。

関連論文リスト

• Thinking with Cameras: Active Visual Reasoning via Dynamic Viewpoint Control for Surveillance Video Understanding [27.715058333490447]
  我々はカメラで考えるための新しいフレームワークCamVLMを紹介した。 CamVLMにより、LVLMは動的視点制御により視覚的証拠を積極的に取得できる。 データセット、モデル、コードはhttps://github.com/xiaozhang79/CamVLM.comで公開されます。
  論文  参考訳（メタデータ） (2026-09-06T08:48:02Z)
• Beyond the Visible: Disocclusion-Aware Editing via Proxy Dynamic Graphs [39.496648478488666]
  最終フレームの非排除領域に対する明示的なユーザ制御による画像から映像への生成に対処する。 本研究では,部分運動を駆動する軽量でユーザ編集可能なプロキシダイナミックグラフ(PDG)を導入し,その動きに追従する可塑性な外観を合成するために凍結拡散前処理を用いる。 次に,画像の隠蔽領域の外観をユーザが編集し,PDGが符号化した可視性情報を利用して,これらの領域におけるユーザ意図との動きを一致させる潜時空間合成を行う。
  論文  参考訳（メタデータ） (2025-12-15T14:45:05Z)
• GimbalDiffusion: Gravity-Aware Camera Control for Video Generation [30.697985626973665]
  本稿では,重力をグローバルな基準として,物理世界座標に接地したカメラ制御を実現するフレームワークを提案する。 我々はパノラマ360度ビデオを利用して、従来のビデオデータに見られる直線的で前方向きの軌跡をはるかに超えて、様々なカメラ軌跡を構築する。 本研究では、広帯域カメラピッチ変動下での総合評価のために、SpatialVID-HQを再バランスさせることにより、カメラ対応ビデオ生成のためのベンチマークを確立する。
  論文  参考訳（メタデータ） (2025-12-09T20:54:35Z)
• Frame In-N-Out: Unbounded Controllable Image-to-Video Generation [23.231729778050873]
  我々は、フレームインとフレームアウトとして知られる、一般的には使われていないが探索されていない撮影技術に焦点を当てる。 本稿では、半自動でキュレートされた新しいデータセット、効率的なID保存型モーションコントロール可能なビデオ拡散トランスフォーマアーキテクチャ、およびこのタスクを対象とする包括的な評価プロトコルを紹介する。
  論文  参考訳（メタデータ） (2025-05-27T17:56:07Z)
• SketchVideo: Sketch-based Video Generation and Editing [51.99066098393491]
  本研究では,映像生成のためのスケッチベースの空間・動き制御の実現と,実・合成ビデオのきめ細かい編集を支援することを目的とする。 DiTビデオ生成モデルに基づいて、スキップされたDiTブロックの残像を予測するスケッチ制御ブロックを用いたメモリ効率の高い制御構造を提案する。 スケッチベースのビデオ編集では,新たに編集したコンテンツとオリジナルビデオの空間的特徴と動的動作との整合性を維持するビデオ挿入モジュールを設計する。
  論文  参考訳（メタデータ） (2025-03-30T02:44:09Z)
• Which Viewpoint Shows it Best? Language for Weakly Supervising View Selection in Multi-view Instructional Videos [66.1935609072708]
  LangViewは、ビュー依存のキャプション予測の相対的精度を、擬似ラベルを最もよく見るためのプロキシとして利用するフレームワークである。 推論中、我々のモデルは多視点ビデオ(言語やカメラのポーズなし)のみを入力として、各タイミングで見るのに最適な視点を返します。
  論文  参考訳（メタデータ） (2024-11-13T16:31:08Z)
• VideoDirectorGPT: Consistent Multi-scene Video Generation via LLM-Guided Planning [62.51232333352754]
  VideoDirectorGPTは、一貫したマルチシーンビデオ生成のための新しいフレームワークである。 提案手法は,複数シーンのビデオ生成におけるレイアウトと移動制御を大幅に改善する。
  論文  参考訳（メタデータ） (2023-09-26T17:36:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。