論文の概要: Gen Through the Lens: Camera-Controllable Video Generation via Cross-Coordinate Conditioning Fusion
- arxiv url: http://arxiv.org/abs/2610.15900v1
- Date: Sun, 11 Oct 2026 20:27:58 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-15 21:06:15.269248
- Title: Gen Through the Lens: Camera-Controllable Video Generation via Cross-Coordinate Conditioning Fusion
- Title（参考訳）: Gen through the Lens: クロスコーディネートコンディショニング融合によるカメラ制御可能なビデオ生成
- Abstract要約: 本稿では,所定の参照画像から映像を合成する,カメラ制御可能な映像映像生成フレームワークを提案する。
カメラ動作を抽象的条件付けとして扱う従来のモデルとは異なり、我々のアプローチは3つの座標空間にわたって制御信号を明示的に分解・融合する。
本手法は,様々なカメラ操作にまたがって制御可能かつ視覚的に一貫した結果を生成し,リアリズムと編集性の両方において既存手法よりも優れる。
- 参考スコア（独自算出の注目度）: 14.466963264083768
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: We present Gen Through the Lens, a camera-controllable image-to-video generation framework that synthesizes videos from a given reference image while enabling realistic and physically consistent camera operations. Unlike previous models that treat camera motion as abstract conditioning or rely on a single coordinate system, our approach explicitly decomposes and fuses control signals across three coordinate spaces: the camera coordinate (modeled by intrinsic parameters), the world coordinate (represented by spatial geometry hints), and the object coordinate (described by 3D bounding boxes of target subjects). Through cross-coordinate conditioning fusion, these heterogeneous cues are unified to guide the generative process, enabling precise control of camera motion, focus, and framing while preserving temporal and spatial coherence. Extensive experiments demonstrate that our method produces controllable and visually consistent results across diverse camera operations, outperforming existing approaches in both realism and editability.
- Abstract（参考訳）: 我々は、カメラ制御可能な画像-映像生成フレームワークであるGen Through the Lensを紹介し、現実的で物理的に一貫したカメラ操作を可能にしながら、所定の参照画像からビデオを合成する。
カメラ動作を抽象的条件付けとして扱う従来のモデルと異なり、我々のアプローチでは、カメラ座標(内在パラメータでモデル化)、ワールド座標(空間幾何学的ヒントで表現)、オブジェクト座標(対象対象の3次元境界ボックスで記述)の3つの座標空間で制御信号を明示的に分解・融合する。
クロスコーディネート・コンディショニング・フュージョン(英語版)により、これらの異質なキューは統合され、時間的および空間的コヒーレンスを維持しながらカメラの動き、焦点、フレーミングの正確な制御を可能にする。
広汎な実験により、本手法は様々なカメラ操作に対して制御可能かつ視覚的に一貫した結果をもたらすことが示され、リアリズムと編集性の両方において既存のアプローチよりも優れていた。
関連論文リスト
- CameraAnything: Refilming Videos with Arbitrary Camera Control [104.67227614978822]
我々は、カメラ制御ビデオ編集のための最初の統合フレームワークであるCameraAnythingを紹介する。
内在型と外在型の両方のカメラパラメータのジョイントコントロールを可能にする。
調整されたトレーニング戦略により、CameraAnythingは、任意の視点制御、焦点長調整、解像度適応、および1世代プロセス内の複数ショット遷移による表現力のあるビデオ再撮影を可能にする。
論文 参考訳（メタデータ） (2026-07-27T15:55:08Z) - MVTrack4Gen: Multi-View Point Tracking as Geometric Supervision for 4D Video Generation [50.65653874052261]
MVTrack4Genは、カメラコンディショニングのみの新規ビュービデオ拡散モデルのためのモーションアウェアトレーニングフレームワークである。
我々の重要な発見は、特定の注意層が強い対応の手がかりを符号化することであり、そこでは、クエリ機能は幾何学的に対応する場所で重要な特徴に付随する。
これらの動き認識対応を明示的に強化することにより、MVTrack4Genは既存のモデルを改善し、参照ビューにおける動きをより良く追従し、クロスビューの幾何的一貫性を維持する。
論文 参考訳（メタデータ） (2026-06-24T17:56:33Z) - Go-with-the-Track: Video Compositing and Motion Control with Point Tracking [50.22693773328114]
フィルム製造は正確な動き制御と参照画像合成を要求する。
複数の参照画像と参照アンコレートされたポイントトラックを共同で条件付けすることで、両方の機能を統一するGo-with-the-Trackを提案する。
Go-with-the-Trackは単一のモデルで優れた動きと参照制御を実現する。
論文 参考訳（メタデータ） (2026-06-18T19:40:03Z) - TriMotion: Modality-Agnostic Camera Control for Video Generation [65.5913929253637]
TriMotionは、カメラ制御ビデオ生成のためのフレームワークで、ビデオ、ポーズ、テキスト入力をマッピングし、同じカメラ軌跡を共有モーション埋め込み空間に記述する。
また,TriMotionは3つのモダリティ全てを対象とするカメラ軌跡を正確に追従する高品質なビデオを生成する。
論文 参考訳（メタデータ） (2026-06-18T16:07:05Z) - GeoStream: Toward Precise Camera Controlled Streaming Video Generation [85.01823220801256]
既存のアプローチはカメラの動きを暗黙的に学習し、アウト・オブ・ディストリビューション・トラジェクトリの下で不正確な制御をもたらす。
厳密な幾何学的条件付けにより制御性が向上するが、既存の手法は非自己回帰的である。
自動回帰ストリーミングビデオ生成における高精度なメカニカルカメラ制御を実現するフレームワークであるGeoStreamを提案する。
論文 参考訳（メタデータ） (2026-06-13T07:18:04Z) - SymphoMotion: Joint Control of Camera Motion and Object Dynamics for Coherent Video Generation [11.470401259593944]
SymphoMotionは、単一のモデル内でカメラの軌跡とオブジェクトのダイナミクスを管理する統合モーションコントロールフレームワークである。
The SymphoMotion are shown that SymphoMotion are significantlyforms existing method in visual fidelity, camera controllability, and object-motion accuracy。
論文 参考訳（メタデータ） (2026-04-04T12:59:24Z) - GimbalDiffusion: Gravity-Aware Camera Control for Video Generation [30.697985626973665]
本稿では,重力をグローバルな基準として,物理世界座標に接地したカメラ制御を実現するフレームワークを提案する。
我々はパノラマ360度ビデオを利用して、従来のビデオデータに見られる直線的で前方向きの軌跡をはるかに超えて、様々なカメラ軌跡を構築する。
本研究では、広帯域カメラピッチ変動下での総合評価のために、SpatialVID-HQを再バランスさせることにより、カメラ対応ビデオ生成のためのベンチマークを確立する。
論文 参考訳（メタデータ） (2025-12-09T20:54:35Z) - Two-Stage Camera Calibration Method for Multi-Camera Systems Using Scene Geometry [52.27010615715154]
本稿では,マルチカメラトラッキングシステムのための2段階キャリブレーション手法を提案する。
第1段階では、自然幾何学的プリミティブの演算子のアノテーションに基づいて、個々のカメラの部分校正を行う。
第2段階では、投影された有効視野のインタラクティブな操作により、正確なシステム校正を行う。
論文 参考訳（メタデータ） (2025-12-04T16:47:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。