論文の概要: MeRoPE: Metric Rotary Position Embedding for Camera-Controlled Video Generation
- arxiv url: http://arxiv.org/abs/2609.01252v1
- Date: Tue, 01 Sep 2026 13:48:31 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-02 16:31:36.69318
- Title: MeRoPE: Metric Rotary Position Embedding for Camera-Controlled Video Generation
- Title(参考訳): MeRoPE:カメラ制御ビデオ生成のためのメートル回転位置埋め込み
- Authors: Zhijian Qiao, Xinjiang Wang, Jiajie Chen, Haoming Huang, Meng Li, Chih-Chung Chou, Jing Wang, Shaojie Shen,
- Abstract要約: MeRoPE (Metric Rotary Position Embedding) は、標準保存型相対カメラである。
nuScenesとPanShot全体で、MeRoPEは以前のエンコーディングよりも強力なカメラ制御を実現している。
- 参考スコア(独自算出の注目度): 29.69634930299998
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In camera-controlled video generation, geometry-aware positional encodings condition tokens on camera extrinsics and per-token viewing rays. Existing schemes, however, have a scale-dependent failure mode on real-world metric camera trajectories: homogeneous projective encodings cause attention logits and feature norms to grow unbounded with physical translation baselines. We propose MeRoPE (Metric Rotary Position Embedding), a norm-preserving relative camera encoding for attention. MeRoPE encodes relative orientations between calibrated viewing rays with orthogonal rotation blocks, maps raw metric displacements into multi-frequency rotary phases, and adds a disparity-anchored correspondence prior along the epipolar arc. This design strictly preserves feature norms, bounds pre-softmax attention logits regardless of the physical translation scale, and maintains exact invariance to global rigid coordinate changes. Across nuScenes and PanShot, which cover large-baseline trajectories and diverse camera optics, respectively, MeRoPE achieves stronger camera control than prior encodings, with the best consistency between generated camera motion and conditioning poses in both rotation and translation. Code will be made publicly available.
- Abstract(参考訳): カメラ制御ビデオ生成において、幾何認識位置符号化は、カメラ外部とトーケンの視線に対する条件トークンを符号化する。
しかし、既存のスキームは、実世界のメートル法カメラトラジェクトリにスケール依存の障害モードを持ち、均質な射影符号化は注意ログを引き起こし、特徴ノルムは物理的な翻訳ベースラインと無拘束で成長する。
本稿では,MeRoPE(Metric Rotary Position Embedding)を提案する。
MeRoPEは、直交回転ブロックで校正された視線間の相対方向を符号化し、原測度変位を多周波回転位相にマッピングし、エピポーラアークに先行して不均一アンコール対応を追加する。
この設計は、特徴ノルムを厳格に保存し、物理的翻訳スケールによらず、ソフトマックス前の注意ログをバウンドし、グローバルな厳密な座標変化に対する正確な不変性を維持する。
大規模なベースライン軌跡と多様なカメラ光学をカバーしているnuScenesとPanShotをまたいで、MeRoPEは以前のエンコーディングよりも強力なカメラ制御を実現している。
コードは公開されます。
関連論文リスト
- CameraAnything: Refilming Videos with Arbitrary Camera Control [104.67227614978822]
我々は、カメラ制御ビデオ編集のための最初の統合フレームワークであるCameraAnythingを紹介する。
内在型と外在型の両方のカメラパラメータのジョイントコントロールを可能にする。
調整されたトレーニング戦略により、CameraAnythingは、任意の視点制御、焦点長調整、解像度適応、および1世代プロセス内の複数ショット遷移による表現力のあるビデオ再撮影を可能にする。
論文 参考訳(メタデータ) (2026-07-27T15:55:08Z) - CRePE: Curved Ray Expectation Positional Encoding for Unified-Camera-Controlled Video Generation [48.95338161181985]
カメラコンディショニング映像生成のためのレイ期待位置制御(CrePE)を提案する。
CREPEは、各画像トークンをソース線に沿った奥行き認識位置分布として表現し、広角カメラや魚眼カメラによって誘導される投影された経路形状を捉えている。
デザインは、より安定したカメラコントロールをもたらし、幾何認識と知覚品質のメトリクスを改善します。
論文 参考訳(メタデータ) (2026-05-13T03:18:26Z) - GimbalDiffusion: Gravity-Aware Camera Control for Video Generation [30.697985626973665]
本稿では,重力をグローバルな基準として,物理世界座標に接地したカメラ制御を実現するフレームワークを提案する。
我々はパノラマ360度ビデオを利用して、従来のビデオデータに見られる直線的で前方向きの軌跡をはるかに超えて、様々なカメラ軌跡を構築する。
本研究では、広帯域カメラピッチ変動下での総合評価のために、SpatialVID-HQを再バランスさせることにより、カメラ対応ビデオ生成のためのベンチマークを確立する。
論文 参考訳(メタデータ) (2025-12-09T20:54:35Z) - Unified Camera Positional Encoding for Controlled Video Generation [48.5789182990001]
トランスフォーマーは、3D知覚、ビデオ生成、自律運転のための世界モデル、そしてAIを具体化するための普遍的なバックボーンとして登場した。
本稿では、6-DoFポーズ、内在性、レンズ歪みを含む完全なカメラ情報を統一する幾何学一貫性表現であるRelative Rayを紹介する。
システム的なトレーニングと評価を容易にするため,広い範囲のカメラモーションとレンズタイプをカバーする大規模なビデオデータセットを構築した。
論文 参考訳(メタデータ) (2025-12-08T07:34:01Z) - Two-Stage Camera Calibration Method for Multi-Camera Systems Using Scene Geometry [52.27010615715154]
本稿では,マルチカメラトラッキングシステムのための2段階キャリブレーション手法を提案する。
第1段階では、自然幾何学的プリミティブの演算子のアノテーションに基づいて、個々のカメラの部分校正を行う。
第2段階では、投影された有効視野のインタラクティブな操作により、正確なシステム校正を行う。
論文 参考訳(メタデータ) (2025-12-04T16:47:39Z) - ReDirector: Creating Any-Length Video Retakes with Rotary Camera Encoding [60.574308105414026]
ReDirectorは、動的にキャプチャされた可変長のカメラ制御ビデオ生成方法である。
ロータリーカメラを紹介します。
RoCE - RoPEとリテイクコンディショニングカメラを統合したカメラ。
提案手法は, 分布外カメラトラジェクトリとビデオ長を一般化し, 動的物体の局所化と静的背景保存を改善した。
論文 参考訳(メタデータ) (2025-11-25T01:38:56Z) - Cameras as Relative Positional Encoding [37.675563572777136]
マルチビュートランスは3次元空間で視覚トークンを接地するためにカメラジオメトリを使用する必要がある。
フィードフォワード新規ビュー合成における相対カメラコンディショニングによる性能向上効果を示す。
次に、これらの利点が様々なタスク、ステレオ深度推定、識別的認知、およびより大きなモデルサイズに持続していることを検証する。
論文 参考訳(メタデータ) (2025-07-14T17:22:45Z) - TransCamP: Graph Transformer for 6-DoF Camera Pose Estimation [77.09542018140823]
本稿では、カメラ再配置問題に対処するため、グラフトランスフォーマーバックボーン、すなわちTransCamPを用いたニューラルネットワークアプローチを提案する。
TransCamPは、画像の特徴、カメラポーズ情報、フレーム間の相対的なカメラモーションを、エンコードされたグラフ属性に効果的に融合する。
論文 参考訳(メタデータ) (2021-05-28T19:08:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。