論文の概要: OmniCam: Omni-Camera Trajectory Generation via Geometry-Grounded Pose Token Learning
- arxiv url: http://arxiv.org/abs/2610.09513v1
- Date: Wed, 07 Oct 2026 06:08:28 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-08 21:58:22.74754
- Title: OmniCam: Omni-Camera Trajectory Generation via Geometry-Grounded Pose Token Learning
- Title（参考訳）: OmniCam:Geometry-Grounded Pose Token LearningによるOmni-Camera軌道生成
- Abstract要約: 我々は,1つのパノラマとテキストの軌跡記述からカメラポーズ列を生成する自動回帰モデルであるOmniCamを紹介する。
報告されたOmniCaTの評価では、OmniCamは軌道誤差を28～47%減らし、衝突速度を65.8%減らした。
- 参考スコア（独自算出の注目度）: 59.50976927168127
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Camera trajectories control viewpoint changes in video generation, scene reconstruction, and robotic perception. Generating them from language requires both scene geometry and target-aware framing. We introduce OmniCam, an autoregressive model that generates camera pose sequences from a single panorama and textual trajectory descriptions. Its geometry-grounded pose token learning combines three components: a panoramic point-cloud encoder for omnidirectional geometric context; hybrid absolute-rotation and relative-translation tokenization with temporally consistent quaternion signs; and separate geometric and semantic conditioning streams with an explicit 3D target anchor. We also construct OmniCaT, containing 267,700 trajectories across four camera behaviors. On the reported OmniCaT evaluation, OmniCam reduces trajectory errors by 28--47% and collision rate by 65.8% relative to GenDoP retrained on OmniCaT. Against the best baseline for each metric, the ATE and collision reductions are 43.0% and 62.3%, respectively. Component ablations support the use of geometric and target-aware conditioning, while downstream experiments examine camera-controlled video generation and robotic active perception.
- Abstract（参考訳）: カメラトラジェクタは、映像生成、シーン再構成、ロボット知覚の視点変化を制御する。
それらを言語から生成するには、シーン幾何学とターゲット認識フレーミングの両方が必要である。
我々は,1つのパノラマとテキストの軌跡記述からカメラポーズ列を生成する自動回帰モデルであるOmniCamを紹介する。
幾何学的なポーズトークン学習は、全方位幾何学的コンテキストのためのパノラマ点クラウドエンコーダ、時間的に一貫した四元数符号を持つハイブリッド絶対回転と相対翻訳トークン化、明示的な3Dターゲットアンカーによる幾何学的条件付きストリームと意味的条件付きストリームの3つのコンポーネントを組み合わせる。
また,OmniCaTは4つのカメラ行動にまたがる267,700の軌道を含む。
報告されたOmniCaTの評価では、OmniCamは軌道誤差を28～47%減らし、衝突速度を65.8%減らした。
各計量の最良の基準に対して、ATEと衝突の減少率はそれぞれ43.0%と62.3%である。
コンポーネントアブレーションは、幾何学的および標的認識条件付けの使用をサポートし、下流実験は、カメラ制御されたビデオ生成とロボットのアクティブな知覚を調査する。
関連論文リスト
- 4Director: Controlling Video World Models with Rigid 3D Geometry [17.644720801654294]
明示的な4Dシーン表現に基づくビデオワールドモデルである4Directorを紹介する。
各オブジェクトは、入力画像から標準メッシュとして一度再構成され、フレーム毎に所定の1つの剛性変換によって移動される。
Motion Adapterは、この幾何学的足場をビデオに変換し、ビュー一貫性のある外観、照明、非剛体力学を合成する。
論文 参考訳（メタデータ） (2026-10-01T17:52:58Z) - Many Eyes, One World: Feed-Forward 3D Reconstruction from Mixed Cameras [8.748223812573023]
リアルワールドキャプチャーは異質な視点であり、魚眼であり、パノラマ画像は360ドル(約3万3000円)で1回の再構築作業で共存できる。
本研究では,N-view混合視点,魚眼画像,フルパノラマ画像からポイントマップとカメラポーズを共同で再構成するメカニカルフィードフォワードシステムMEOWを提案する。
論文 参考訳（メタデータ） (2026-09-28T17:21:52Z) - OmniPoint: Universal Monocular Metric Pointcloud from Any Camera [79.24417597712802]
OmniPointは、様々な画像センサにまたがるメートル法再構成を一般化するために設計された統合されたフレームワークである。
射影剛性を克服するため、OmniPointは従来の平面深度回帰を放棄する。
代わりに、分離された訓練目標とともに、分離された光線と距離の表現を採用する。
論文 参考訳（メタデータ） (2026-09-08T19:45:58Z) - OmniX: Any-view and Any-time 4D Reconstruction via Feed-forward Trajectory Fields [69.80996430631079]
OmniXというフィードフォワードの4D再構成フレームワークを提案し、大きなカメラモーションを持つビデオから各ピクセルの高密度な3D点軌跡を推定する。
3次元運動のスパース構造とローランク構造を利用して、これらのトークンはグローバルな相互作用を効率的に保ちながら、全画像にわたる全画素の軌跡場を生成する。
論文 参考訳（メタデータ） (2026-07-12T17:05:18Z) - 360Anything: Geometry-Free Lifting of Images and Videos to 360° [51.50120114305155]
既存のアプローチは、パースペクティブと等方射影空間の間の明示的な幾何学的アライメントに依存している。
事前学習した拡散変換器上に構築された幾何学的自由度フレームワークである360Anythingを提案する。
提案手法は,映像と映像の視点-360生成における最先端性能を実現する。
論文 参考訳（メタデータ） (2026-01-22T18:45:59Z) - Pixel-to-4D: Camera-Controlled Image-to-Video Generation with Dynamic 3D Gaussians [7.051077403685518]
人間は、1つの画像だけを与えられたシーンの将来のダイナミクスを予測するのに優れています。
この能力を模倣できるビデオ生成モデルは、インテリジェントシステムにとって不可欠なコンポーネントである。
最近のアプローチでは、単一画像条件のビデオ生成における時間的コヒーレンスと3次元の整合性が改善されている。
論文 参考訳（メタデータ） (2026-01-02T13:04:47Z) - OmniView: An All-Seeing Diffusion Model for 3D and 4D View Synthesis [80.3346344429389]
OmniViewは、広範囲な4D一貫性タスクを一般化する統合フレームワークです。
提案手法は空間,時間,ビュー条件を別々に表現し,これらの入力の柔軟な組み合わせを可能にする。
例えば、OmniViewは静的、動的、マルチビューの入力から新しいビューを合成し、軌跡を前後に外挿し、フルカメラコントロールでテキストや画像プロンプトからビデオを作成することができる。
論文 参考訳（メタデータ） (2025-12-11T18:59:05Z) - SEE4D: Pose-Free 4D Generation via Auto-Regressive Video Inpainting [83.5106058182799]
SEE4Dは, カジュアルビデオから4次元世界モデリングを行うための, ポーズのないトラジェクトリ・ツー・カメラ・フレームワークである。
モデル内のビュー条件ビデオは、現実的に合成された画像を認知する前に、ロバストな幾何学を学ぶために訓練される。
クロスビュービデオ生成とスパース再構成のベンチマークでSee4Dを検証した。
論文 参考訳（メタデータ） (2025-10-30T17:59:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。