論文の概要: GeoStream: Toward Precise Camera Controlled Streaming Video Generation

• arxiv url: http://arxiv.org/abs/2606.15162v1
• Date: Sat, 13 Jun 2026 07:18:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-16 16:21:32.958476
• Title: GeoStream: Toward Precise Camera Controlled Streaming Video Generation
• Title（参考訳）: GeoStream: 精密カメラ制御によるストリーミングビデオ生成を目指して
• Abstract要約: 既存のアプローチはカメラの動きを暗黙的に学習し、アウト・オブ・ディストリビューション・トラジェクトリの下で不正確な制御をもたらす。 厳密な幾何学的条件付けにより制御性が向上するが、既存の手法は非自己回帰的である。 自動回帰ストリーミングビデオ生成における高精度なメカニカルカメラ制御を実現するフレームワークであるGeoStreamを提案する。
• 参考スコア（独自算出の注目度）: 85.01823220801256
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Accurate interactive camera control is essential for video-based world models, but most existing approaches learn camera motion implicitly, leading to inaccurate control under out-of-distribution trajectories. Explicit geometric conditioning improves controllability, but existing methods are non-autoregressive and rely on a static 3D cache built from an initial frame, which becomes ineffective once the viewpoint moves beyond the original frustum. We propose GeoStream, a framework that enables precise metric-scale camera control in autoregressive streaming video generation. Our method maintains a self-refreshing 3D cache that is periodically updated online from the model's own outputs: we estimate depth from the most recently generated frame, unproject to 3D, and reproject into the target view to produce point reprojections as geometric conditioning for subsequent synthesis. By the same principle, the conditioning seen during training is also rendered from the student's own generated frames, yielding a fully on-policy distillation that naturally aligns the train and inference conditioning distributions. Unlike prior work that uses off-policy condition noising, our approach trains the model against the exact error distribution it encounters at inference, mitigating both standard autoregressive drift and the second-order geometric feedback loop that arises when the cache itself is derived from generated outputs. Quantitative and qualitative results show that our approach substantially improves camera controllability.
• Abstract（参考訳）: ビデオベースの世界モデルには正確な対話型カメラ制御が不可欠であるが、既存のほとんどのアプローチはカメラの動きを暗黙的に学習し、オフ・オブ・ディストリビューション・トラジェクトリの下で不正確な制御をもたらす。 厳密な幾何学的条件付けにより制御性が向上するが、既存の手法は非自己回帰的であり、初期フレームから構築された静的な3Dキャッシュに依存している。 自動回帰ストリーミングビデオ生成における高精度なメカニカルカメラ制御を実現するフレームワークであるGeoStreamを提案する。 提案手法は,最近生成したフレームの深さを推定し,非プロジェクションから3Dへ再プロジェクションし,次に合成するための幾何学的条件付けとして点再プロジェクションを生成する,自己更新型3Dキャッシュを定期的にオンラインに更新する。 同じ原理により、訓練中に見られる条件付けは、学生自身が生成したフレームからも描画され、列車と推論条件付けの分布を自然に整列させる完全なオン・ポリティクスが生成される。 提案手法では, キャッシュ自体が生成された出力から導出される場合に発生する, 通常の自己回帰的ドリフトと2階幾何学的フィードバックループの両方を緩和する。 定量的および定性的な結果から,本手法はカメラの制御性を大幅に向上させることが示された。

関連論文リスト

• Geo-Align: Video Generation Alignment via Metric Geometry Reward [53.65904111864641]
  Geo-Alignは、カメラ制御ビデオ再レンダリング用に特別に設計された最初の強化学習フレームワークである。 事前訓練されたモデルに基づいて、スケールアウェアの知覚報酬機構を用いてモデルを最適化する。 実験により、Geo-Alignは、カメラの正確な制御性と視覚的忠実性の両方において、既存の教師付き学習ベースラインを一貫して上回っていることが示された。
  論文  参考訳（メタデータ） (2026-05-22T17:59:43Z)
• Reshoot-Anything: A Self-Supervised Model for In-the-Wild Video Reshooting [3.1328424544428852]
  インターネット規模のモノクロビデオを活用するためのフレームワークを構築した。 私たちのコアコントリビューションは、ソースビデオ、幾何アンカー、ターゲットビデオからなる擬似多視点トレーニング三脚の生成です。 提案する拡散変圧器は4Dポイントクラウド誘導アンカーを用いて,最先端の時間的整合性を実現する。
  論文  参考訳（メタデータ） (2026-04-23T15:32:56Z)
• Infinite-Homography as Robust Conditioning for Camera-Controlled Video Generation [49.12018869332346]
  InfCamは、高ポーズ忠実度でカメラ制御されたビデオ・ビデオ生成フレームワークである。 1)ビデオ拡散モデルの2次元潜在空間内で直接3次元カメラ回転を符号化する。
  論文  参考訳（メタデータ） (2025-12-18T20:03:05Z)
• GaVS: 3D-Grounded Video Stabilization via Temporally-Consistent Local Reconstruction and Rendering [54.489285024494855]
  ビデオの安定化は、元のユーザの動きの意図を保ちながら、望ましくないシャキネスを除去するので、ビデオ処理に欠かせない。 既存のアプローチは、運用するドメインによって、ユーザエクスペリエンスを低下させるいくつかの問題に悩まされます。 ビデオの安定化を時間的に一貫性のある局所的再構成とレンダリングのパラダイムとして再構成する,新しい3Dグラウンドアプローチである textbfGaVS を紹介する。
  論文  参考訳（メタデータ） (2025-06-30T15:24:27Z)
• Latent-Reframe: Enabling Camera Control for Video Diffusion Model without Training [51.851390459940646]
  我々は、微調整なしで事前訓練されたビデオ拡散モデルでカメラ制御が可能なLatent-Reframeを紹介した。 Latent-Reframeはサンプリング段階で動作し、オリジナルのモデル分布を維持しながら効率を維持する。 当社のアプローチでは,ビデオフレームの潜在コードを再設計し,タイムアウェアな点雲を通して入力カメラ軌跡と整合する。
  論文  参考訳（メタデータ） (2024-12-08T18:59:54Z)
• VD3D: Taming Large Video Diffusion Transformers for 3D Camera Control [74.5434726968562]
  制御ネットライクなコンディショニング機構を用いて3次元カメラ制御のためのトランスフォーマー映像の改ざん方法を示す。 我々の研究は、トランスフォーマーに基づくビデオ拡散モデルのカメラ制御を可能にする最初のものである。
  論文  参考訳（メタデータ） (2024-07-17T17:59:05Z)
• 3D Scene Geometry-Aware Constraint for Camera Localization with Deep Learning [11.599633757222406]
  近年、畳み込みニューラルネットワークに基づくエンドツーエンドのアプローチは、従来の3次元幾何学に基づく手法を達成または超えるように研究されている。 本研究では,絶対カメラポーズ回帰のためのコンパクトネットワークを提案する。 これらの従来の手法から着想を得た3Dシーンの幾何学的制約も、動き、深さ、画像の内容を含むすべての利用可能な情報を活用することによって導入される。
  論文  参考訳（メタデータ） (2020-05-13T04:15:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。