論文の概要: Video Reconstruction using Diffusion-based Image-to-Video Generation with Trajectory Guidance
- arxiv url: http://arxiv.org/abs/2605.16420v1
- Date: Thu, 14 May 2026 12:38:23 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-19 17:57:46.390011
- Title: Video Reconstruction using Diffusion-based Image-to-Video Generation with Trajectory Guidance
- Title(参考訳): トラジェクティブ誘導を用いた拡散型画像合成による映像再構成
- Abstract要約: 本報告では, 無人水上機による海中機動のドローン映像において, 欠落したフレームや落落したフレームを再構成する問題に対処する。
我々は,生のGPSテレメトリと単一の参照フレームを,事前学習した画像-映像拡散モデルを用いて,軌跡誘導映像シーケンスに変換するパイプラインを提案する。
搭載されたテレメトリログからのGPS座標は、等角写像によって画像空間に投影され、SG-I2V拡散モデルが条件となる車両ごとのモーションキューを生成する。
- 参考スコア(独自算出の注目度): 0.19845233274307664
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: This paper addresses the problem of reconstructing missing or dropped frames in top-down drone video of autonomous surface vehicles performing structured maritime manoeuvres. We propose a pipeline that converts raw GPS telemetry and a single reference frame into a trajectory-guided video sequence using a pre-trained image-to-video diffusion model, requiring no domain-specific fine-tuning. GPS coordinates from onboard telemetry logs are projected into image space via an equirectangular mapping, producing per-vessel motion cues that condition the SG-I2V diffusion model. The generated frames are evaluated against ground-truth video using perceptual, temporal and trajectory-based metrics, and benchmarked against optical flow extrapolation and RIFE interpolation baselines. SG-I2V produces the most naturally appearing frames among all methods (BRISQUE 25.52, closest to ground-truth 23.64), the most realistic motion magnitude (temporal smoothness 1.14 vs. ground truth 1.42), and the strongest GPS trajectory adherence (9.31px vs. 28.70px for ground-truth, the latter reflecting approximate temporal alignment between footage and GPS logs rather than generation error), demonstrating that trajectory-guided diffusion synthesis is a viable approach to maritime video reconstruction under challenging low-texture, small-object conditions.
- Abstract(参考訳): 本報告では, 海上自走車用トップダウンドローン映像において, 欠落したフレームや落落したフレームを再構成する際の問題点について述べる。
本稿では,生のGPSテレメトリと単一の参照フレームを,事前学習した画像からビデオへの拡散モデルを用いてトラジェクトリ誘導ビデオシーケンスに変換するパイプラインを提案する。
搭載されたテレメトリログからのGPS座標は、等角写像によって画像空間に投影され、SG-I2V拡散モデルが条件となる車両ごとのモーションキューを生成する。
生成したフレームは知覚的,時間的,軌跡に基づく計測値を用いて地中ビデオに対して評価し,光流外挿法とRIFE補間ベースラインに対してベンチマークを行った。
SG-I2Vは、すべての手法(BRISQUE 25.52、接地木に最も近い23.64)、最も現実的な運動量(時間的滑らか度 1.14 vs. 接地真実 1.42)、そして最も強いGPS軌道の付着度(9.31px vs. 28.70px)、後者は生成誤差ではなく、映像とGPSログ間の近似時間的アライメントを反映している。
関連論文リスト
- Geo-Align: Video Generation Alignment via Metric Geometry Reward [53.65904111864641]
Geo-Alignは、カメラ制御ビデオ再レンダリング用に特別に設計された最初の強化学習フレームワークである。
事前訓練されたモデルに基づいて、スケールアウェアの知覚報酬機構を用いてモデルを最適化する。
実験により、Geo-Alignは、カメラの正確な制御性と視覚的忠実性の両方において、既存の教師付き学習ベースラインを一貫して上回っていることが示された。
論文 参考訳(メタデータ) (2026-05-22T17:59:43Z) - Geometric Context Transformer for Streaming 3D Reconstruction [51.19524805829903]
LingBot-Mapは、ストリーミングデータからシーンを再構築するためのフィードフォワード3Dファウンデーションモデルである。
LingBot-Mapの定義的な側面は、アンカーコンテキスト、ポーズ参照ウィンドウ、トラジェクトリメモリを統合した、慎重に設計されたアテンションメカニズムにある。
この設計は、リッチな幾何学的コンテキストを維持しながら、ストリーミング状態をコンパクトに保ち、518 x 378の解像度入力に対して、20FPS程度の安定した効率的な推論を可能にする。
論文 参考訳(メタデータ) (2026-04-15T17:58:13Z) - ZeD-MAP: Bundle Adjustment Guided Zero-Shot Depth Maps for Real-Time Aerial Imaging [1.9247157750972368]
ZeD-MAPは、テスト時間拡散深さモデルをメトリック一貫性のあるSLAMのようなマッピングパイプラインに変換する、クラスタレベルのフレームワークである。
本手法は,水平(XY)平面で約0.87m,垂直(Z)方向で約0.12mの誤差で,サブメーター精度を実現する。
結果は手動のポイントクラウドアノテーションから小さなノイズを受けます。
論文 参考訳(メタデータ) (2026-04-06T13:21:17Z) - TrajLoom: Dense Future Trajectory Generation from Video [17.78215938363174]
本稿では,過去の映像から将来の軌跡や軌跡を予測するフレームワークを提案する。
最先端手法と比較して,提案手法は24フレームから81フレームまでの予測地平線を延長する。
予測された軌道は、下流のビデオ生成と編集を直接サポートする。
論文 参考訳(メタデータ) (2026-03-23T22:10:58Z) - Lang2Motion: Bridging Language and Motion through Joint Embedding Spaces [6.358055069130984]
Lang2Motionは、ポイントトラッキングを通じて現実世界のビデオから抽出された動きを用いて、任意のオブジェクトに対する明示的な軌跡を生成する。
Lang2Motionはスタイル転送、セマンティック編集、CLIP対応の軌道表現による潜在空間編集をサポートする。
論文 参考訳(メタデータ) (2025-12-11T13:14:18Z) - SDG-Track: A Heterogeneous Observer-Follower Framework for High-Resolution UAV Tracking on Embedded Platforms [11.029096488950414]
エッジデバイス上での小型無人航空機(UAV)のリアルタイム追跡は、根本的な解像度と速度の衝突に直面している。
本稿では,この競合を解消するためにObserver-Followerアーキテクチャを採用するスパース検出ガイドトラッカーを提案する。
地上対空追跡実験では、SDG-Trackはフレーム毎の検出精度の97.2%を維持しながら35.1 FPSシステムスループットを達成した。
論文 参考訳(メタデータ) (2025-12-04T15:11:43Z) - VideoGAN-based Trajectory Proposal for Automated Vehicles [1.693200946453174]
本稿では,鳥眼視(BEV)の交通シナリオのビデオに基づいて訓練された生成ネットワーク(GAN)が,統計的に正確な軌跡を生成できるかどうかを検討する。
そこで本研究では,ビデオ生成モデルのトレーニングデータとして,低解像度のBEV占有グリッドビデオを使用するパイプラインを提案する。
我々は,20ms未満の推論時間で,100GPU時間以内のトレーニングで最高の結果を得た。
論文 参考訳(メタデータ) (2025-06-19T10:57:44Z) - GAReT: Cross-view Video Geolocalization with Adapters and Auto-Regressive Transformers [53.80009458891537]
クロスビュービデオのジオローカライゼーションは、ストリートビュービデオからGPSトラジェクトリを空中ビュー画像と整列させることを目的としている。
現在のCVGL法では、現実のシナリオでは一般的に欠落しているカメラとオドメトリーのデータを使用する。
本稿では,カメラやオドメトリーデータを必要としないCVGLのフルトランスフォーマ方式であるGAReTを提案する。
論文 参考訳(メタデータ) (2024-08-05T21:29:33Z) - On the Generation of a Synthetic Event-Based Vision Dataset for
Navigation and Landing [69.34740063574921]
本稿では,最適な着陸軌道からイベントベースの視覚データセットを生成する手法を提案する。
我々は,惑星と小惑星の自然シーン生成ユーティリティを用いて,月面のフォトリアリスティックな画像のシーケンスを構築した。
パイプラインは500トラジェクトリのデータセットを構築することで,表面特徴の現実的なイベントベース表現を生成することができることを示す。
論文 参考訳(メタデータ) (2023-08-01T09:14:20Z) - Monocular BEV Perception of Road Scenes via Front-to-Top View Projection [57.19891435386843]
本稿では,鳥の目視で道路配置と車両占有率によって形成された局所地図を再構築する新しい枠組みを提案する。
我々のモデルは1つのGPU上で25FPSで動作し、リアルタイムパノラマHDマップの再構築に有効である。
論文 参考訳(メタデータ) (2022-11-15T13:52:41Z) - ParticleSfM: Exploiting Dense Point Trajectories for Localizing Moving
Cameras in the Wild [57.37891682117178]
本稿では,一対の光流からの高密度対応に基づく動画の高密度間接構造抽出手法を提案する。
不規則点軌道データを処理するために,新しいニューラルネットワークアーキテクチャを提案する。
MPIシンテルデータセットを用いた実験により,我々のシステムはより正確なカメラ軌道を生成することがわかった。
論文 参考訳(メタデータ) (2022-07-19T09:19:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。