論文の概要: HorizonNav: Geometry-Guided Video Diffusion for Anticipatory 3D Robot Navigation
- arxiv url: http://arxiv.org/abs/2610.13849v1
- Date: Fri, 09 Oct 2026 16:57:08 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-13 04:06:29.693541
- Title: HorizonNav: Geometry-Guided Video Diffusion for Anticipatory 3D Robot Navigation
- Title(参考訳): HorizonNav:3Dロボットナビゲーションのための幾何学誘導型ビデオ拡散
- Abstract要約: HorizonNavは、予想されるロボットナビゲーションのためのビデオ拡散ベースのフレームワークである。
視覚言語モデルはシーンを解釈し、ビデオ拡散モデルの構造化プロンプトを構成する。
幾何誘導深度アライメントステージは、複数のビューにまたがる密度深度予測を制約する。
- 参考スコア(独自算出の注目度): 2.186077977059593
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We present HorizonNav, a video diffusion-based framework for anticipatory robot navigation that transforms a single RGB image and a text prompt into a geometrically aligned representation of plausible surrounding 3D space. Given the initial observation and a textual description of the reconstruction objective, a vision-language model, guided by designed instructions, interprets the scene and constructs structured prompts for a video diffusion model. The resulting video sequence provides plausible future observations of the environment, which are subsequently processed using monocular ORB-SLAM3 for camera pose estimation and Video Depth Anything for dense depth prediction. Our central contribution is a geometry-guided depth alignment stage that combines the estimated camera poses with triangulated visual landmarks to constrain dense depth predictions across multiple views. This alignment improves the geometric consistency of the reconstructed 3D environment, addressing inconsistencies that temporal coherence of the generated video alone cannot resolve. The experimental evaluation of navigation in imagined 3D environment shows that across a 19-scene horizon study, planning-feasible scenes increase from 13/19 at P20 to 15/19 at P81, while successful RRT trials increase from 62/90 to 75/90. In a separate corridor study, 6 of 25 evaluable generated-camera trajectories violate the reconstructed collision constraints; RRT planner recovers feasible alternatives in 5 of those 6 cases. A larger archive contains 58 usable reconstructions from 67 attempted cases, of which 36 support a downstream plan and 22 do not, exposing reconstruction and free-space failure modes rather than hiding them without lidar. Across 15 corridor reconstructions, the mean reconstruction error is approximately 0.30 m at matched structural landmarks.
- Abstract(参考訳): 本稿では,単一のRGB画像とテキストプロンプトを幾何学的に整列した3次元空間の表現に変換する,予測ロボットナビゲーションのためのビデオ拡散に基づくフレームワークHorizonNavを提案する。
最初の観察と再構築対象のテキスト記述が与えられたとき、映像拡散モデルのための視覚言語モデルが設計指示によって導かれ、シーンを解釈し、構造化されたプロンプトを構成する。
得られたビデオシーケンスは環境の可視的な将来観測を提供し、その後、カメラポーズ推定にモノクラーORB-SLAM3、深度予測にビデオ深度情報を用いて処理される。
私たちの中心となるコントリビューションは、推定されたカメラのポーズと三角形の視覚的ランドマークを組み合わせて、複数のビューにまたがる密集した深度予測を制約する幾何学誘導深度アライメントステージである。
このアライメントは、再構成された3D環境の幾何学的整合性を改善し、生成されたビデオの時間的コヒーレンスだけでは解決できない不整合に対処する。
想像された3D環境におけるナビゲーション実験の結果,P20では13/19,P81では15/19,RRTでは62/90から75/90に,計画可能なシーンは15/19に増加した。
RRTプランナーは6例のうち5例で実現可能な代替品を回収するが、別の回廊調査では25例のうち6例が再構成された衝突制約に違反している。
より大きなアーカイブには、67件の試案から58件の復元が可能なものが含まれており、そのうち36件は下流計画を支持しており、22件はそうではない。
15回にわたる回廊再建では、平均的な再建誤差は約0.30mである。
関連論文リスト
- Pumpire: Unified Benchmark for Metric Distance Estimation [54.236396473728696]
Pumpireは、画像とビデオの両方の3D基礎モデルの計測点対距離推定能力を評価するためのベンチマークである。
代表的な3D基礎モデルの29のベースライン構成について広範な実験を行った。
論文 参考訳(メタデータ) (2026-10-08T17:55:11Z) - RISE: Roadside Infrastructure Sequence Understanding across 3D Tracking and Structured Vision-Language Reasoning [18.507438868197248]
本稿では,道路側列における3次元計測と構造化視覚言語推論を対象とするフレームワークを提案する。
メカニカルトラッキングでは、SAM3ビデオアイデンティティとキャリブレーション誘導マスクアソシエーションを組み合わせることで、マルチビュー・アイデンティティー・アソシエーションを実現する。
構造化された視覚言語推論のために、人間レビューされたMLLMパイプラインは、高価値クリップをマイニングし、制約付きフルコンテキストのOracleを使用して、bbox地上予測QAを構築する。
その結果得られたRISE-VQAデータセットには、16の交差点と61の道端ビューにわたる57のクリップから33,910のQAペアが含まれている。
論文 参考訳(メタデータ) (2026-08-17T12:22:15Z) - Geometric Context Transformer for Streaming 3D Reconstruction [51.19524805829903]
LingBot-Mapは、ストリーミングデータからシーンを再構築するためのフィードフォワード3Dファウンデーションモデルである。
LingBot-Mapの定義的な側面は、アンカーコンテキスト、ポーズ参照ウィンドウ、トラジェクトリメモリを統合した、慎重に設計されたアテンションメカニズムにある。
この設計は、リッチな幾何学的コンテキストを維持しながら、ストリーミング状態をコンパクトに保ち、518 x 378の解像度入力に対して、20FPS程度の安定した効率的な推論を可能にする。
論文 参考訳(メタデータ) (2026-04-15T17:58:13Z) - FreeOrbit4D: Training-Free Arbitrary Camera Redirection for Monocular Videos via Geometry-Complete 4D Reconstruction [40.47706321464456]
FreeOrbit4Dは、ビデオ生成のための構造的基盤として、幾何学的完全4Dプロキシを復元することで、幾何学的曖昧さに対処する効果的なトレーニングフリーフレームワークである。
我々の実験によると、FreeOrbit4Dは、大角リダイレクトビデオに挑戦して、より忠実なビデオを生成する。
論文 参考訳(メタデータ) (2026-01-26T22:03:46Z) - LaVR: Scene Latent Conditioned Generative Video Trajectory Re-Rendering using Large 4D Reconstruction Models [52.656349227001925]
モノクロビデオが与えられた場合、ビデオの再レンダリングの目的は、新しいカメラの軌跡からシーンのビューを生成することである。
既存の方法は2つの異なる課題に直面している。
大規模な4次元再構成モデルの潜在空間に埋め込まれた暗黙的幾何学的知識を用いて,これらの課題に対処することを提案する。
論文 参考訳(メタデータ) (2026-01-21T05:46:03Z) - SpatialCrafter: Unleashing the Imagination of Video Diffusion Models for Scene Reconstruction from Limited Observations [44.53106180688135]
この作業は、スパースやシングルビューのインプットから3Dシーンを再構築する上での課題である。
SpatialCrafterは,ビデオ拡散モデルにおける豊富な知識を活用して,可算的な追加観測を生成するフレームワークである。
トレーニング可能なカメラエンコーダと、明示的な幾何学的制約に対するエピポーラアテンション機構により、精密なカメラ制御と3D整合性を実現する。
論文 参考訳(メタデータ) (2025-05-17T13:05:13Z) - OccNeRF: Advancing 3D Occupancy Prediction in LiDAR-Free Environments [77.0399450848749]
本稿では,OccNeRF法を用いて,3次元監視なしで占有ネットワークを訓練する手法を提案する。
我々は、再構成された占有領域をパラメータ化し、サンプリング戦略を再編成し、カメラの無限知覚範囲に合わせる。
意味的占有予測のために,事前学習した開語彙2Dセグメンテーションモデルの出力をフィルタリングし,プロンプトを洗練するためのいくつかの戦略を設計する。
論文 参考訳(メタデータ) (2023-12-14T18:58:52Z) - Towards 3D Scene Reconstruction from Locally Scale-Aligned Monocular
Video Depth [90.33296913575818]
映像深度推定や映像からの3次元シーン再構成のようなビデオベースのシナリオでは、フレームごとの予測における未知のスケールとシフトが深度の不整合を引き起こす可能性がある。
局所重み付き線形回帰法を提案する。
提案手法は,複数のゼロショットベンチマークにおいて,既存の最先端手法の性能を50%向上させることができる。
論文 参考訳(メタデータ) (2022-02-03T08:52:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。