論文の概要: Multi-View 3D Reconstruction Using V-JEPA Features
- arxiv url: http://arxiv.org/abs/2611.15143v1
- Date: Wed, 11 Nov 2026 07:33:05 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-14 01:36:33.074864
- Title: Multi-View 3D Reconstruction Using V-JEPA Features
- Title(参考訳): V-JEPA特徴を用いた多視点3次元再構成
- Abstract要約: 本稿では,映像に制約のある特徴,カメラ推定,シーンアグリゲーション,エピポーラ輸送,残差点マップを組み合わせたアーキテクチャを用いて,教師付きRGBのみのマルチビュー再構成について検討する。
実験はCO3Dの相対目標とグローバルカメラと空間カメラの回帰を比較した。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Predictive video encoders provide dense visual representations, but adapting them to 3D reconstruction requires accurate depth, camera poses, and cross-view geometry. We study supervised RGB-only multi-view reconstruction using an architecture that combines video-pretrained features, camera estimation, scene aggregation, epipolar transport, and residual pointmaps. Experiments compare global and spatial camera regression with joint relative objectives on CO3D, alongside an independently trained TUM RGB-D model. On 168 CO3D five-view windows, the spatial-camera configuration achieves 29.3% lower absolute trajectory error than the global-camera configuration, but performs worse than identity poses in trajectory error and worse than the global configuration in depth error. The joint relative-objective configuration improves normalized intrinsics error and similarity-aligned Chamfer distance from 0.6447 to 0.5573, but increases raw Chamfer distance from 3.5535 to 4.4374. On 163 indoor windows, camera error is 0.3063 m versus 0.3694 m for identity poses, while depth error is 0.4279 versus 0.2516 for constant median depth. Refinement worsens indoor camera error, and additional experiments show competing depth and pose effects. Overall, the results distinguish representation adaptation, aligned shape, and raw reconstruction, highlighting the need for isolated component and encoder comparisons before attributing reconstruction gains to predictive video pretraining.
- Abstract(参考訳): 予測ビデオエンコーダは、密度の高い視覚表現を提供するが、それらを3D再構成に適応するには、正確な深さ、カメラポーズ、およびクロスビュー幾何学が必要である。
本稿では,映像に制約のある特徴,カメラ推定,シーンアグリゲーション,エピポーラ輸送,残差点マップを組み合わせたアーキテクチャを用いて,教師付きRGBのみのマルチビュー再構成について検討する。
実験は、グローバルカメラと空間カメラのレグレッションを、独立に訓練されたTUM RGB-Dモデルとともに、CO3Dのジョイント相対目標と比較した。
168 CO3D 5ビューウィンドウでは、空間カメラ構成は、グローバルカメラ構成よりも29.3%低い絶対軌道誤差を達成するが、軌道誤差における同一性よりも悪く、深さ誤差におけるグローバルな構成よりも悪い。
合同相対対象配置は正規化内在誤差と類似性に整ったチャンファー距離を0.6447 から 0.5573 に改善するが、生のシャンファー距離を3.5535 から 4.4374 に増加させる。
163の屋内窓では、カメラの誤差が0.3063 m、アイデンティティのポーズが0.3694 m、深さの誤差が0.4279、中央値の深さが0.2516である。
リファインメントは室内カメラの誤差を悪化させ、さらなる実験は競合する深さと効果を示す。
その結果, 映像事前学習において, 適応, 整列形状, 生の再構成を区別し, 再構成前の分離成分とエンコーダの比較の必要性を強調した。
関連論文リスト
- MetricPose: Flexible 3D Human Pose Estimation with Depth and Geometric Cues [8.021914349161891]
モノクル画像では、視野投影により体の大きさとカメラ距離が結合される。
我々は、任意のメートル法深度と幾何処理モジュールで事前訓練された全体推定器を拡張する。
結果として得られた統一モデルは、共有学習パラメータを使用して、RGB、RGB-Ground、RGB-Dをサポートする。
論文 参考訳(メタデータ) (2026-11-06T04:03:32Z) - AVID: A Weakly Aligned RGB-Infrared Dataset and Perturbation Benchmark for Tiny Aerial Targets [1.2234742322758418]
本稿では,実際のRGB-赤外線バードドロンの監視映像を用いた因子分析のベンチマークであるAVIDを提案する。
AVIDは、115本のビデオから32,040個のフレームペアで構成され、既存の35,952個の鳥とドローンのアノテーションは320タイム256ドル解像度である。
AVIDとAVID-Cは、小型空中目標のスケールアウェア、アライメントアウェア、センサー固有の研究をサポートする。
論文 参考訳(メタデータ) (2026-10-29T20:26:40Z) - DepthWorld: 3D World Model for Robot Manipulation [20.098353800639902]
現在のビデオベースのワールドモデルは、RGBだけでトレーニングされており、フレームごとに正しいように見えるが、一貫した3Dの世界に構成しないロールアウトを生成する。
我々は,学習したステレオ深度タイリングとジョイントファクターグラフを組み合わせたキャリブレーションパイプラインを導入し,同じ物理ロボットから収集したすべてのエピソードをプールする。
次に、安定なビデオ拡散に基づく世界モデルであるDepthWorldをトレーニングし、空間的タイリングによる多視点深度を共同で予測する。
論文 参考訳(メタデータ) (2026-10-06T17:59:00Z) - OmniPoint: Universal Monocular Metric Pointcloud from Any Camera [79.24417597712802]
OmniPointは、様々な画像センサにまたがるメートル法再構成を一般化するために設計された統合されたフレームワークである。
射影剛性を克服するため、OmniPointは従来の平面深度回帰を放棄する。
代わりに、分離された訓練目標とともに、分離された光線と距離の表現を採用する。
論文 参考訳(メタデータ) (2026-09-08T19:45:58Z) - UAVFF3D: A Geometry-Aware Benchmark for Feed-Forward UAV 3D Reconstruction [8.117428563545017]
フィードフォワードUAV3D再構成のための幾何対応ベンチマークであるUAVFF3Dを紹介する。
UAVFF3Dには、170万以上の実際のUAV画像と、高品質なテクスチャ化された3Dモデルからレンダリングされた370万以上の合成画像が含まれている。
また、プロジェクション幾何学の曖昧さを診断するための制御されたHFOV高さテストサブセットも含まれている。
論文 参考訳(メタデータ) (2026-05-18T06:59:28Z) - Geometric Context Transformer for Streaming 3D Reconstruction [51.19524805829903]
LingBot-Mapは、ストリーミングデータからシーンを再構築するためのフィードフォワード3Dファウンデーションモデルである。
LingBot-Mapの定義的な側面は、アンカーコンテキスト、ポーズ参照ウィンドウ、トラジェクトリメモリを統合した、慎重に設計されたアテンションメカニズムにある。
この設計は、リッチな幾何学的コンテキストを維持しながら、ストリーミング状態をコンパクトに保ち、518 x 378の解像度入力に対して、20FPS程度の安定した効率的な推論を可能にする。
論文 参考訳(メタデータ) (2026-04-15T17:58:13Z) - FunRec: Reconstructing Functional 3D Scenes from Egocentric Interaction Videos [134.8812117202239]
本稿では,エゴセントリックなRGB-Dインタラクションビデオから直接室内シーンの3次元ディジタル双対を再構成するFunRecを提案する。
本研究では,URDF/USDエクスポートのシミュレーション,手指のアベイランスマッピング,ロボットとシーンのインタラクションへの応用を実演する。
論文 参考訳(メタデータ) (2026-04-07T09:22:12Z) - FrozenRecon: Pose-free 3D Scene Reconstruction with Frozen Depth Models [67.96827539201071]
本稿では,3次元シーン再構成のための新しいテスト時間最適化手法を提案する。
本手法は5つのゼロショットテストデータセット上で,最先端のクロスデータセット再構築を実現する。
論文 参考訳(メタデータ) (2023-08-10T17:55:02Z) - RELMOBNET: A Robust Two-Stage End-To-End Training Approach For
MOBILENETV3 Based Relative Camera Pose Estimation [0.6193838300896449]
相対カメラポーズ推定は3次元再構成と視覚的位置推定において重要な役割を担っている。
本稿では,MobileNetV3-LargeをベースとしたSiameseネットワークを提案する。
論文 参考訳(メタデータ) (2022-02-25T17:27:26Z) - ZoomNet: Part-Aware Adaptive Zooming Neural Network for 3D Object
Detection [69.68263074432224]
ステレオ画像に基づく3D検出のためのZoomNetという新しいフレームワークを提案する。
ZoomNetのパイプラインは、通常の2Dオブジェクト検出モデルから始まり、左右のバウンディングボックスのペアを取得するために使用される。
さらに,RGB画像のテクスチャキューを多用し,より正確な異質度推定を行うため,適応ズームという概念的に真直ぐなモジュールを導入する。
論文 参考訳(メタデータ) (2020-03-01T17:18:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。