論文の概要: DRS-VPT: Directly Relocalizing in a Scan with Vision Point Transformers
- arxiv url: http://arxiv.org/abs/2609.12557v1
- Date: Fri, 11 Sep 2026 08:02:11 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-15 07:38:31.677076
- Title: DRS-VPT: Directly Relocalizing in a Scan with Vision Point Transformers
- Title(参考訳): DRS-VPT:視覚点変換器を用いたスキャンにおける直接再局在
- Abstract要約: DRS-VPTは、基本的な画像とスキャンの登録のためのフィードフォワード変換アーキテクチャである。
1つのDSS-VPTは、自動運転における画像とLiDARの登録のための最先端のパフォーマンスを達成する。
- 参考スコア(独自算出の注目度): 0.6445605125467574
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We present DRS-VPT, a feed-forward transformer architecture for foundational image-to-scan registration. Given query images and a reference 3D point cloud, the model predicts the scan pose and point map alongside the poses and point maps of each camera, all expressed in the first camera's frame. It additionally predicts a coarse-to- fine pyramid of per-point and per-pixel features for direct reprojective alignment of the scan to the first image. This formulation unifies downstream tasks such as camera-LiDAR calibration in autonomous driving and indoor camera-to-map relocalization. A single DRS-VPT model achieves state-of-the-art performance for image-to-LiDAR registration in autonomous driving, competitive indoor relocalization without training map-specific weights, and strong zero-shot transfer to unseen environments. We also show qualitatively that the model learns complex scan-to-image projection properties such as occlusion of back-facing points.
- Abstract(参考訳): 本稿では,基本画像-スキャン登録のためのフィードフォワードトランスフォーマーアーキテクチャであるDSS-VPTを提案する。
クエリ画像と参照3Dポイントクラウドが与えられた場合、モデルはスキャンのポーズとポイントマップを、各カメラのポーズとポイントマップと共に予測し、いずれも第1カメラのフレームで表現される。
さらに、一点当たりの粗いピラミッドと画素ごとの特徴を予測し、スキャンを第1の画像に直接再投影する。
この定式化は、自律運転におけるカメラ-LiDARキャリブレーションや屋内カメラ-マップ再配置などの下流タスクを統一する。
1つのDSS-VPTモデルは、自律運転における画像とLiDARの登録、地図固有の重みを訓練せずに競合する屋内再ローカライゼーション、目に見えない環境への強力なゼロショット転送のための最先端のパフォーマンスを達成する。
また,裏面点の排除などの複雑なスキャン・ツー・イメージの投影特性について定性的に学習することを示す。
関連論文リスト
- OmniPoint: Universal Monocular Metric Pointcloud from Any Camera [79.24417597712802]
OmniPointは、様々な画像センサにまたがるメートル法再構成を一般化するために設計された統合されたフレームワークである。
射影剛性を克服するため、OmniPointは従来の平面深度回帰を放棄する。
代わりに、分離された訓練目標とともに、分離された光線と距離の表現を採用する。
論文 参考訳(メタデータ) (2026-09-08T19:45:58Z) - CAM3R: Camera-Agnostic Model for 3D Reconstruction [28.364643298648726]
本稿では,3次元再構成のためのカメラ非依存フィードフォワードモデルであるCAM3Rについて述べる。
我々のフレームワークは、レイモジュールとクロスビューモジュールに分岐した2ビューネットワークで構成されています。
これらのペアワイズ予測を一貫した3Dシーンに統合するために、Ray-Aware Global Alignmentフレームワークを導入する。
論文 参考訳(メタデータ) (2026-03-23T23:20:15Z) - Evaluation of Visual Place Recognition Methods for Image Pair Retrieval in 3D Vision and Robotics [6.59608906817608]
登録パイプラインのための画像ペア検索フロントエンドとして,視覚的位置認識(VPR)について検討する。
我々は,3つの挑戦的データセットを用いて,最先端のVPRファミリーを比較検討した。
論文 参考訳(メタデータ) (2026-03-14T12:16:31Z) - Flow4R: Unifying 4D Reconstruction and Tracking with Scene Flow [61.297800738187355]
Flow4Rは、Vision Transformerを用いて、画素当たりのプロパティセット3Dポイント位置、シーンフロー、ポーズウェイト、および2ビュー入力からの信頼度を最小限に予測する。
静的データセットと動的データセットを併用してトレーニングされたFlow4Rは、4D再構築とトラッキングタスクにおける最先端のパフォーマンスを達成する。
論文 参考訳(メタデータ) (2026-02-15T06:58:08Z) - TrajVG: 3D Trajectory-Coupled Visual Geometry Learning [34.47385438436523]
TrajVGは、クロスフレームな3D対応を明示する再構築フレームワークである。
擬似2次元トラックのみを用いて,同じ結合制約を自己教師対象に再構成する。
3Dトラッキング、ポーズ推定、ポイントマップ再構成、ビデオ深度による実験は、TrajVGが現在のフィードフォワードのパフォーマンスベースラインを上回っていることを示している。
論文 参考訳(メタデータ) (2026-02-04T11:13:55Z) - MapAnything: Universal Feed-Forward Metric 3D Reconstruction [63.79151976126576]
MapAnythingは1つ以上の画像を取り込み、カメラの内在性、ポーズ、深さ、部分的な再構築など、任意の幾何学的入力を行う。
そして、メーター3Dシーンの幾何学とカメラを直接補強する。
MapAnythingは、単一のフィードフォワードパスで幅広い3Dビジョンタスクに対処する。
論文 参考訳(メタデータ) (2025-09-16T18:00:14Z) - Single-Scanline Relative Pose Estimation for Rolling Shutter Cameras [56.39904484784127]
本稿では,ラインプロジェクションの交差点と1枚の走査線を用いて,ローリングシャッターカメラ間の相対的なポーズを推定する手法を提案する。
あるいは、単一の画像内でスキャニングラインを選択することができ、ローリングシャッターカメラのスキャニングラインに対するシングルビュー相対ポーズ推定を可能にする。
論文 参考訳(メタデータ) (2025-06-27T10:00:21Z) - FreeSplatter: Pose-free Gaussian Splatting for Sparse-view 3D Reconstruction [69.63414788486578]
FreeSplatterはスケーラブルなフィードフォワードフレームワークで、キャリブレーションされていないスパースビュー画像から高品質な3Dガウシアンを生成する。
当社のアプローチでは,自己注意ブロックが情報交換を容易にする合理化トランスフォーマーアーキテクチャを採用している。
包括的データセットに基づいて,オブジェクト中心とシーンレベルの再構築のための2つの特殊な変種を開発する。
論文 参考訳(メタデータ) (2024-12-12T18:52:53Z) - Mapping LiDAR and Camera Measurements in a Dual Top-View Grid
Representation Tailored for Automated Vehicles [3.337790639927531]
本稿では,LiDARやカメラなどの画像センサのための汎用的な網網マッピングパイプラインを提案する。
グリッドに基づく明らかなモデルでは,セル占有率と接地率を別々に推定する。
本手法は,セル占有率を高精細度かつ高精細度に評価し,効率を最大化し,外部処理モジュールへの依存性を最小限に抑える。
論文 参考訳(メタデータ) (2022-04-16T23:51:20Z) - CTRL-C: Camera calibration TRansformer with Line-Classification [22.092637979495358]
そこで我々は,CTRL-Cを用いたカメラキャリブレーションTRansformerを提案する。
我々の実験では、ベンチマーク-CがGoogleストリートビューとSUN360データセットで過去の最先端の手法より優れていることを示した。
論文 参考訳(メタデータ) (2021-09-06T06:30:38Z) - Lightweight Multi-View 3D Pose Estimation through Camera-Disentangled
Representation [57.11299763566534]
空間校正カメラで撮影した多視点画像から3次元ポーズを復元する手法を提案する。
我々は3次元形状を利用して、入力画像をカメラ視点から切り離したポーズの潜在表現に融合する。
アーキテクチャは、カメラプロジェクション演算子に学習した表現を条件付け、ビュー当たりの正確な2次元検出を生成する。
論文 参考訳(メタデータ) (2020-04-05T12:52:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。