論文の概要: Adapting Monocular Depth Estimation in Novel Scenes through Disparity Refinement and Robot Ego-Motion
- arxiv url: http://arxiv.org/abs/2611.14958v1
- Date: Wed, 11 Nov 2026 03:09:13 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-14 01:36:32.993574
- Title: Adapting Monocular Depth Estimation in Novel Scenes through Disparity Refinement and Robot Ego-Motion
- Title(参考訳): 異質化とロボットのエゴ運動による新しいシーンにおける単眼深度推定の適応
- Abstract要約: 本稿では,オンラインの相対深度推定モデルEM-ViTについて,計量尺度に先立って基礎モデルからオンラインの相対深度入力を適応させることを学習する。
我々は,KITTIなどの公開シーケンスにおける本手法の有効性を実証し,オンライン学習パイプラインが既存のMDE基礎モデルよりも高速かつ高精度に新規シーンに適応可能であることを示す。
- 参考スコア(独自算出の注目度): 8.972395022400166
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The geometric understanding of a scene is a crucial component for safe and efficient robotic operations in novel and unstructured environments. The recent emergence of foundation models for Monocular Depth Estimation (MDE) has provided an opportunity to enrich robotic perception capabilities with dense long-range depth predictions, replacing expensive onboard hardware (e.g., LiDARs and stereo cameras). However, these offline models are primarily trained on affine-invariant depth representations, and their generalization to novel scenes remains unclear. In this work we present EM-ViT, a monocular depth estimation model that learns to adapt online relative depth inputs from a foundation model prior to the metric scale with observations collected during robotic operations. Motivated by the stereo camera parameterization, our method decomposes depth prediction via dense disparity refinement to recover the scene's relative structure and an effective baseline scalar prediction to determine the missing metric scale. The learning process leverages sparse LiDAR points and, optionally, the robot's Ego-Motion (EM) to rapidly train a lightweight Vision Transformer (ViT), while an internal gradient matching loss preserves the fine-grained semantic structure of the input disparity in real-time. We demonstrate the efficacy of our method on publicly available sequences, such as KITTI, and show that our online learning pipeline can adapt to novel scenes faster and with higher accuracy than existing MDE foundation models. The code and supplementary materials will be publicly available at https://emvit-mde.github.io.
- Abstract(参考訳): シーンの幾何学的理解は、新しい非構造環境における安全で効率的なロボット操作にとって重要な要素である。
最近のモノクロ深度推定の基礎モデル(MDE)の出現は、高価なハードウェア(例えばLiDARやステレオカメラ)を置き換えることで、高密度の長距離深度予測でロボット認識能力を強化する機会となった。
しかし、これらのオフラインモデルは主にアフィン不変深度表現に基づいて訓練されており、新しいシーンへの一般化は未だ不明である。
本研究では,ロボット操作中に収集した観測値を用いて,基礎モデルに先行してオンライン相対深度入力を適応させることを学習する単眼深度推定モデルEM-ViTを提案する。
ステレオカメラのパラメータ化により,高密度不均質化による深度予測を分解し,シーンの相対構造を復元し,有効基準スカラー予測を行い,欠測度尺度を決定する。
学習プロセスは、疎LiDARポイントを活用し、オプションとして、ロボットのEgo-Motion(EM)を使用して、軽量なビジョントランスフォーマー(ViT)を迅速にトレーニングする。
我々は,KITTIなどの公開シーケンスにおける本手法の有効性を実証し,オンライン学習パイプラインが既存のMDE基礎モデルよりも高速かつ高精度に新規シーンに適応可能であることを示す。
コードと補足資料はhttps://emvit-mde.github.io.comで公開されている。
関連論文リスト
- JtT: Rethinking Point Trajectory Diffusion for Diverse and Rigid Motion from an Image [67.09340259579761]
単体画像からの剛体運動の予測について検討した。
我々のモデルであるJtTは座標空間で直接動作する単純な拡散変換器である。
モデルランキングは,モデルのサイズ,メートル法,停止時間にどのように依存するかを示し,より厳密なチェックポイント平均評価プロトコルを採用する。
論文 参考訳(メタデータ) (2026-10-12T11:13:37Z) - Learning Action Manifold with Multi-view Latent Priors for Robotic Manipulation [67.16145181790522]
本稿では,視覚・言語・行動モデル(VLA)における空間認識と操作の課題に取り組む。
幾何学的ガイダンスに基づいて多視点特徴を整列する幾何誘導型ゲート変換器(G3T)を提案する。
動作学習効率を向上させるために,有効な動作多様体上での動作を直接予測するアクション・マニフォールド・ラーニング(AML)を導入する。
論文 参考訳(メタデータ) (2026-05-12T09:21:29Z) - AnchorD: Metric Grounding of Monocular Depth Using Factor Graphs [16.622717763906262]
現在利用可能な深度センサーは、透明、スペクトル、一般のランベルト面の誤差を生じやすい。
本研究では,深度基礎モデルから単分子深度推定の先行値をアンカーする学習自由深度接地フレームワークを提案する。
本手法はパッチワイドアフィンアライメントを行い,実世界深度で局所的に単分子予測を行う。
論文 参考訳(メタデータ) (2026-05-04T14:48:52Z) - DeFM: Learning Foundation Representations from Depth for Robotics [49.77188649197404]
DeFMはロボットアプリケーションのための深度画像に基づいて訓練された自己教師型基礎モデルである。
DeFMは幾何学的および意味的な表現を学び、様々な環境、タスク、センサーに一般化する。
最先端の性能を達成し、シミュレーションから実環境への強力な一般化を実証する。
論文 参考訳(メタデータ) (2026-01-26T19:45:31Z) - An Online Adaptation Method for Robust Depth Estimation and Visual Odometry in the Open World [16.387434563802532]
多様な新しい環境にオンラインで適応できるビジュアル・オドメトリーシステムの開発を行う。
本研究では,視覚計測システムの出力に基づいて,深度推定モジュールの自己教師型学習を目的とした。
提案手法のロバスト性と一般化能力について,都市,社内データセット,ロボットプラットフォームに対する最先端の学習ベースアプローチと比較した。
論文 参考訳(メタデータ) (2025-04-16T01:48:10Z) - A Data-Centric Revisit of Pre-Trained Vision Models for Robot Learning [67.72413262980272]
事前訓練された視覚モデル(PVM)は現代のロボティクスの基本であるが、その最適構成は定かではない。
セマンティック・ボトルネックを導入してオブジェクト中心の表現を誘導する手法であるSlotMIMを開発した。
提案手法は,画像認識,シーン理解,ロボット学習評価において,従来の作業よりも大幅に改善されている。
論文 参考訳(メタデータ) (2025-03-10T06:18:31Z) - MetricGold: Leveraging Text-To-Image Latent Diffusion Models for Metric Depth Estimation [9.639797094021988]
MetricGoldは、生成拡散モデルの豊富な先行値を利用して、メートル法深さ推定を改善する新しいアプローチである。
我々の実験は、多様なデータセットをまたいだ堅牢な一般化を実証し、よりシャープで高品質なメートル法深さ推定を導出する。
論文 参考訳(メタデータ) (2024-11-16T20:59:01Z) - Metrically Scaled Monocular Depth Estimation through Sparse Priors for
Underwater Robots [0.0]
三角特徴量からのスパース深度測定を融合して深度予測を改善する深度学習モデルを定式化する。
このネットワークは、前方に見える水中データセットFLSeaで教師ありの方法で訓練されている。
この方法は、ラップトップGPUで160FPS、単一のCPUコアで7FPSで実行することで、リアルタイムのパフォーマンスを実現する。
論文 参考訳(メタデータ) (2023-10-25T16:32:31Z) - SelfTune: Metrically Scaled Monocular Depth Estimation through
Self-Supervised Learning [53.78813049373321]
本稿では,事前学習した教師付き単分子深度ネットワークに対する自己教師付き学習手法を提案する。
本手法は移動ロボットナビゲーションなどの様々な応用に有用であり,多様な環境に適用可能である。
論文 参考訳(メタデータ) (2022-03-10T12:28:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。