論文の概要: LiteMVS: Efficient Multi-View Stereo with Foundation Distillation and Expert Aggregation
- arxiv url: http://arxiv.org/abs/2608.03851v1
- Date: Tue, 04 Aug 2026 15:54:32 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-05 15:30:23.271371
- Title: LiteMVS: Efficient Multi-View Stereo with Foundation Distillation and Expert Aggregation
- Title（参考訳）: LiteMVS: ファンデーション蒸留とエキスパートアグリゲーションを備えた効率的なマルチビューステレオ
- Abstract要約: LiteMVSは軽量な多視点深度推定モデルである。
平面スイープな幾何学的推論と強い単分子的意味論を融合させる。
LiteMVSは競争効率を維持しつつ高品質な深度予測と3次元再構成を実現する。
- 参考スコア（独自算出の注目度）: 15.55184851015005
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Real-time 3D perception is crucial for robotics, augmented reality, and embodied intelligence applications. Existing multi-view stereo (MVS) methods primarily rely on geometric correspondences, which often fail in textureless or repetitive regions, while monocular depth models leverage strong image-level priors but lack robust multi-view geometric constraints. More importantly, in robotics and embodied manipulation scenarios, high-quality 3D geometry is not only essential for static reconstruction, but also serves as a critical foundation for learning temporally consistent 4D representations. To obtain visual representations with stronger structural awareness and greater potential for spatiotemporal extension, we present LiteMVS, a lightweight multi-view depth estimation model that integrates plane-sweep geometric reasoning with strong monocular semantic and structural priors. The central idea of LiteMVS is to efficiently inject high-level monocular knowledge, obtained from lightweight segmentation models and large-scale vision foundation models, into a multi-view stereo framework. In particular, LiteMVS enriches the cost volume with semantic descriptors and employs a Mixture-of-Experts (MoE) formulation to enable adaptive geometric aggregation across depth hypotheses. Moreover, geometric priors distilled from vision foundation models further strengthen monocular guidance without increasing inference cost. Through this design, LiteMVS not only improves depth estimation and 3D reconstruction quality in static scenes, but also provides a more reliable geometric foundation for subsequent temporal modeling and 4D representation learning. Experiments on ScanNetv2 and 7-Scenes demonstrate that LiteMVS achieves high-quality depth prediction and 3D reconstruction while maintaining competitive efficiency.
- Abstract（参考訳）: リアルタイム3D認識は、ロボット工学、拡張現実、そして具体化されたインテリジェンスアプリケーションにとって不可欠である。
既存のマルチビューステレオ(MVS)法は主に幾何学的対応に依存しており、テクスチャレスや反復的な領域では失敗することが多い。
さらに重要なのは、ロボット工学や操作シナリオの具体化において、高品質な3D幾何学は静的再構成に必須であるだけでなく、時間的に一貫した4D表現を学ぶ上でも重要な基礎となることである。
より強い構造的認識と時空間拡張の可能性を持つ視覚的表現を得るために,平面下地幾何学的推論と強い単眼的意味と構造的先行性を統合する軽量な多視点深度推定モデルLiteMVSを提案する。
LiteMVSの中心的な考え方は、軽量セグメンテーションモデルと大規模ビジョン基盤モデルから得られる高レベルのモノクル知識を、マルチビューステレオフレームワークに効率的に注入することである。
特に、LiteMVSはセマンティックディスクリプタでコストボリュームを豊かにし、Mixture-of-Experts (MoE) の定式化を用いて深度仮説をまたいだ適応的幾何的アグリゲーションを実現している。
さらに、視覚基礎モデルから抽出された幾何学的事前は、推論コストを増大させることなく、さらに単分子的誘導を強化する。
この設計を通じて、LiteMVSは静的シーンにおける深さ推定と3次元再構成品質を改善するだけでなく、その後の時間的モデリングと4次元表現学習のためのより信頼性の高い幾何学的基礎を提供する。
ScanNetv2と7-Scenesの実験では、LiteMVSは競争効率を維持しながら高品質な深度予測と3D再構成を実現している。
関連論文リスト
- Ground4D: Consistency-Aware 4D Reconstruction from Monocular Video [69.94904173314505]
2つのステージ上に構築された幾何グラウンドのフレームワークであるGround4Dを提案する。
まず,モノクロ映像から複数視点の立体形状とカメラポーズを再構成する。
第2に,動的ガウススプラッティングによる幾何整合性を考慮した改良を行う。
論文 参考訳（メタデータ） (2026-06-27T09:27:42Z) - Learning Geometric Representations from Videos for Spatial Intelligent Multimodal Large Language Models [32.477423778941386]
純粋に2次元ビデオシーケンスを用いて幾何学的表現を学習するフレームワークであるGeoVRを提案する。
表面的特徴混合を採用するのではなく、GeoVRは幾何学的知識を蒸留することによってMLLMの内部表現に不満を抱く。
空間推論ベンチマークの実験は、GeoVRが最先端のパフォーマンスを達成することを示す。
論文 参考訳（メタデータ） (2026-06-04T08:11:12Z) - Reliev3R: Relieving Feed-forward Reconstruction from Multi-View Geometric Annotations [98.66466590444553]
コスト制約のない多視点幾何アノテーションを使わずにFFRMをスクラッチからトレーニングするための弱教師付きパラダイムであるReliev3Rを提案する。
Reliev3Rのコアでは、多視点幾何整合性の監視を容易にするために、曖昧さを意識した相対深度損失と三角法に基づく再射損失を設計する。
論文 参考訳（メタデータ） (2026-04-01T06:46:54Z) - SpatialStack: Layered Geometry-Language Fusion for 3D VLM Spatial Reasoning [22.547972947051765]
大規模な視覚言語モデル(VLM)は、まだ信頼性の高い3次元空間推論に苦戦している。
本研究では,階層的な融合フレームワークであるSpatialStackを提案する。
この枠組みに基づいて,複数次元空間推論ベンチマークにおける最先端性能を実現するモデル VLM-SpatialStack を開発した。
論文 参考訳（メタデータ） (2026-03-28T22:49:40Z) - Learning to Reason in 4D: Dynamic Spatial Understanding for Vision Language Models [79.18306680174011]
DSR Suiteは、データセット、ベンチマーク、モデルの各面にギャップを埋める。
そこで本研究では,DSRビデオから複数問合せペアを生成する自動パイプラインを提案する。
パイプラインは、カメラポーズ、局所点雲、オブジェクトマスク、向き、および3Dトラジェクトリを含む、豊富な幾何学的および運動的な情報を抽出する。
論文 参考訳（メタデータ） (2025-12-23T17:56:36Z) - Geometry Meets Light: Leveraging Geometric Priors for Universal Photometric Stereo under Limited Multi-Illumination Cues [24.171649472398514]
GeoUniPS(GeoUniPS)は、合成監督と高レベルの幾何学的先行性を統合する、普遍的な測光ステレオネットワークである。
空間的に異なる視野方向の学習を可能にするために,現実的な視点投影を伴うPS-Perpデータセットを提案する。
論文 参考訳（メタデータ） (2025-11-17T06:14:38Z) - MoRE: 3D Visual Geometry Reconstruction Meets Mixture-of-Experts [50.37005070020306]
MoREは、Mixture-of-Experts (MoE)アーキテクチャに基づいた、密集した3Dビジュアル基盤モデルである。
MoREは、幾何推定を安定させ、洗練する信頼に基づく深度補正モジュールを組み込んでいる。
高忠実な表面正規予測のために,高密度なセマンティック特徴とグローバルな3Dバックボーン表現を統合する。
論文 参考訳（メタデータ） (2025-10-31T06:54:27Z) - Evo-0: Vision-Language-Action Model with Implicit Spatial Understanding [11.222744122842023]
本稿では、3次元幾何学的特徴を暗黙的にVision-Language-Action(VLA)モデルに組み込むプラグイン・アンド・プレイ・モジュールを提案する。
提案手法は,様々なシナリオにおける最先端VLAモデルの性能を著しく向上させる。
論文 参考訳（メタデータ） (2025-07-01T04:05:47Z) - 3D-Aware Vision-Language Models Fine-Tuning with Geometric Distillation [17.294440057314812]
VLM(Vision-Language Models)は様々な視覚的・言語的タスクにおいて顕著な性能を示した。
人為的な幾何学的手がかりを予め訓練されたVLMに注入するフレームワークであるGeometric Distillationを提案する。
本手法は、自然な画像テキスト入力と互換性を保ちながら、表現を幾何学的に認識するように形成する。
論文 参考訳（メタデータ） (2025-06-11T15:56:59Z) - VLM-3R: Vision-Language Models Augmented with Instruction-Aligned 3D Reconstruction [86.82819259860186]
本稿では,視覚言語モデル(VLM)のための統合フレームワークであるVLM-3Rについて紹介する。
VLM-3Rは、空間的理解を表す暗黙の3Dトークンを導出する幾何学エンコーダを用いて、モノクロビデオフレームを処理する。
論文 参考訳（メタデータ） (2025-05-26T17:56:30Z) - IDArb: Intrinsic Decomposition for Arbitrary Number of Input Views and Illuminations [64.07859467542664]
画像から幾何学的および物質的情報をキャプチャすることは、コンピュータビジョンとグラフィックスの基本的な課題である。
従来の最適化に基づく手法では、密集した多視点入力から幾何学、材料特性、環境照明を再構築するために数時間の計算時間を必要とすることが多い。
IDArbは、様々な照明条件下で、任意の画像に対して本質的な分解を行うために設計された拡散モデルである。
論文 参考訳（メタデータ） (2024-12-16T18:52:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。