論文の概要: SeeSE3: Emergence of 3D Space in Vision Features
- arxiv url: http://arxiv.org/abs/2607.14228v1
- Date: Wed, 15 Jul 2026 18:00:31 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-17 17:01:32.876047
- Title: SeeSE3: Emergence of 3D Space in Vision Features
- Title(参考訳): SeeSE3:視覚機能における3D空間の創出
- Abstract要約: 視覚特徴空間の構造とユークリッド変換群$SE(3)$の関係について検討する。
本研究は、3次元ユークリッド空間と非常に強く相関する潜在部分空間を有する自己監督型視覚モデルについて,原理的に3次元の直接監督やアクティブエージェンシーの訓練を受けていないことを示す。
本稿では,視覚計測と局所化を潜在空間で純粋に行う「潜時空間ナビゲーション」技術について,明示的な3次元再構成の必要性を回避して提案する。
- 参考スコア(独自算出の注目度): 54.140615953727355
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In this paper, we ask whether vision foundation models construct representations that reflect the intrinsic properties of 3D Euclidean space. Unlike previous works that probe 3D awareness of vision features by regressing image-centric quantities such as depth or normals, we investigate the relation between the structure of the space of visual features and the group of Euclidean transformations $SE(3)$. We propose a set of probes to evaluate this relation from both topological and geometric perspectives: a mutual neighborhood metric that measures the alignment between feature neighborhoods and spatial topology, and a Poincaré Adapter to test the linear accessibility of the geometry of camera motion from latent displacements in static scenes. We show that self-supervised vision models, which, in principle, have not been trained with direct 3D supervision or active agency, possess latent subspaces that are remarkably strongly correlated with three-dimensional Euclidean space, when probed correctly. Building on this insight we propose a new class of "Latent-Space Navigation" techniques that perform visual odometry and localization purely in the latent space, bypassing the need for explicit 3D reconstruction.
- Abstract(参考訳): 本稿では、3次元ユークリッド空間の内在的性質を反映する表現を視覚基礎モデルが構築するかどうかを問う。
深度や正規度などの画像中心の量を抑えることで視覚特徴の3次元認識を探索する従来の研究とは異なり、視覚特徴空間の構造とユークリッド変換群(SE(3)$)の関係について検討する。
特徴近傍と空間トポロジーのアライメントを測定する相互近傍計量法と,静的な場面における潜在変位からのカメラモーションの幾何学的アクセシビリティをテストするポアンカレ適応法とを用いて,この関係性を評価するためのプローブセットを提案する。
本研究は,三次元ユークリッド空間と極めて強く相関する潜在部分空間を有する自己監督型視覚モデルについて,原理的に直接3次元監視やアクティブエージェンシーの訓練を受けていないことを示す。
この知見に基づいて,視覚的オドメトリーと局所化を純粋に実現し,明示的な3次元再構成の必要性を回避できる「潜時空間ナビゲーション」手法を提案する。
関連論文リスト
- Reliability-Aware 3D Geometric Injection for Universal Person Re-identification [47.874819213762926]
本稿では,一貫性を考慮した信頼性ゲートとDual-Stream Residual Fusionによって駆動されるUniversal Monocular 3D-Enhanced ReIDフレームワークを提案する。
本手法は,クリーンドメイン上での競合性能を維持しながら,難易度,構造に敏感なシナリオを改善する。
論文 参考訳(メタデータ) (2026-07-21T08:54:25Z) - G$^2$TAM: Geometry Grounded Track Anything Model [49.05553245076823]
本稿では,RGB画像やビデオのみを用いて,3次元のインスタンス追跡を高速化するための統一的なフレームワークを提案する。
G$2$TAMは空間的に整列した幾何学的表現を暗黙記憶として使用し、安定したインスタンス識別とフレームとビュー間のローカライゼーションを保証する。
中心となるのは、視覚的およびテキスト的プロンプトを共有幾何学空間に統合し、エンドツーエンドの空間再構成とインスタンス一貫性マスク予測を可能にするクロスモーダル空間エンコーダである。
論文 参考訳(メタデータ) (2026-07-04T09:32:13Z) - SpatialFly: Geometry-Guided Representation Alignment for UAV Vision-and-Language Navigation in Urban Environments [49.966170814478915]
UAV VLNのための幾何学誘導空間表現フレームワークを提案する。
明示的な3次元再構成を伴わないRGB観測において、SpatialFlyは幾何学誘導2次元表示アライメント機構を導入する。
実験結果から、SpatialFlyは現状のUAV VLNベースラインを目に見える環境と見えない環境の両方で一貫して上回っていることが明らかとなった。
論文 参考訳(メタデータ) (2026-03-22T03:56:58Z) - Learning Human Visual Attention on 3D Surfaces through Geometry-Queried Semantic Priors [0.0]
本稿では,幾何処理と意味認識の相互作用を形式化する2重ストリームアーキテクチャであるSemGeo-AttentionNetを紹介する。
我々は、強化学習を通じて時間的スキャンパス生成にフレームワークを拡張した。
SAL3D, NUS3D, 3DVAデータセットの評価は大幅に改善されている。
論文 参考訳(メタデータ) (2026-02-06T06:15:38Z) - GeoSurDepth: Spatial Geometry-Consistent Self-Supervised Depth Estimation for Surround-View Cameras [3.072321170197384]
GeoSurDepthは、サラウンドビューの深さ推定のための主要なキューとして、幾何整合性を利用するフレームワークである。
筆者らのフレームワークは,頑健な自己教師付き多視点深度推定のための幾何学的コヒーレンスと一貫性を活用することの重要性を強調した。
論文 参考訳(メタデータ) (2026-01-09T15:13:28Z) - SPAN: Spatial-Projection Alignment for Monocular 3D Object Detection [49.12928389918159]
既存の単分子3D検出器は典型的には、切り離された予測パラダイムを通じて、3D境界ボックスの顕著な非線形回帰をテームする。
本稿では2つの主成分を持つ新しい空間射影アライメント(SPAN)を提案する。
SPANは、予測された3次元境界ボックスと接地した3次元境界ボックスの間に明らかに大域的な空間的制約を課し、それによって非結合な特性回帰による空間的ドリフトを補正する。
3D-2Dプロジェクションアライメントは、投影された3Dボックスが、画像平面上の対応する2D検出バウンディングボックス内に密に整列していることを保証する。
論文 参考訳(メタデータ) (2025-11-10T04:48:48Z) - GREAT: Geometry-Intention Collaborative Inference for Open-Vocabulary 3D Object Affordance Grounding [53.42728468191711]
Open-Vocabulary 3D object affordance groundingは、任意の命令で3Dオブジェクト上のアクション可能性の領域を予測することを目的としている。
GREAT (GeometRy-intEntion collAboraTive Inference) を提案する。
論文 参考訳(メタデータ) (2024-11-29T11:23:15Z) - Joint stereo 3D object detection and implicit surface reconstruction [39.30458073540617]
本稿では,SO(3)の正確なオブジェクト指向を復元し,ステレオRGB画像から暗黙的な剛性形状を同時に予測できる学習ベースのフレームワークS-3D-RCNNを提案する。
方向推定のためには、局所的な外観を観測角度にマッピングする従来の研究とは対照的に、意味のある幾何学的表現(IGR)を抽出して進歩的なアプローチを提案する。
このアプローチは、知覚強度を1つか2つのビューからオブジェクト部分座標に変換するディープモデルにより、カメラ座標系において、直接自我中心のオブジェクト指向推定を実現する。
3次元境界ボックス内におけるより詳細な記述を実現するため,ステレオ画像からの暗黙的形状推定問題について検討する。
論文 参考訳(メタデータ) (2021-11-25T05:52:30Z) - Cylindrical and Asymmetrical 3D Convolution Networks for LiDAR-based
Perception [122.53774221136193]
運転時のLiDARに基づく認識のための最先端の手法は、しばしば点雲を2D空間に投影し、2D畳み込みによって処理する。
自然な対策として、3Dボクセル化と3D畳み込みネットワークを利用する方法がある。
本研究では,3次元幾何学的パターンを探索するために,円筒状分割と非対称な3次元畳み込みネットワークを設計する,屋外LiDARセグメンテーションのための新しいフレームワークを提案する。
論文 参考訳(メタデータ) (2021-09-12T06:25:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。