論文の概要: OREN-X: Octree Residual Network for Real-Time Multi-Modal Mapping
- arxiv url: http://arxiv.org/abs/2609.29157v1
- Date: Thu, 24 Sep 2026 07:33:28 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-25 21:10:09.773014
- Title: OREN-X: Octree Residual Network for Real-Time Multi-Modal Mapping
- Title(参考訳): OREN-X:リアルタイムマルチモーダルマッピングのための残差ネットワーク
- Abstract要約: OREN-Xは3次元空間のオクツリーを共有データ構造として用いて,マルチモーダルフィールドをインデックス化し,保存するオンラインマッピング手法である。
Replicaでは、OREN-Xマップをリアルタイムで(SDFが80fps、全4モードが30fps)、単モードベースラインよりも33%精度が向上する。
- 参考スコア(独自算出の注目度): 12.935402673354552
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: To achieve general-purpose autonomy over long horizons, a robot needs to maintain spatial environment information that supports a variety of tasks: geometry for planning and control, radiance for rendering and relocalization, and vision-language features for open-vocabulary grounding. Existing methods represent and estimate each modality separately, multiplying memory and compute cost while forgoing potential synergy among the representations. We develop OREN-X, an online mapping method that uses an octree in 3D space as a shared data structure for indexing and storing a multi-modal field, capturing geometric, radiance, and vision-language information. OREN-X provides efficient unified storage and retrieval of these data in explicit/implicit and full/compressed form. Our unified representation yields cross-modality synergy: SDF estimates are sharpened by occupancy and radiance, while GPU-based ray-octree traversal and octree query enable real-time rendering. We also use online dictionary learning to compress the vision-language features, shrinking them 3.7x below full per-vertex storage while raising the query accuracy. On Replica, OREN-X maps in real time (80+ fps for SDF and 30+ fps for all four modalities), improves near-surface SDF accuracy by 33% over single-modality baselines, and improves mean open-vocabulary 3D mIoU by 71% and mean accuracy by 61% over the best prior method.
- Abstract(参考訳): 長い地平線上で汎用的な自律性を実現するには、計画と制御のための幾何学、レンダリングと再ローカライゼーションのためのラディアンス、オープン語彙接地のための視覚言語機能など、様々なタスクをサポートする空間環境情報を維持する必要がある。
既存の手法は各モードを別々に表現し、メモリと計算コストを乗じて表現間の潜在的な相乗効果を抑えながら推定する。
OREN-Xは3次元空間におけるオクツリーを多モードフィールドのインデックス化と格納のための共有データ構造として利用し,幾何学的,放射的,視覚言語的な情報を収集するオンラインマッピング手法である。
OREN-Xは、これらのデータの効率的な統一ストレージと、明示的で単純で完全な形式での検索を提供する。
SDF推定は占有率と放射率によってシャープ化され、GPUベースのレイオクツリートラバーサルとオクツリークエリはリアルタイムレンダリングを可能にします。
また、オンライン辞書学習を用いて視覚言語の特徴を圧縮し、クエリの精度を高めながら、全頂点ストレージの3.7倍以下に縮小します。
Replicaでは、OREN-Xマップをリアルタイムで(SDFが80fps、SDFが30fps以上)、単一モダリティベースラインよりも33%、平均開語彙3D mIoUが71%、平均精度が61%向上する。
関連論文リスト
- OmniVLN: Omnidirectional 3D Perception and Token-Efficient LLM Reasoning for Visual-Language Navigation across Air and Ground Platforms [33.40889181799252]
言語誘導型エンボディナビゲーションでは、エージェントがオブジェクト参照命令を解釈し、複数の部屋を探索し、参照されたターゲットをローカライズし、それに対する信頼できる動きを実行する必要がある。
OmniVLNは、全方位3次元知覚とトークン効率の高い階層的推論を、空中と地上の両方で組み合わせたゼロショット視覚言語ナビゲーションフレームワークである。
実験により、提案した階層インタフェースは空間参照精度を77.27%から93.18%に改善し、マルチルームの乱雑な設定で累積的なプロンプトトークンを61.7%削減し、フラットで最大11.68%のナビゲーション成功率向上を実現した。
論文 参考訳(メタデータ) (2026-03-18T04:26:30Z) - LatentAM: Real-Time, Large-Scale Latent Gaussian Attention Mapping via Online Dictionary Learning [1.9229388624311596]
LatentAMは、オープン語彙ロボット知覚のためのストリーミングRGB-D観測から潜在機能マップを構築する。
本稿では,モデルに依存しない,事前学習のないオンライン辞書学習手法を提案する。
公開ベンチマークと大規模なカスタムデータセットの実験では、LatentAMが機能再構築の忠実性を大幅に向上することが示された。
論文 参考訳(メタデータ) (2026-02-12T17:25:00Z) - Panorama: Fast-Track Nearest Neighbors [22.201421121801218]
本稿では,機械学習によるアプローチであるPANORAMAを提案する。
PANORAMAは、2-30$times$ end-to-end speedupをリコールロスなしで利用できることを示す。
論文 参考訳(メタデータ) (2025-10-01T06:38:45Z) - OpenFusion++: An Open-vocabulary Real-time Scene Understanding System [4.470499157873342]
TSDFベースのリアルタイム3次元意味幾何学再構築システムであるOpenFusion++を提案する。
提案手法では,基本モデルから信頼マップを抽出し,インスタンス領域に基づいた適応キャッシュを用いてグローバルなセマンティックラベルを動的に更新し,デュアルパス符号化フレームワークを用いて3Dポイントクラウドを改良する。
ICL、Replica、ScanNet、ScanNet++データセットの実験は、OpenFusion++がセマンティック精度とクエリ応答性の両方でベースラインを大幅に上回っていることを示している。
論文 参考訳(メタデータ) (2025-04-27T14:46:43Z) - Open-Vocabulary Octree-Graph for 3D Scene Understanding [54.11828083068082]
Octree-Graphはオープンな3Dシーン理解のための新しいシーン表現である。
セマンティクスを記憶し、その形状に応じてオブジェクトの占有度を調節するアダプティブ・オクツリー構造を開発する。
論文 参考訳(メタデータ) (2024-11-25T10:14:10Z) - Coarse Correspondences Boost Spatial-Temporal Reasoning in Multimodal Language Model [51.83436609094658]
本稿では,2次元画像を入力として,MLLMの時空間推論を強化する軽量な手法である粗対応を導入する。
本手法は,映像のフレーム間や異なる視点における主物体の対応性を特定するために,軽量な追跡モデルを用いている。
この単純なトレーニングフリーアプローチは、4つのベンチマークでGPT4-V/Oに一定の利得をもたらすことを実証する。
論文 参考訳(メタデータ) (2024-08-01T17:57:12Z) - ALSTER: A Local Spatio-Temporal Expert for Online 3D Semantic
Reconstruction [62.599588577671796]
本稿では,RGB-Dフレームのストリームから3次元セマンティックマップを段階的に再構成するオンライン3次元セマンティックセマンティックセマンティクス手法を提案する。
オフラインの手法とは異なり、ロボット工学や混合現実のようなリアルタイムな制約のあるシナリオに直接適用できます。
論文 参考訳(メタデータ) (2023-11-29T20:30:18Z) - Unifying Voxel-based Representation with Transformer for 3D Object
Detection [143.91910747605107]
マルチモード3Dオブジェクト検出のための統一フレームワークUVTRを提案する。
提案手法は, ボクセル空間におけるマルチモーダリティ表現を統一し, 高精度かつ堅牢な単一モード・クロスモーダリティ3D検出を実現することを目的とする。
UVTRは、69.7%、55.1%、71.1%のNDSで、それぞれLiDAR、カメラ、マルチモダリティの入力を行う。
論文 参考訳(メタデータ) (2022-06-01T17:02:40Z) - Neural Geometric Level of Detail: Real-time Rendering with Implicit 3D
Shapes [77.6741486264257]
本稿では,高忠実度ニューラルネットワークSDFのリアルタイムレンダリングを可能にする,効率的なニューラル表現を提案する。
我々の表現は、以前の作品に比べてレンダリング速度の点で2~3桁の効率であることを示す。
論文 参考訳(メタデータ) (2021-01-26T18:50:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。