論文の概要: Noise-Invariant Spatial Encoding for 3D Manipulation Policies under Depth Corruption
- arxiv url: http://arxiv.org/abs/2610.24674v1
- Date: Sat, 17 Oct 2026 12:58:04 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-22 17:01:22.70349
- Title: Noise-Invariant Spatial Encoding for 3D Manipulation Policies under Depth Corruption
- Title(参考訳): 深部破壊下における3次元マニピュレーションポリシの雑音不変空間符号化
- Abstract要約: 3D操作ポリシは、カラー画像のみでなく、明示的なシーン形状からアクションを導出する。
一般的なRGB-Dセンサーは、計測値の欠如、境界アーチファクト、そして、透明で反射性があり、薄い、テクスチャレスな物体の周りの、可視だが間違った表面を返します。
本研究では, この失敗を現実的な深度汚損下で研究し, 近代的な3次元政策にまたがる急激な深度ノイズ崖を観察する。
- 参考スコア(独自算出の注目度): 17.879911358535903
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: 3D manipulation policies derive actions from explicit scene geometry rather than color images alone, enabling them to reason over metric distances, object relations, and robot-scene reachability. This geometric interface is also a vulnerability: commodity RGB-D sensors return missing measurements, boundary artifacts, and plausible but wrong surfaces around transparent, reflective, thin, or textureless objects. We study this failure under realistic depth corruption and observe a sharp depth-noise cliff across modern 3D policies, even when they are trained with matched noisy depth. This residual gap motivates a spatial-encoding approach: corrupted depth becomes entangled with the token coordinates and geometry features consumed by the action expert. We propose Noise-Invariant Spatial Encoding (NISE), a 3D policy architecture that learns trustworthy geometry features even facing imperfect depth. NISE uses Geometric Cross-View Self-Supervision to shape shared policy features with calibrated multi-view depth, and Gaussian Marginalized 3D Attention to carry position uncertainty into deployed attention rather than treating every lifted token as exact. Across simulated benchmarks with sensor-realistic corruption and real-robot tasks involving transparent and reflective materials, NISE improves depth-noise robustness while preserving clean-depth performance, supporting 3D policies designed for commodity RGB-D deployment rather than clean-depth benchmarks alone.
- Abstract(参考訳): 3D操作ポリシーは、カラー画像のみではなく、明示的なシーン形状からアクションを導き、メートル法距離、オブジェクトの関係、ロボットシーンの到達可能性について推論することができる。
一般的なRGB-Dセンサーは、計測値の欠如、境界アーチファクト、そして、透明で反射性があり、薄い、テクスチャレスな物体の周りの、可視だが間違った表面を返します。
本研究では, 現実的な深度劣化下でのこの故障について検討し, 一致した騒音深度で訓練した場合でも, 現代の3次元政策にまたがる急激な深度雑音崖を観察する。
この残差は空間エンコーディングアプローチを動機付け、劣化した深さはトークン座標とアクションエキスパートが消費する幾何学的特徴と絡み合う。
本研究では,不完全な深さにも耐えうる幾何学的特徴を学習する3次元ポリシーアーキテクチャであるノイズ不変空間符号化(NISE)を提案する。
NISEは、Geometric Cross-View Self-Supervisionを使用して、多視点深度を校正した共有ポリシー特徴を形作り、Gaussian Marginalized 3D Attentionは、すべてのリフトされたトークンを正確に扱うのではなく、配置された注意に位置不確実性をもたらす。
透明で反射的な材料を含むセンサリアリスティックな汚職やリアルロボットのタスクを模擬したベンチマークでは、NISEは深度ノイズの堅牢性を改善しながら、詳細なパフォーマンスを維持し、クリーン深度ベンチマークのみではなく、コモディティなRGB-Dデプロイメント用に設計された3Dポリシーをサポートする。
関連論文リスト
- Attention-DP3: Spatially Object-aware 3D Diffusion Policy via Geometry-aligned Attentional Conditioning [54.692734738738885]
空間的オブジェクト認識型3D拡散ポリシーである textbfAttention-DP3 を提案する。
我々のパイプラインはRGB画像上でオープン語彙2Dセグメンテーションを行い、キャリブレーションされたカメラ幾何を用いて予測されたターゲットマスクを3Dに持ち上げる。
Adroit、DexArt、MetaWorld、および現実世界のSO101プラットフォームに関する実験は、DP3よりも一貫した改善を示し、最先端のパフォーマンスを実現している。
論文 参考訳(メタデータ) (2026-09-10T19:05:25Z) - Reliability-Aware 3D Geometric Injection for Universal Person Re-identification [47.874819213762926]
本稿では,一貫性を考慮した信頼性ゲートとDual-Stream Residual Fusionによって駆動されるUniversal Monocular 3D-Enhanced ReIDフレームワークを提案する。
本手法は,クリーンドメイン上での競合性能を維持しながら,難易度,構造に敏感なシナリオを改善する。
論文 参考訳(メタデータ) (2026-07-21T08:54:25Z) - Masked Depth Modeling for Spatial Perception [44.0326843862591]
LingBot-Depthは、ディープマップをマスクしたディープ・モデリングにより洗練するディープ・コンプリート・モデルである。
最上位のRGB-Dカメラよりも、奥行きの精度とピクセルのカバレッジが優れている。
我々は,空間認識のコミュニティに対して,コード,チェックポイント,および3M RGB-depthペアをリリースする。
論文 参考訳(メタデータ) (2026-01-25T16:13:49Z) - Geometry-Aware Sparse Depth Sampling for High-Fidelity RGB-D Depth Completion in Robotic Systems [0.20999222360659608]
RGB-Dとステレオビジョンセンサーは、操作、検査、ナビゲーションを行う産業用ロボットシステムに広く使われている。
現在の深度補完法は、センサの限界と環境条件によりノイズ、不完全、あるいは偏りのある深度マップを生成する。
そこで本研究では,RGB-D点クラウド上でのPCAに基づく表面正規分布推定を利用して,画素毎の深度信頼性を算出した正規誘導型スパースサンプリング手法を提案する。
実験により、我々の幾何学的認識されたスパース深度は精度を向上し、エッジや不連続に近いアーティファクトを削減し、より現実的なトレーニング条件を生成することが示された。
論文 参考訳(メタデータ) (2025-12-09T04:14:05Z) - SpatialActor: Exploring Disentangled Spatial Representations for Robust Robotic Manipulation [63.48859753472547]
SpaceActorは、意味論と幾何学を明確に分離する堅牢なロボット操作のためのフレームワークである。
RLBenchの87.4%で最先端のパフォーマンスを達成し、ノイズの異なる条件下では13.9%から19.4%改善している。
論文 参考訳(メタデータ) (2025-11-12T18:59:08Z) - GAA-TSO: Geometry-Aware Assisted Depth Completion for Transparent and Specular Objects [5.227530976208222]
本稿では,透明かつ特異な物体に対する幾何学的支援深度補完法を提案する。
具体的には、入力深度を点雲にバックプロジェクションし、3Dブランチを構築し、階層的なシーンレベルの3D構造特徴を抽出する。
提案手法は,下流ロボットグルーピングタスクの性能を著しく向上させる。
論文 参考訳(メタデータ) (2025-03-21T12:46:38Z) - OPA-3D: Occlusion-Aware Pixel-Wise Aggregation for Monocular 3D Object
Detection [51.153003057515754]
OPA-3Dは、Occlusion-Aware Pixel-Wise Aggregationネットワークである。
密集した風景深度と、奥行きのある箱残量と物の境界箱を共同で推定する。
メインカーのカテゴリーでは最先端の手法よりも優れています。
論文 参考訳(メタデータ) (2022-11-02T14:19:13Z) - Progressive Coordinate Transforms for Monocular 3D Object Detection [52.00071336733109]
本稿では,学習座標表現を容易にするために,PCT(Em Progressive Coordinate Transforms)と呼ばれる,新しい軽量なアプローチを提案する。
本稿では,学習座標表現を容易にするために,PCT(Em Progressive Coordinate Transforms)と呼ばれる,新しい軽量なアプローチを提案する。
論文 参考訳(メタデータ) (2021-08-12T15:22:33Z) - VR3Dense: Voxel Representation Learning for 3D Object Detection and
Monocular Dense Depth Reconstruction [0.951828574518325]
3次元物体検出と単眼深層再構成ニューラルネットワークを共同トレーニングする方法を紹介します。
推論中に入力、LiDARポイントクラウド、単一のRGBイメージとして取得し、オブジェクトポーズ予測と密に再構築された深度マップを生成します。
物体検出は教師付き方式で訓練されるが,自己教師型と教師型の両方の損失関数を用いて深度予測ネットワークを訓練する。
論文 参考訳(メタデータ) (2021-04-13T04:25:54Z) - Virtual Normal: Enforcing Geometric Constraints for Accurate and Robust
Depth Prediction [87.08227378010874]
深度予測における高次3次元幾何学的制約の重要性を示す。
単純な幾何学的制約を強制する損失項を設計することにより、単眼深度推定の精度とロバスト性を大幅に改善する。
The-of-the-art results of learning metric depth on NYU Depth-V2 and KITTI。
論文 参考訳(メタデータ) (2021-03-07T00:08:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。