論文の概要: StereoPatch: Patch-Aligned RGB-Depth Fusion for Spatial Perception in Robot Manipulation
- arxiv url: http://arxiv.org/abs/2609.15509v1
- Date: Mon, 14 Sep 2026 13:01:25 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-16 07:15:06.401645
- Title: StereoPatch: Patch-Aligned RGB-Depth Fusion for Spatial Perception in Robot Manipulation
- Title（参考訳）: ステレオパッチ:ロボットマニピュレーションにおける空間知覚のためのパッチアライメントRGB深度融合
- Abstract要約: 我々はStereoPatchを紹介した。これはパッチアラインなRGB深度表現で、登録されたメートル法をアクション予測に使用するRGBパッチに直接結合する。
共有2次元パッチグリッドでは、非対称なクロスアテンションは、アクション復号前に対応するRGB機能に深度情報を組み込む。
StereoPatchは6つの実ロボットタスクの中で、外観のみ、幾何学のみ、生のRGB-D、レイトフュージョンベースラインよりもクローズドループの成功を達成している。
- 参考スコア（独自算出の注目度）: 4.871965587776022
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Recent advances in robot imitation learning have produced visuomotor policies that predict actions directly from visual observations. Yet visually similar scenes can require different actions as target position, object height, or contact geometry changes. Pretrained RGB features may map these geometrically distinct states to similar policy inputs, while simply adding depth requires the policy to learn RGB-depth correspondence from the same limited demonstrations used to learn control. We introduce StereoPatch, a patch-aligned RGB-depth representation that binds registered metric geometry directly to the RGB patches used for action prediction. On a shared 2-D patch grid, asymmetric cross-attention incorporates depth information into the corresponding RGB features before action decoding. The resulting StereoPatch Tokens provide a geometry-aware visual representation that can condition general visuomotor policies without changing their underlying learning objectives. Across six real-robot tasks, StereoPatch achieves higher closed-loop success than appearance-only, geometry-only, raw RGB-D, and late-fusion baselines. Additional experiments across three simulation suites evaluate compatibility across visuomotor policy architectures, spatial generalization, and operating limits. Results suggest that resolving control-relevant geometric ambiguity benefits from aligning depth directly with the visual features used for action prediction, rather than supplying it as an independent modality. Project page: https://aus.bot/research/stereopatch/.
- Abstract（参考訳）: ロボット模倣学習の最近の進歩は、視覚的観察から直接行動を予測するヴィジュモータ政策を生み出している。
しかし、視覚的に類似したシーンは、ターゲット位置、オブジェクトの高さ、または接触幾何学の変化として異なるアクションを必要とする可能性がある。
事前訓練されたRGB機能は、これらの幾何学的に異なる状態を同様のポリシー入力にマッピングする一方で、単に深度を追加するだけで、制御を学ぶのに使用されるのと同じ制限されたデモからRGB深度対応を学習する必要がある。
我々はStereoPatchを紹介した。StereoPatchは、登録されたメートル法をアクション予測に使用するRGBパッチに直接結合するパッチ整列RGB深度表現である。
共有2次元パッチグリッドでは、非対称なクロスアテンションは、アクション復号前に対応するRGB機能に深度情報を組み込む。
得られたStereoPatch Tokensは、その基礎となる学習目標を変更することなく、一般的な視覚的ポリシーを条件付けることのできる幾何学的視覚表現を提供する。
StereoPatchは6つの実ロボットタスクの中で、外観のみ、幾何学のみ、生のRGB-D、レイトフュージョンベースラインよりもクローズドループの成功を達成している。
3つのシミュレーションスイートにまたがる追加実験は、ビジュモータポリシーアーキテクチャ、空間一般化、操作限界間の互換性を評価する。
その結果、制御関連幾何学的曖昧さの解消は、独立なモダリティとして提供するのではなく、行動予測に使用される視覚的特徴と直接的に一致させることによって得られることが示唆された。
プロジェクトページ: https://aus.bot/research/stereopatch/。
関連論文リスト
- RGB-only Active 3D Scene Graph Generation for Indoor Mobile Robots [11.977612002830725]
3Dシーングラフ生成への現在のアプローチは、メトリック3D再構成のためにLiDARやRGB-Dカメラのような専用深度センサーに依存している。
本稿では,RGB入力のみからの3次元シーングラフの能動的・漸進的な構築のための,完全な視覚的枠組みを提案する。
論文 参考訳（メタデータ） (2026-05-18T10:37:39Z) - StereoPolicy: Improving Robotic Manipulation Policies via Stereo Perception [30.791524912385924]
StereoPolicyは、幾何学的推論を強化するために、同期ステレオ画像ペアを直接活用する、ビジュモータポリシー学習フレームワークである。
本結果は,ロボット操作のための3次元幾何学的理解と2次元事前学習表現を橋渡しする,スケーラブルでロバストなモダリティとしてステレオビジョンを裏付けるものである。
論文 参考訳（メタデータ） (2026-05-11T05:06:12Z) - Choose What to Observe: Task-Aware Semantic-Geometric Representations for Visuomotor Policy [66.60668908340429]
Visuomotor のポリシーは、生の RGB 観測において、過度な視覚的要因に適合するデモから学ぶ。
視覚的入力を共有表現に正準化するタスク対応観察インタフェースを提案する。
我々は,RoboMimic (Lift), ManiSkill YCB grasping under clutter, 4つのRLBench task under control appearance shifts, and two real-world Franka taskについて検討した。
論文 参考訳（メタデータ） (2026-03-09T01:21:26Z) - Action-Geometry Prediction with 3D Geometric Prior for Bimanual Manipulation [53.09168514034483]
バイマン操作は3次元幾何学を推論し、動作中にどのように進化するかを予測し、滑らかで協調された動きを生成するポリシーを必要とする。
本稿では,事前学習した3次元幾何学的基礎モデルに基づいて,バイマン操作を直接構築するフレームワークを提案する。
我々の政策は、幾何学的認識の潜伏子、2次元意味的特徴、およびプロプレセプションを統一状態表現に融合させ、拡散モデルを用いて将来のアクションチャンクと、密度の高いポイントマップにデコードする未来の3次元潜伏子を共同で予測する。
論文 参考訳（メタデータ） (2026-02-27T08:54:20Z) - Learning Category-level Last-meter Navigation from RGB Demonstrations of a Single-instance [5.161531917413708]
ほとんどのRGBベースのナビゲーションシステムは、粗いメートルレベルの精度しか保証していない。
このギャップは、操作ポリシーがトレーニングデモの配布内で動作することを防ぐ。
我々は、ラストメーターナビゲーションのためのオブジェクト中心の模倣学習フレームワークを導入する。
論文 参考訳（メタデータ） (2025-12-11T23:35:05Z) - GLaD: Geometric Latent Distillation for Vision-Language-Action Models [106.53332923530245]
GLaDは、知識蒸留による事前学習中に3次元の幾何学的先行を組み込んだ幾何学的認識型視覚・言語・アクション(VLA)フレームワークである。
GLaDは4つのLIBEROタスクスイートの平均成功率は94.1%で、同じ事前トレーニングデータを使用するUniVLA(92.5%)を上回っている。
論文 参考訳（メタデータ） (2025-12-10T13:07:27Z) - DFormerv2: Geometry Self-Attention for RGBD Semantic Segmentation [66.7989548848166]
既存のアプローチでは、深度マップとRGBイメージをエンコードし、それらの間に特徴融合を行い、より堅牢な予測を可能にする。
我々はDFormerv2という強力なRGBDエンコーダを提案し、ニューラルネットワークで深度情報をエンコードするのではなく、深度マップを幾何先行として明示的に利用する。
我々のゴールは、すべての画像パッチトークンの深さと空間距離から幾何学的手がかりを抽出し、それを用いて、自己注意における注意重みを割り当てることである。
論文 参考訳（メタデータ） (2025-04-07T03:06:07Z) - Dual Swin-Transformer based Mutual Interactive Network for RGB-D Salient
Object Detection [67.33924278729903]
本研究では,Dual Swin-Transformerを用いたMutual Interactive Networkを提案する。
視覚入力における長距離依存をモデル化するために,RGBと奥行きモードの両方の機能抽出器としてSwin-Transformerを採用している。
5つの標準RGB-D SODベンチマークデータセットに関する総合的な実験は、提案手法の優位性を実証している。
論文 参考訳（メタデータ） (2022-06-07T08:35:41Z) - Bi-directional Cross-Modality Feature Propagation with
Separation-and-Aggregation Gate for RGB-D Semantic Segmentation [59.94819184452694]
深度情報はRGBD画像のセマンティックセグメンテーションにおいて有用であることが証明されている。
既存のほとんどの研究は、深度測定がRGBピクセルと正確で整合していると仮定し、問題をモーダルな特徴融合としてモデル化している。
本稿では,RGB特徴量応答を効果的に再検討するだけでなく,複数の段階を通して正確な深度情報を抽出し,代わりに2つの補正表現を集約する,統一的で効率的なクロスモダリティガイドを提案する。
論文 参考訳（メタデータ） (2020-07-17T18:35:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。