論文の概要: DepState-JEPA: Learning Depth-Grounded State Representation for Visual Perception and Manipulation
- arxiv url: http://arxiv.org/abs/2610.29246v1
- Date: Wed, 21 Oct 2026 05:51:06 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-23 00:40:06.252796
- Title: DepState-JEPA: Learning Depth-Grounded State Representation for Visual Perception and Manipulation
- Title（参考訳）: DepState-JEPA:視覚知覚と操作のための奥行きを考慮した状態表現学習
- Abstract要約: マルチストリームRGBである textbfDepState-JEPA について述べる。
空間的理解と行動条件付き予測を共有潜在状態である textbfDepState を通じて接続する。
動作条件付き遷移の後、同じデコーダが予測状態と固定された初期プライベート特徴を使用して、将来のRGBおよび深さ特性を予測する。
- 参考スコア（独自算出の注目度）: 62.45396273205824
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Predictive representations for robot manipulation should connect scene geometry with the state changes induced by actions. Our intuition is that understanding what an action will change starts with understanding where things are: complementary RGB and depth observations ground a common scene representation from which to infer those changes. Guided by this intuition, we introduce \textbf{DepState-JEPA}, a dual-stream RGB--Depth joint-embedding predictive architecture that connects spatial understanding with action-conditioned prediction through a shared latent state, \textbf{DepState}. Built on V-JEPA~2.1, the framework uses depth both as a complementary observation stream and to ground both modalities in metric 3D space, aggregating shared information into DepState while retaining modality-private features for decoding. Ray-conditioned readouts predict local features without target depth; after an action-conditioned transition, the same decoders predict future RGB and depth features using the predicted state and fixed initial private features. Robot-state readouts provide recursive proprioceptive inputs; object-trajectory supervision and calibrated forward kinematics shape state learning through motion targets and joint--TCP consistency. Comparisons show stronger RGB-encoder transfer after RGB-D adaptation, feature completion, conditioned visual forecasting, and manipulation success. Within-model ablations identify contributions from depth content, metric coordinates, and future-state matching, with additional control gains from FK regularization.
- Abstract（参考訳）: ロボット操作の予測表現は、シーン幾何学とアクションによって引き起こされる状態変化を結びつけるべきである。
私たちの直感は、アクションが何を変えるかを理解することは、物事がどこにあるかを理解することから始まります。
この直感で導かれた、二重ストリームRGB-Depth結合埋め込み予測アーキテクチャである \textbf{DepState-JEPA} を導入し、空間的理解と行動条件予測を共有潜在状態である \textbf{DepState} を介して接続する。
V-JEPA~2.1 上に構築されたこのフレームワークは、相補的な観測ストリームとして、およびメトリック3D空間における両方のモダリティを基盤として、デプステートに共有情報を集約し、デコードのためのモダリティプライベートな特徴を保持しながら、デプステートに共有する。
動作条件付き遷移の後、同じデコーダが予測状態と固定された初期プライベート特徴を使用して、将来のRGBおよび深さ特性を予測する。
ロボット状態の読み出しは、再帰的固有受容入力、物体軌道の監督、運動目標による前方運動学形状のキャリブレーション、関節-TCP整合性を提供する。
比較では、RGB-D適応後のRGB-エンコーダ転送、特徴完備化、条件付き視覚予測、操作成功を示す。
モデル内アブレーションは、深度コンテンツ、メートル法座標、将来の状態マッチングからのコントリビューションを識別し、FK正則化によるコントロールゲインを付加する。
関連論文リスト
- Underwater C3-JEPA: An Object-Centric Cross-View World Model for ROV Salvage [26.19898363758348]
水中C$3$-JEPA(英語: Underwater C$3$-JEPA)は、水中ROV回収のためのオブジェクト中心の多視点予測世界モデルである。
C$3$-JEPAは、マルチカメラの観察をタスクオブジェクトとコンテキストトークンにエンコードし、カメラ間の証拠を監視対象の注意を通して融合させ、制御された将来の状態を直接予測する。
論文 参考訳（メタデータ） (2026-09-24T17:45:42Z) - StereoPatch: Patch-Aligned RGB-Depth Fusion for Spatial Perception in Robot Manipulation [4.871965587776022]
我々はStereoPatchを紹介した。これはパッチアラインなRGB深度表現で、登録されたメートル法をアクション予測に使用するRGBパッチに直接結合する。
共有2次元パッチグリッドでは、非対称なクロスアテンションは、アクション復号前に対応するRGB機能に深度情報を組み込む。
StereoPatchは6つの実ロボットタスクの中で、外観のみ、幾何学のみ、生のRGB-D、レイトフュージョンベースラインよりもクローズドループの成功を達成している。
論文 参考訳（メタデータ） (2026-09-14T13:01:25Z) - Weaving Light and Time: Unified Harmonic-Geometric Representation Learning for Dense RGB-Event Parsing [55.13802890769086]
我々は、専用のRGB-Event解析用に特別に設計された最初の統一バックボーンであるEvitaを紹介する。
深いモーダルなシナジーを達成するため、Evitaはすべてのエンコーダ層に直接固有のコラーニングモジュール群を組み込む。
Evitaは、リアルタイムマルチモーダル認識において、より優れた精度とレイテンシのトレードオフを提供しながら、新しい最先端メトリクスを確立する。
論文 参考訳（メタデータ） (2026-07-10T06:52:09Z) - Choose What to Observe: Task-Aware Semantic-Geometric Representations for Visuomotor Policy [66.60668908340429]
Visuomotor のポリシーは、生の RGB 観測において、過度な視覚的要因に適合するデモから学ぶ。
視覚的入力を共有表現に正準化するタスク対応観察インタフェースを提案する。
我々は,RoboMimic (Lift), ManiSkill YCB grasping under clutter, 4つのRLBench task under control appearance shifts, and two real-world Franka taskについて検討した。
論文 参考訳（メタデータ） (2026-03-09T01:21:26Z) - Action-Geometry Prediction with 3D Geometric Prior for Bimanual Manipulation [53.09168514034483]
バイマン操作は3次元幾何学を推論し、動作中にどのように進化するかを予測し、滑らかで協調された動きを生成するポリシーを必要とする。
本稿では,事前学習した3次元幾何学的基礎モデルに基づいて,バイマン操作を直接構築するフレームワークを提案する。
我々の政策は、幾何学的認識の潜伏子、2次元意味的特徴、およびプロプレセプションを統一状態表現に融合させ、拡散モデルを用いて将来のアクションチャンクと、密度の高いポイントマップにデコードする未来の3次元潜伏子を共同で予測する。
論文 参考訳（メタデータ） (2026-02-27T08:54:20Z) - UniLACT: Depth-Aware RGB Latent Action Learning for Vision-Language-Action Models [23.387376978512567]
我々は、深度対応の潜伏事前学習を通して幾何学構造を組み込んだ変圧器ベースのVLAモデルUniLACTを紹介する。
我々は、RGBと深さの共有埋め込み空間を学習する統合潜在行動学習フレームワークUniLARNを提案する。
シミュレーションと実世界の両方の環境での実験は、深度認識された潜在行動表現の有効性を示した。
論文 参考訳（メタデータ） (2026-02-23T18:41:41Z) - Features Emerge as Discrete States: The First Application of SAEs to 3D Representations [5.751184796461698]
スパースオートエンコーダ(SAE)は、ニューラルネットワークのアクティベーションを分解する強力な辞書学習技術である。
53k3Dモデルに適用した最先端3D再構成VAEの特徴を解析し,SAEの3D領域への最初の応用について述べる。
論文 参考訳（メタデータ） (2025-12-12T03:54:45Z) - Dual Swin-Transformer based Mutual Interactive Network for RGB-D Salient
Object Detection [67.33924278729903]
本研究では,Dual Swin-Transformerを用いたMutual Interactive Networkを提案する。
視覚入力における長距離依存をモデル化するために,RGBと奥行きモードの両方の機能抽出器としてSwin-Transformerを採用している。
5つの標準RGB-D SODベンチマークデータセットに関する総合的な実験は、提案手法の優位性を実証している。
論文 参考訳（メタデータ） (2022-06-07T08:35:41Z) - Bi-directional Cross-Modality Feature Propagation with
Separation-and-Aggregation Gate for RGB-D Semantic Segmentation [59.94819184452694]
深度情報はRGBD画像のセマンティックセグメンテーションにおいて有用であることが証明されている。
既存のほとんどの研究は、深度測定がRGBピクセルと正確で整合していると仮定し、問題をモーダルな特徴融合としてモデル化している。
本稿では,RGB特徴量応答を効果的に再検討するだけでなく,複数の段階を通して正確な深度情報を抽出し,代わりに2つの補正表現を集約する,統一的で効率的なクロスモダリティガイドを提案する。
論文 参考訳（メタデータ） (2020-07-17T18:35:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。