論文の概要: OccluDex: Hierarchical 3D Visuo-Tactile Representation Learning for Egocentric Dexterous Manipulation under Self-Occlusion

• arxiv url: http://arxiv.org/abs/2609.39017v1
• Date: Wed, 30 Sep 2026 05:22:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-01 18:57:27.229499
• Title: OccluDex: Hierarchical 3D Visuo-Tactile Representation Learning for Egocentric Dexterous Manipulation under Self-Occlusion
• Title（参考訳）: OccluDex:自己閉塞下での自我中心的軸制御のための階層型3次元ビズオ触覚表現学習
• Abstract要約: 階層型3Dビジュオ触覚表現学習フレームワークOccluDexを提案する。 OcccluDexは、局所的な接触情報とグローバルな幾何学構造を統合し、動的自己閉塞下で頑健な操作を行う。 その結果、ロボットハンドの操作が視覚を妨げている場合でも、人型自我中心の物体を、見えない物体や見えない物体に対して操作することができる。
• 参考スコア（独自算出の注目度）: 9.912051356197699
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Reliable dexterous manipulation requires continuous estimation of object geometry and hand-object contact throughout interaction. With egocentric sensing, however, the manipulating hand frequently occludes task-relevant object surfaces and contact regions, reducing the visual evidence available for state estimation and thereby making robust closed-loop control and generalization to unseen object geometries particularly challenging. To address this, we present OccluDex, a hierarchical 3D visuo-tactile representation learning framework that integrates global geometric structure with local contact information for robust manipulation under dynamic self-occlusion during hand-object interaction. OccluDex adopts multi-scale masked autoencoding to progressively encode partial 3D geometry and fuses tactile contact tokens with high-level geometric features through cross-modal attention. The encoder is pretrained from synchronized human visuo-tactile demonstrations and transferred as a frozen perceptual backbone for downstream reinforcement learning. We evaluate OccluDex on a faucet rotation task, requiring one full clockwise handle revolution, and a tabletop object reorientation task, requiring a 180-degree tabletop object reorientation without toppling. In simulation experiments, OccluDex demonstrated 12.6% higher accuracy for unseen objects and 8.3% higher accuracy for previously seen objects than the strongest state-of-the-art baseline models. Physical experiments were further performed with a Shadow Hand to demonstrate successful zero-shot sim-to-real generalization on unseen physical objects. This results could enable humanoid egocentric object manipulation for seen and unseen objects even when the manipulating robotic hand occludes vision.
• Abstract（参考訳）: 信頼性の高いデキスタラスな操作には、相互作用を通してオブジェクトの幾何学とハンドオブジェクトの接触を連続的に推定する必要がある。 しかし、自我中心の感覚により、操作手はタスク関連物体の表面や接触領域を頻繁に妨害し、状態推定に利用可能な視覚的証拠を減らし、堅牢な閉ループ制御と、特に目に見えない物体測地への一般化を困難にしている。 そこで本研究では,グローバルな幾何学的構造と局所的接触情報を統合した3次元ビジュオ触覚表現学習フレームワークOccluDexを提案する。 OccluDexは、マルチスケールのマスク付きオートエンコーディングを採用して、部分的な3次元幾何学を段階的にエンコードし、クロスモーダルな注意を通して高レベルの幾何学的特徴を持つ触覚接触トークンを融合させる。 該エンコーダは、ヒトのビンスオ触覚刺激の同期から事前訓練され、下流の強化学習のための凍結した知覚バックボーンとして転送される。 我々は,OccluDexをファウセット回転タスクで評価し,フルクロックのハンドル回転とテーブルトップ物体再配向タスクを1つ必要とし,テーブルトップ物体の再配向を180度必要としない。 シミュレーション実験では、OccluDexは、目に見えない物体の12.6%の精度と、これまで見られた物体の8.3%の精度を、最先端の最先端のベースラインモデルより実証した。 物理的実験はさらにシャドウハンドを用いて、目に見えない物体のゼロショット・シム・トゥ・リアルな一般化を実証した。 この結果により、ロボットハンドの操作で視界を遮られる場合であっても、人型自我中心の物体の視界や見えない物体に対する操作が可能になる。

関連論文リスト

• GIRAF: Towards Generalizable Human Interactions with Articulated Objects [50.52795413484619]
  そこで本論文では,テキスト条件付き拡散モデルについて述べる。 提案手法は、現在最先端の手法を超越して、未確認のオブジェクト構成に強い一般化を示した。
  論文  参考訳（メタデータ） (2026-07-08T19:30:44Z)
• ComPose: When to Trust Hands for Object Pose Tracking [44.085148707189035]
  ComPoseは、6DoFオブジェクトトラッキングフレームワークで、RGBビデオから手動でオブジェクトのポーズを推定するように設計されている。 本手法は,物体追跡のためのテキスト補完キューとして手の動きを調和させる。 結果は、ロボットがオンラインビデオから人間の行動を再構築できるようにすることで、下流ロボット操作に効果的に移行することができる。
  論文  参考訳（メタデータ） (2026-05-22T11:39:49Z)
• TransDex: Pre-training Visuo-Tactile Policy with Point Cloud Reconstruction for Dexterous Manipulation of Transparent Objects [14.591201169062158]
  有害な操作は複雑なタスクを可能にするが、透明物体を操作する際には、自己閉塞性、深度ノイズ、深度情報損失に悩まされる。 本稿では,3次元ビジュオ触覚融合モータポリシーであるTransDexを提案する。 実際のロボットシステムで行われた透明な物体操作実験の結果、TransDexは既存のベースライン法よりも優れていることが示された。
  論文  参考訳（メタデータ） (2026-03-14T09:59:34Z)
• Controllable Egocentric Video Generation via Occlusion-Aware Sparse 3D Hand Joints [87.13154261503168]
  モーションコントロール可能なビデオ生成は、仮想現実と組み込みAIにおけるエゴセントリックなアプリケーションに不可欠である。 既存の手法は、しばしば3D一貫性のきめ細かい手話を実現するのに苦労する。 単一の参照フレームからエゴセントリックなビデオを生成する新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2026-03-12T10:02:23Z)
• MOHO: Learning Single-view Hand-held Object Reconstruction with Multi-view Occlusion-Aware Supervision [75.38953287579616]
  ハンドヘルドオブジェクト再構成のためのハンドオブジェクトビデオから,多視点オクルージョン対応監視を利用する新しいフレームワークを提案する。 このような設定において、手による排他と対象の自己排他という2つの主要な課題に対処する。 HO3D と DexYCB のデータセットを用いた実験では、2D のMOHO が 3D の教師付き手法に対して大きなマージンで優れた結果を得ることが示された。
  論文  参考訳（メタデータ） (2023-10-18T03:57:06Z)
• Decaf: Monocular Deformation Capture for Face and Hand Interactions [77.75726740605748]
  本稿では,単眼のRGBビデオから人間の顔と対話する人間の手を3Dで追跡する手法を提案する。 動作中の非剛性面の変形を誘発する定形物体として手をモデル化する。 本手法は,マーカーレスマルチビューカメラシステムで取得した現実的な顔変形を伴う手動・インタラクションキャプチャーデータセットに頼っている。
  論文  参考訳（メタデータ） (2023-09-28T17:59:51Z)
• Towards unconstrained joint hand-object reconstruction from RGB videos [81.97694449736414]
  ハンドオブジェクト操作の再構築は、ロボット工学と人間のデモから学ぶ大きな可能性を秘めている。 まず,手動物体の相互作用をシームレスに処理できる学習不要な手動物体再構成手法を提案する。
  論文  参考訳（メタデータ） (2021-08-16T12:26:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。