論文の概要: Learning Robust Dexterous In-Hand Manipulation from Joint Sensors with Proprioceptive Transformer
- arxiv url: http://arxiv.org/abs/2605.21330v1
- Date: Wed, 20 May 2026 15:57:27 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-21 19:19:56.766595
- Title: Learning Robust Dexterous In-Hand Manipulation from Joint Sensors with Proprioceptive Transformer
- Title（参考訳）: 原受容型変換器を用いたジョイントセンサを用いたロバストデクサラスインハンドマニピュレーションの学習
- Authors: Senlan Yao, Chenyu Yang, Jaehoon Kim, Aristotelis Sympetheros, Robert K. Katzschmann,
- Abstract要約: 被写体操作は、器用なロボットにとって基本的かつ困難な能力である。
本稿では, 腱駆動手指の連続立方体回転に対する外部受容のないアプローチである Proprioceptive Transformer (PT) を提案する。
- 参考スコア（独自算出の注目度）: 11.161987826324205
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In-hand object manipulation is a fundamental yet challenging capability for dexterous robots. Despite significant progress in dexterous manipulation, existing approaches rely heavily on vision or tactile sensing to track object states, while joint sensing -- the most readily available modality on any robotic hand -- remains largely overlooked, particularly for tendon-driven hands. In this paper, we study how far joint sensing alone can go by asking: (i) whether motor encoders or direct joint sensing provides better proprioceptive feedback, (ii) how to extract environment information from joint measurements, and (iii) whether joint-only control can achieve competitive real-world performance without external perception. We present the Proprioceptive Transformer (PT), an exteroceptive-free approach for continuous cube rotation on a tendon-driven dexterous hand that uses only joint sensing feedback. A teacher policy is first trained via reinforcement learning with privileged object information, then distilled into PT, which operates solely on joint position and velocity histories. The Transformer architecture effectively extracts implicit object state information from temporal patterns in joint sensor readings. Experiments on the real ORCA hand show that our approach achieves 3.1x higher rotation speed than baselines. We also demonstrate that our PT achieves a 23.4% lower RMSE for cube position estimation than the MLP baseline, indicating superior extraction of exteroceptive information from proprioceptive sources.
- Abstract（参考訳）: 被写体操作は、器用なロボットにとって基本的かつ困難な能力である。
器用な操作の大幅な進歩にもかかわらず、既存のアプローチは物体の状態を追跡するために視覚や触覚に大きく依存している。
本稿では,ジョイントセンシングが単独でどこまで進めるかを問う。
一 運動エンコーダ又は直接関節感覚がより優れた受容フィードバックを与えるか否か。
二 共同計測から環境情報を抽出する方法、及び
三 外部の認識なしに、競争力のある現実世界のパフォーマンスを達成することができるかどうか。
本稿では, 関節感覚フィードバックのみを用いた腱駆動型遠位手において, 連続立方体回転に対する外部受容のないアプローチである Proprioceptive Transformer (PT) を提案する。
教師の政策は、まず、特権対象情報による強化学習を通じて訓練され、その後PTに蒸留され、関節位置と速度履歴のみで動作する。
Transformerアーキテクチャは、ジョイントセンサー読み取りにおける時間パターンから暗黙のオブジェクト状態情報を効果的に抽出する。
実際のORCAハンドを用いた実験により,本手法はベースラインよりも3.1倍高い回転速度を達成できた。
また,我々のPTは,MLPベースラインよりも立方体位置推定において23.4%低いRMSEを実現しており,プロテアーゼ源からの外部受容情報の抽出が優れていることを示す。
関連論文リスト
- ULTRA: Unified Multimodal Control for Autonomous Humanoid Whole-Body Loco-Manipulation [55.467742403416175]
本稿では,大規模モーションキャプチャをヒューマノイドに変換する物理駆動型ニューラルネットワークを提案する。
我々は高密度参照とスパースタスク仕様の両方をサポートする統合マルチモーダルコントローラを学習する。
その結果,ULTRAは自我中心の知覚から,自律的,目標条件付き全体ロコ操作に一般化することが示された。
論文 参考訳（メタデータ） (2026-03-03T18:59:29Z) - UniForce: A Unified Latent Force Model for Robot Manipulation with Diverse Tactile Sensors [51.88112610411651]
そこで本研究では,多様な触覚センサにまたがる共用潜在力空間を学習する,新しい統合された触覚表現学習フレームワークを提案する。
UniForceは、逆ダイナミクス(image-to-force)とフォワードダイナミクス(force-to-image)を共同モデリングすることで、クロスセンサー領域シフトを低減する
高価な外部力/トルクセンサ(F/T)への依存を避けるため,静的平衡を利用して直接センサ・オブジェクト・センサ・インタラクションを介して力対効果データを収集する。
論文 参考訳（メタデータ） (2026-02-01T11:03:01Z) - Closing the Reality Gap: Zero-Shot Sim-to-Real Deployment for Dexterous Force-Based Grasping and Manipulation [12.509181374985936]
複数の指を持つ人間のような器用な手は、人間レベルの操作機能を提供する。
しかし、実際のハードウェアに直接デプロイ可能なトレーニングコントロールポリシは、コンタクトリッチな物理のため、依然として難しいままです。
本稿では,高密度触覚フィードバックと関節トルクセンシングを併用して身体的相互作用を調節する実践的枠組みを提案する。
論文 参考訳（メタデータ） (2026-01-06T07:26:39Z) - Learning Generalizable Hand-Object Tracking from Synthetic Demonstrations [71.15185260689928]
本研究では,人間による実演を必要とせず,合成データから汎用的な手動物体追跡制御系を学習するシステムを提案する。
提案手法は,(1)多種多様な対象物軌跡を合成可能なハンドオブジェクトプランナであるHOPと,(2)強化学習と相互作用模倣学習を通じて合成と物理の伝達をブリッジするハンドオブジェクトトラッカーであるHOTの2つの重要な貢献を行う。
論文 参考訳（メタデータ） (2025-12-22T17:08:54Z) - Dexplore: Scalable Neural Control for Dexterous Manipulation from Reference-Scoped Exploration [58.4036440289082]
ハンドオブジェクトモーションキャプチャ(MoCap)は、大規模でコンタクトに富んだデモと、器用なロボットスコープの約束を提供する。
Dexploreは、リポジトリとトラッキングを実行し、MoCapから直接ロボット制御ポリシーを学習する、統一された単一ループ最適化である。
論文 参考訳（メタデータ） (2025-09-11T17:59:07Z) - Proprioceptive External Torque Learning for Floating Base Robot and its
Applications to Humanoid Locomotion [17.384713355349476]
本稿では,浮動小数点浮動小数点浮動小数点浮動小数点浮動小数点浮動小数点浮動小数点浮動小数点浮動小数点浮動小数点浮動小数点浮動小数点浮動小数点浮動小数点浮動小数点浮動小数点浮動小数点浮動小数点浮動小数点浮動小数点
実際のロボット実験では、ネットワークは外部トルクと接触レンチをはるかに小さな誤差で推定できることを示した。
また,ゼロモーメントポイント(ZMP)フィードバック制御において,推定した接触レンチが有効であることを示す。
論文 参考訳（メタデータ） (2023-09-08T05:33:56Z) - Tracking and Reconstructing Hand Object Interactions from Point Cloud
Sequences in the Wild [35.55753131098285]
本稿では,手関節運動を推定するために,点クラウドを用いた手関節追跡ネットワークであるHandTrackNetを提案する。
このパイプラインは,予測ハンドジョイントをテンプレートベースパラメトリックハンドモデルMANOに変換することで,全ハンドを再構築する。
オブジェクトトラッキングでは,オブジェクトSDFを第1フレームから推定し,最適化に基づくトラッキングを行う,シンプルで効果的なモジュールを考案する。
論文 参考訳（メタデータ） (2022-09-24T13:40:09Z) - Domain Adaptive Robotic Gesture Recognition with Unsupervised
Kinematic-Visual Data Alignment [60.31418655784291]
本稿では,マルチモダリティ知識,すなわちキネマティックデータとビジュアルデータを同時にシミュレータから実ロボットに伝達できる,教師なしドメイン適応フレームワークを提案する。
ビデオの時間的手がかりと、ジェスチャー認識に対するマルチモーダル固有の相関を用いて、トランスファー可能な機能を強化したドメインギャップを修復する。
その結果, 本手法は, ACCでは最大12.91%, F1scoreでは20.16%と, 実際のロボットではアノテーションを使わずに性能を回復する。
論文 参考訳（メタデータ） (2021-03-06T09:10:03Z) - Physics-Based Dexterous Manipulations with Estimated Hand Poses and
Residual Reinforcement Learning [52.37106940303246]
ノイズの多い入力ポーズをターゲットの仮想ポーズにマッピングするモデルを学習する。
モデルフリーハイブリッドRL+ILアプローチを用いて残留条件下で訓練する。
筆者らは,VRにおける手動物体の相互作用と,それを用いた手動物体の動作再構成という,手動姿勢推定を用いた2つのアプリケーションで,我々のフレームワークを検証した。
論文 参考訳（メタデータ） (2020-08-07T17:34:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。