論文の概要: GoalDex: Learning Image-Goal-Conditioned Policies for Dexterous In-Hand Manipulation
- arxiv url: http://arxiv.org/abs/2611.02171v1
- Date: Sun, 01 Nov 2026 20:19:51 GMT
- ステータス: 情報取得中
- システム内更新日: 2026-11-03 19:35:20.965793
- Title: GoalDex: Learning Image-Goal-Conditioned Policies for Dexterous In-Hand Manipulation
- Title（参考訳）: GoalDex:Dexterous In-Hand Manipulationのためのイメージ目標決定型ポリシーを学習する
- Abstract要約: 本稿では,手軽な手軽な手軽な手軽な手軽な手軽な手軽な手軽な手軽な手軽な手軽さを実現するフレームワークを提案する。
我々は、特権国家教師から行動蒸留を通じて視覚表現と制御政策を学習する。
実世界の5つのオブジェクトにまたがる1つのイメージゴール条件ポリシーの直接的シミュレートを実証する。
- 参考スコア（独自算出の注目度）: 9.303398221598739
- License:
- Abstract: Dexterous in-hand manipulation is commonly formulated around explicit object pose estimation, yet reliable pose tracking is challenging under severe hand-object occlusions and often requires object-specific supervision. This dependence creates a bottleneck between perception and control that can limit robustness and scalability. We present an end-to-end visuomotor framework for dexterous in-hand reorientation that operates on RGB observations and proprioception without intermediate pose estimation. Our approach jointly learns visual representations and control policies through behavior distillation from privileged state teachers and auxiliary reconstruction objectives. Furthermore, we introduce image-goal-conditioned reorientation, allowing desired object configurations to be specified directly through images rather than canonical pose representations. We evaluate our approach across a diverse set of object geometries and instances in simulation, where it consistently outperforms pose-based methods and policies built on pretrained visual encoders. Finally, we demonstrate direct sim-to-real transfer of a single image-goal-conditioned policy across five real-world objects, showing that accurate dexterous reorientation can be achieved without explicit pose estimation. For videos and code release, please refer to the project website: https://rffr.leggedrobotics.com/works/goaldex/
- Abstract（参考訳）: 不安定な手動操作は通常、明示的なオブジェクトのポーズ推定を中心に定式化されるが、信頼性の高いポーズトラッキングは、厳しい手動オクルージョンの下では困難であり、しばしばオブジェクト固有の監視を必要とする。
この依存は、堅牢性とスケーラビリティを制限することができる知覚と制御のボトルネックを生み出します。
中間ポーズ推定なしでRGB観測と固有受容器を操作できる,手動手動手動動作のためのエンドツーエンド型ビズモータフレームワークを提案する。
本稿では,特権国家教師の行動蒸留と補助的再建の目的を通じて,視覚表現と制御方針を共同で学習する。
さらに、画像のゴール条件によるリオリエンテーションを導入し、標準ポーズ表現ではなく、画像を介して目的のオブジェクト構成を直接指定できるようにする。
我々は、様々なオブジェクトのジオメトリやシミュレーションのインスタンスにまたがってアプローチを評価し、事前に訓練されたビジュアルエンコーダ上に構築されたポーズベースのメソッドやポリシーを一貫して上回ります。
最後に、実世界の5つのオブジェクトにまたがる1つのイメージゴール条件ポリシーの直接的シミュレートを実証し、明示的なポーズ推定をすることなく正確なデクスタラスリオリエンテーションを実現できることを示す。
ビデオやコードのリリースについては、プロジェクトのWebサイトを参照してください。
関連論文リスト
- GR-VIP: Geometric representation conditioning for precise visuomotor policy [7.191759447789436]
精密視運動政策(GR-VIP)のための幾何学的表現条件
我々は、相対カメラポーズ推定のために予め訓練された視覚エンコーダを利用する目標条件付きビズモータポリシーGR-VIPを提案する。
実世界のドッキング作業におけるGR-VIPの評価を行い、ドッキング成功率とミリスケール端末の精度をトレーニング環境と未確認環境の両方で示す。
論文 参考訳（メタデータ） (2026-10-16T06:21:43Z) - Monocular Vision Based Control Framework for Grasping [8.44254908378373]
本稿では,単一制御パイプライン内の軟質物体と剛質物体の両方を対象とする,視覚に基づく把握フレームワークを提案する。
提案システムは,開語彙オブジェクト検出,画像分割,境界認識点割当,リアルタイム点追跡,単眼深度推定を組み合わせたシステムである。
その結果, 視覚フィードバックのみを用いて, ソフトオブジェクトと剛体オブジェクトの両方を安定的に把握できることが実証された。
論文 参考訳（メタデータ） (2026-07-08T20:13:17Z) - Grasp-Oriented Non-Prehensile Manipulation via Learning a Graspability Field [53.59810543538279]
非包括的操作は、しばしばロボットの把握のための準備段階として使用される。
実際には、オブジェクトは複数の把握可能な構成を認めており、望まれるポーズは事前に分かっていない。
我々は、対象中心の把握可能性の目的を最適化するものとして、把握のための非包括的操作を再構成する。
論文 参考訳（メタデータ） (2026-06-29T15:33:27Z) - Pose-Agnostic Robotic Functional Grasping via Observation-Action Canonicalization [29.2994731532375]
機能的なロボットの把握には、多様なオブジェクトのジオメトリやポーズを一般化するポリシーが必要である。
我々はこの課題を、細いハンドル、インスタンスの変動、直立または逆転配置が物体の形状に敏感な知覚と制御の両方をもたらす、マグハンドグルーピングを通じて研究する。
本研究では,単一閉ループポリシーをシミュレーションで完全に訓練し,実ロボットにゼロショットで展開する機能把握のための正規化ビズモータ強化学習フレームワークであるAnyMugを提案する。
論文 参考訳（メタデータ） (2026-06-19T06:37:43Z) - Object Pose Transformer: Unifying Unseen Object Pose Estimation [54.20344997573707]
モデルなしのオブジェクトポーズ推定を未知のインスタンスで学習することは、3Dビジョンにおける根本的な課題である。
我々のチームは、RGB入力から深度、ポイントマップ、カメラパラメータ、正規化されたオブジェクト座標を共同で予測します。
当社はカメラ非依存で、カメラ固有の知識をオンザフライで学習し、メトリックスケールリカバリのためのオプションの深度入力をサポートします。
論文 参考訳（メタデータ） (2026-03-24T16:04:16Z) - Generalized Hand-Object Pose Estimation with Occlusion Awareness [87.10073091219066]
1枚のRGB画像から一般的な3次元手動ポーズ推定は、物体の外観や相互作用パターンに大きな変化があるため、依然として困難である。
我々は,オクルージョン認識を用いた汎用的手動ポーズ推定フレームワークであるGenHOIを提案する。
論文 参考訳（メタデータ） (2026-03-19T15:19:23Z) - UniHOPE: A Unified Approach for Hand-Only and Hand-Object Pose Estimation [82.93208597526503]
既存のメソッドは、オブジェクトと対話する素手または手に焦点を当てて、特殊化されている。
他のシナリオに適用しても、どちらのメソッドも柔軟にシナリオとパフォーマンスの低下を処理できません。
汎用的な3次元手動ポーズ推定のための統一的なアプローチであるUniHOPEを提案する。
論文 参考訳（メタデータ） (2025-03-17T15:46:43Z) - Sim2Real Object-Centric Keypoint Detection and Description [40.58367357980036]
キーポイントの検出と記述はコンピュータビジョンにおいて中心的な役割を果たす。
対象中心の定式化を提案し、各関心点が属する対象をさらに特定する必要がある。
我々はシミュレーションで訓練されたモデルを現実のアプリケーションに一般化できるsim2realコントラスト学習機構を開発した。
論文 参考訳（メタデータ） (2022-02-01T15:00:20Z) - Self-Supervision by Prediction for Object Discovery in Videos [62.87145010885044]
本稿では,この予測タスクを自己監督として利用し,画像シーケンス表現のための新しいオブジェクト中心モデルを構築する。
私たちのフレームワークは、手動アノテーションや事前トレーニングされたネットワークを使わずにトレーニングできます。
最初の実験では、提案されたパイプラインがオブジェクト中心のビデオ予測への有望なステップであることを確認した。
論文 参考訳（メタデータ） (2021-03-09T19:14:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。