論文の概要: VOKE: Visual Object Kinematics Estimator for Dexterous In-Hand Manipulation
- arxiv url: http://arxiv.org/abs/2611.16423v1
- Date: Thu, 12 Nov 2026 07:33:05 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-14 01:36:33.390336
- Title: VOKE: Visual Object Kinematics Estimator for Dexterous In-Hand Manipulation
- Title(参考訳): VOKE:デクサラスな手動操作のためのビジュアルオブジェクト運動量推定器
- Abstract要約: VOKEは、既存のオブジェクトと手動オブジェクトのポーズ推定を増強し、完全なオブジェクトの運動状態を復元する、キネマティクス対応の知覚フレームワークである。
我々は、DexYCBとOakInkでVOKEを評価し、3つの異なるバックボーン間のオブジェクトポーズ推定を一貫して改善する。
下流アプリケーションとして,キネマティックス強化学習を用いて,キネマティックス強化政策とポーズ履歴ベースラインを比較した。
- 参考スコア(独自算出の注目度): 14.038120372981211
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Vision-based dexterous in-hand manipulation requires knowing not only where an object is, but also how it moves. However, most robotic manipulation systems rely on off-the-shelf visual perception models whose outputs are limited to static object masks, geometry, or 6D poses, leaving downstream controllers to infer object dynamics implicitly from noisy visual observations. We present VOKE, a kinematics-aware perception framework that augments existing object and hand-object pose estimators to recover a complete object kinematic state comprising pose, linear and angular velocity, and linear and angular acceleration. VOKE contains two core perception modules and a downstream application study. First, a Pluggable Kinematics Module (PKM) attaches to the output of a standard pose estimator and predicts the object's linear and angular velocity and acceleration from temporal visual features. Second, a Kinematics-guided Pose Refinement Module (KPRM) converts this motion vector into a second-order, motion-prior reference pose and refines the per-frame pose estimates. We evaluate VOKE on DexYCB and OakInk, where it consistently improves object pose estimation across three different backbones and substantially reduces velocity and acceleration estimation error compared with pose differencing. As a downstream application, we use Kinematics-Augmented Reinforcement Learning (KARL) to compare a kinematics-augmented policy with a pose-history baseline. After training the policies in simulation, we transfer the kinematics-augmented policy to the physical robot without policy fine-tuning, demonstrating the complete perception-to-control pathway in the target domain.
- Abstract(参考訳): 視覚に基づく手動操作では、物体がどこにあるのかだけでなく、どのように動くのかを知る必要がある。
しかしながら、ほとんどのロボット操作システムは、出力が静的な物体マスク、幾何学、または6Dポーズに限定される既成の視覚知覚モデルに依存しており、下流のコントローラはノイズの多い視覚観察からオブジェクトのダイナミクスを暗黙的に推測する。
本稿では、既存の物体と手動物体のポーズ推定を増強し、ポーズ、線形および角速度、線形および角加速度を含む完全な物体の運動状態を復元する動力学的認識フレームワークであるVOKEを提案する。
VOKEは2つのコア認識モジュールと下流アプリケーション研究を含んでいる。
まず、プラガブル・キネマティクス・モジュール(PKM)が標準ポーズ推定器の出力にアタッチされ、時間的視覚特徴から物体の線形および角速度と加速度を予測する。
第二に、KPRM(Kinematics-guided Pose Refinement Module)は、この動きベクトルを2階のモーションプライア参照ポーズに変換し、フレームごとのポーズ推定を洗練させる。
DexYCBとOakInkのVOKEを評価し,3つの異なるバックボーン間のオブジェクトのポーズ推定を一貫して改善し,ポーズの差よりも速度と加速度の誤差を大幅に低減する。
下流アプリケーションとして、キネマティクス強化学習(KARL)を用いて、キネマティクス強化政策とポーズ履歴ベースラインを比較する。
シミュレーションでポリシーを訓練した後、キネマティックス強化ポリシーをポリシーの微調整なしで物理ロボットに転送し、対象領域における完全な知覚制御経路を示す。
関連論文リスト
- PhysHMR: Learning Humanoid Control Policies from Vision for Physically Plausible Human Motion Reconstruction [52.44375492811009]
物理学に基づくシミュレーターにおいて,ヒューマノイド制御のための視覚行動ポリシーを学習する統合フレームワークであるPhysHMRを提案する。
我々のアプローチの重要な要素はピクセル・アズ・レイ戦略であり、2次元のキーポイントを3次元空間に上げ、それらを大域空間に変換する。
PhysHMRは多種多様なシナリオにまたがって高忠実で物理的に妥当な動きを生じさせ、視覚的精度と身体的リアリズムの両方において以前のアプローチより優れている。
論文 参考訳(メタデータ) (2025-10-02T21:01:11Z) - Spatial-Temporal Graph Diffusion Policy with Kinematic Modeling for Bimanual Robotic Manipulation [88.83749146867665]
既存のアプローチは、遠く離れた次のベストなエンドエフェクタのポーズを予測するポリシーを学びます。
すると、運動に対する対応する関節回転角を逆運動学を用いて計算する。
本稿では,Kinematics 拡張空間テンポアル gRaph diffuser を提案する。
論文 参考訳(メタデータ) (2025-03-13T17:48:35Z) - Optimal-state Dynamics Estimation for Physics-based Human Motion Capture from Videos [6.093379844890164]
オンライン環境での運動学観測に物理モデルを選択的に組み込む新しい手法を提案する。
リカレントニューラルネットワークを導入し、キネマティックス入力とシミュレートされた動作を熱心にバランスするカルマンフィルタを実現する。
提案手法は,物理に基づく人間のポーズ推定作業に優れ,予測力学の物理的妥当性を示す。
論文 参考訳(メタデータ) (2024-10-10T10:24:59Z) - DO3D: Self-supervised Learning of Decomposed Object-aware 3D Motion and
Depth from Monocular Videos [76.01906393673897]
本研究では,モノクラービデオから3次元運動と深度を協調的に学習する自己教師手法を提案する。
本システムでは,深度を推定する深度推定モジュールと,エゴモーションと3次元物体の動きを推定する新しい分解対象3次元運動推定モジュールを備える。
我々のモデルは評価されたすべての設定において優れたパフォーマンスを提供する。
論文 参考訳(メタデータ) (2024-03-09T12:22:46Z) - Attentive and Contrastive Learning for Joint Depth and Motion Field
Estimation [76.58256020932312]
単眼視システムからシーンの3次元構造とともにカメラの動きを推定することは複雑な作業である。
モノクロ映像からの3次元物体運動場推定のための自己教師付き学習フレームワークを提案する。
論文 参考訳(メタデータ) (2021-10-13T16:45:01Z) - Dynamics-Regulated Kinematic Policy for Egocentric Pose Estimation [23.603254270514224]
本研究では,動力学的モデリング,動的モデリング,シーンオブジェクト情報を密に統合したオブジェクト認識型3Dエゴセントリックポーズ推定手法を提案する。
ウェアラブルカメラ1台を用いて、物理的に証明可能な3Dオブジェクトインタラクションを推定する能力を初めて実証した。
論文 参考訳(メタデータ) (2021-06-10T17:59:50Z) - SimPoE: Simulated Character Control for 3D Human Pose Estimation [33.194787030240825]
SimPoEは、3Dヒューマンポース推定のためのシミュレーションベースのアプローチです。
画像ベースのキネマティック推論と物理ベースのダイナミクスモデリングを統合します。
提案手法は, 身体的信頼性を確保しつつ, 姿勢精度の新たな状態を確立する。
論文 参考訳(メタデータ) (2021-04-01T17:59:50Z) - Learning Monocular Depth in Dynamic Scenes via Instance-Aware Projection
Consistency [114.02182755620784]
本稿では,複数の動的物体の6-DoF動作,エゴモーション,深度を,監督なしで一眼レフカメラで明示的にモデル化する,エンドツーエンドのジョイントトレーニングフレームワークを提案する。
筆者らのフレームワークは,最先端の深度・動き推定法より優れていた。
論文 参考訳(メタデータ) (2021-02-04T14:26:42Z) - Learning to Segment Rigid Motions from Two Frames [72.14906744113125]
本研究では, 運動場から独立物体の動きを復元する幾何学的解析により, モジュラーネットワークを提案する。
2つの連続フレームを入力とし、背景のセグメンテーションマスクと複数の剛体移動オブジェクトを予測し、3次元の剛体変換によってパラメータ化する。
本手法はkittiおよびsintelにおける剛体運動セグメンテーションの最先端性能を実現する。
論文 参考訳(メタデータ) (2021-01-11T04:20:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。