論文の概要: WM-Craftnet: World Synesthesia Model for Generalizable and Robust Dexterous In-Hand Manipulation
- arxiv url: http://arxiv.org/abs/2609.07002v1
- Date: Mon, 07 Sep 2026 03:48:06 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-12 01:56:21.545068
- Title: WM-Craftnet: World Synesthesia Model for Generalizable and Robust Dexterous In-Hand Manipulation
- Title（参考訳）: WM-Craftnet: 一般化可能でロバストな非接触操作のための世界合成モデル
- Abstract要約: 一般化可能で堅牢な手動操作には、オブジェクトのポーズ、幾何学、接触、潜在的なすべりを推測するポリシーが必要である。
WM-Craftnetは,コンパクトな動作条件付潜在力学を学習する世界モデル条件付きフレームワークである。
- 参考スコア（独自算出の注目度）: 7.577131730633025
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Generalizable and robust dexterous in-hand manipulation requires a policy to infer object pose, geometry, contact, and potential slip from partial and noisy observations. Although recent tactile and visuotactile RL methods achieve strong in-hand rotation in controlled settings, their robustness often degrades under pose shifts, force disturbances, and object variation. We propose WM-Craftnet, a world-model-conditioned framework that learns compact action-conditioned latent dynamics from proprioception, depth, tactile sensing, and actions, supervised by multimodal reconstruction and reward prediction. Rather than using the world model for latent imagination or policy optimization, WM-Craftnet uses the learned World Synesthesia Model (WSM) as recurrent task context for an asymmetric actor--critic policy. Importantly, WSM is trained to reconstruct clean depth targets from noisy depth inputs, providing a denoised geometric state for real-robot deployment. Ablations over recurrent baselines, auxiliary heads, tactile masking, and WSM modality heads show that predictive world modeling, clean-depth supervision, and tactile contact cues all shape the learned state. A WSM pretrained on nine \(z\)-axis objects serves as a reusable prior for \(49\)-object downstream policy learning. This context improves multi-object rotation, with quantitative and qualitative evidence for unseen-object, perturbation-recovery, and sim-to-real transfer.
- Abstract（参考訳）: 一般化可能で頑健な手動操作は、部分的および雑音的な観測から物体のポーズ、幾何学、接触、潜在的なすべりを推測するポリシーを必要とする。
近年の触覚的・視覚的RL法は、制御された環境下での強い手動回転を実現するが、その頑健さは、ポーズシフト、力乱れ、物体の変化によってしばしば低下する。
提案する WM-Craftnet は,マルチモーダル再構成と報酬予測によって制御された,プロプレセプション,深度,触覚知覚,行動から,コンパクトな動作条件付潜時ダイナミクスを学習する世界モデル付きフレームワークである。
WM-Craftnetは、潜伏した想像力やポリシー最適化のために世界モデルを使用するのではなく、学習された世界合成モデル(WSM)を非対称なアクター批判ポリシーの繰り返しタスクコンテキストとして使用する。
重要なことは、WSMはノイズの多い深度入力からクリーンな深度目標を再構築するように訓練されており、実ロボットの展開のための幾何状態を提供する。
リカレントベースライン、補助ヘッド、触覚マスク、およびWSMモダリティヘッドに対するアブレーションは、予測的世界モデリング、クリーン深度監視、触覚接触が学習状態を全て形作ることを示している。
9 つの \(z\)-軸オブジェクトに事前訓練された WSM は、(49\)-対象下流ポリシー学習の再利用先として機能する。
この文脈は、目に見えない物体、摂動の回復、およびsim-to-real移動の定量的かつ定性的証拠によって、多物体回転を改善する。
関連論文リスト
- Mask World Model: Predicting What Matters for Robust Robot Policy Learning [31.96162737409163]
Mask World Model (MWM) は、大規模ビデオ生成事前学習モデルの一般化である。
MWMは,テクスチャ情報損失に対する優れた一般化能力と堅牢なレジリエンスを示す。
論文 参考訳（メタデータ） (2026-04-21T17:05:37Z) - HAIC: Humanoid Agile Object Interaction Control via Dynamics-Aware World Model [56.4392302336014]
本稿では,外部状態推定を伴わない多種多様なオブジェクトダイナミクス間のロバストな相互作用のためのフレームワークであるHAICを提案する。
我々の重要な貢献は、主観的歴史のみから高次対象状態(速度、加速度)を推定するダイナミクス予測器である。
ヒューマノイドロボットの実験では、HAICはアジャイルタスクで高い成功率を達成する。
論文 参考訳（メタデータ） (2026-02-12T09:34:35Z) - DeFM: Learning Foundation Representations from Depth for Robotics [49.77188649197404]
DeFMはロボットアプリケーションのための深度画像に基づいて訓練された自己教師型基礎モデルである。
DeFMは幾何学的および意味的な表現を学び、様々な環境、タスク、センサーに一般化する。
最先端の性能を達成し、シミュレーションから実環境への強力な一般化を実証する。
論文 参考訳（メタデータ） (2026-01-26T19:45:31Z) - Where to Touch, How to Contact: Hierarchical RL-MPC Framework for Geometry-Aware Long-Horizon Dexterous Manipulation [15.309183490293721]
接触リッチな外接操作における重要な課題は、幾何学、運動論的制約、複雑で非滑らかな接触力学を共同で推論する必要があることである。
本稿では,高レベル強化学習(RL)政策が接触意図を予測する階層的なRL--MPCフレームワークを提案する。
我々は、幾何学的一般化されたプッシュやオブジェクト3D再構成を含む、非包括的タスクに関するフレームワークを評価する。
論文 参考訳（メタデータ） (2026-01-16T01:20:15Z) - Generalizable Geometric Prior and Recurrent Spiking Feature Learning for Humanoid Robot Manipulation [90.90219129619344]
本稿では,スパイキング機能を備えたR-prior-S, Recurrent Geometric-priormodal Policyを提案する。
物理的現実の高レベル推論を基礎として、軽量な2次元幾何学的帰納バイアスを利用する。
ロボット行動生成におけるデータ効率問題に対して,再帰的適応スパイクネットワークを導入する。
論文 参考訳（メタデータ） (2026-01-13T23:36:30Z) - ByteLoom: Weaving Geometry-Consistent Human-Object Interactions through Progressive Curriculum Learning [19.292101162897975]
本稿では,幾何的に一貫したオブジェクト図面を持つ実写HOIビデオを生成するByteLoomを紹介する。
まず、相対座標マップ(RCM)をオブジェクトの幾何整合性を維持する普遍表現として活用するRCM-cache機構を提案する。
次に、モデル能力を進歩的なスタイルで向上し、ハンドメッシュの需要を緩和するトレーニングカリキュラムを設計する。
論文 参考訳（メタデータ） (2025-12-28T09:38:36Z) - DynaRend: Learning 3D Dynamics via Masked Future Rendering for Robotic Manipulation [52.136378691610524]
本稿では、3次元認識と動的インフォームド三面体特徴を学習する表現学習フレームワークDynaRendを紹介する。
マルチビューRGB-Dビデオデータに基づく事前トレーニングにより、DynaRendは空間幾何学、将来のダイナミクス、タスク意味を統合された三面体表現で共同でキャプチャする。
我々は、RLBenchとColosseumという2つの挑戦的なベンチマークでDynaRendを評価し、政策成功率、環境摂動の一般化、様々な操作タスクにおける実世界の適用性などを大幅に改善した。
論文 参考訳（メタデータ） (2025-10-28T10:17:11Z) - DyWA: Dynamics-adaptive World Action Model for Generalizable Non-prehensile Manipulation [16.863534382288705]
本研究では,未来の状態を共同で予測し,歴史的軌跡に基づく動的変動に適応して行動学習を促進する新しい枠組みを提案する。
DyWAは実世界の実験で平均68%の成功率を達成した。
論文 参考訳（メタデータ） (2025-03-21T02:29:52Z) - SMORE: Simultaneous Map and Object REconstruction [66.66729715211642]
本稿では,LiDARから大規模都市景観を動的に再現する手法を提案する。
我々は、世界が厳格に動く物体と背景に分解される動的なシーンの構成モデルを総合的に捉え、最適化する。
論文 参考訳（メタデータ） (2024-06-19T23:53:31Z) - Learning Latent Dynamic Robust Representations for World Models [9.806852421730165]
Visual Model-Based Reinforcement Learning (MBL)は、環境の基盤となるダイナミクスに関する知識をエージェントに伝えることを約束する。
ドリーマーのような時空エージェントは、観測空間に無関係なノイズが存在する場合、しばしば視覚的なピクセルベースの入力に苦しむ。
本研究では,世界モデルにおけるタスク固有の環境の内在的側面を捉えるために,アテンポ的マスキング戦略と潜在的再構築を併用して適用する。
論文 参考訳（メタデータ） (2024-05-10T06:28:42Z) - Transferring Foundation Models for Generalizable Robotic Manipulation [82.12754319808197]
インターネット規模の基盤モデルによって生成された言語推論セグメンテーションマスクを効果的に活用する新しいパラダイムを提案する。
提案手法は,オブジェクトのポーズを効果的かつ堅牢に知覚し,サンプル効率のよい一般化学習を可能にする。
デモは提出されたビデオで見ることができ、より包括的なデモはlink1またはlink2で見ることができます。
論文 参考訳（メタデータ） (2023-06-09T07:22:12Z) - Continual Visual Reinforcement Learning with A Life-Long World Model [55.05017177980985]
視覚力学モデリングのための新しい連続学習手法を提案する。
まず,タスク固有の潜在ダイナミクスを学習する長寿命世界モデルを紹介する。
そして,探索・保守的行動学習手法を用いて,過去の課題に対する価値推定問題に対処する。
論文 参考訳（メタデータ） (2023-03-12T05:08:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。