論文の概要: PIN-WM: Learning Physics-INformed World Models for Non-Prehensile Manipulation
- arxiv url: http://arxiv.org/abs/2504.16693v1
- Date: Wed, 23 Apr 2025 13:27:07 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-05-02 16:15:22.956221
- Title: PIN-WM: Learning Physics-INformed World Models for Non-Prehensile Manipulation
- Title（参考訳）: PIN-WM:非定常マニピュレーションのための物理インフォームドワールドモデル学習
- Authors: Wenxuan Li, Hang Zhao, Zhiyuan Yu, Yu Du, Qin Zou, Ruizhen Hu, Kai Xu,
- Abstract要約: 非包括的操作に関わる3次元剛体力学の世界モデルを学ぶ。
PIN-WMは、わずかなショットとタスクに依存しない物理的相互作用軌跡でのみ学習することができる。
学習したPIN-WMを、物理を意識したランダム化によって、デジタルクーシンのグループに変換する。
- 参考スコア（独自算出の注目度）: 44.44501164377334
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: While non-prehensile manipulation (e.g., controlled pushing/poking) constitutes a foundational robotic skill, its learning remains challenging due to the high sensitivity to complex physical interactions involving friction and restitution. To achieve robust policy learning and generalization, we opt to learn a world model of the 3D rigid body dynamics involved in non-prehensile manipulations and use it for model-based reinforcement learning. We propose PIN-WM, a Physics-INformed World Model that enables efficient end-to-end identification of a 3D rigid body dynamical system from visual observations. Adopting differentiable physics simulation, PIN-WM can be learned with only few-shot and task-agnostic physical interaction trajectories. Further, PIN-WM is learned with observational loss induced by Gaussian Splatting without needing state estimation. To bridge Sim2Real gaps, we turn the learned PIN-WM into a group of Digital Cousins via physics-aware randomizations which perturb physics and rendering parameters to generate diverse and meaningful variations of the PIN-WM. Extensive evaluations on both simulation and real-world tests demonstrate that PIN-WM, enhanced with physics-aware digital cousins, facilitates learning robust non-prehensile manipulation skills with Sim2Real transfer, surpassing the Real2Sim2Real state-of-the-arts.
- Abstract（参考訳）: 非包括的操作(例えば、制御されたプッシュ/ポーキング)は基礎となるロボット技術を構成するが、摩擦と再構成を含む複雑な物理的相互作用に対する高い感度のため、その学習は依然として困難である。
頑健な政策学習と一般化を実現するために,非包括的操作に関わる3次元剛体力学の世界モデルを学習し,それをモデルベース強化学習に用いることを選んだ。
PIN-WMは3次元剛体力学系を視覚的観察から効率的にエンドツーエンドに同定できる物理インフォームド・ワールド・モデルである。
微分可能な物理シミュレーションを採用することで、PIN-WMはわずかなショットとタスクに依存しない物理的相互作用軌跡だけで学習することができる。
さらに、PIN-WMは状態推定を必要とせず、ガウス散乱によって誘導される観測損失で学習される。
Sim2Realギャップを埋めるために、学習したPIN-WMを、物理とレンダリングパラメータを摂動する物理を意識したランダム化によって、PIN-WMの多様かつ有意義なバリエーションを生成するDigital Cousinsのグループに変換する。
シミュレーションと実世界のテストの両方において、PIN-WMは物理学を意識したデジタル従兄弟によって強化され、Sim2Real転送による堅牢な非包括的操作スキルの習得を促進し、Real2Sim2Realの最先端技術を上回ることを実証している。
関連論文リスト
- Learning Transferable Friction Models and LuGre Identification via Physics Informed Neural Networks [4.432363122731454]
物理インフォームド摩擦モデルと学習可能なコンポーネントを統合するための摩擦推定フレームワークを提案する。
われわれのアプローチは物理的な一貫性を強制するが、現実の複雑さに適応する柔軟性は維持する。
我々のアプローチは、学習したモデルを訓練されていないシステムに転送できるようにする。
論文 参考訳（メタデータ） (2025-04-16T19:15:48Z) - Towards Physically Interpretable World Models: Meaningful Weakly Supervised Representations for Visual Trajectory Prediction [0.1534667887016089]
ディープラーニングモデルは、複雑なシステムの認識、予測、制御にますます使われています。
これらのモデルに物理的な知識を組み込むことは、現実的で一貫性のある出力を達成するために不可欠である。
本研究では,学習した潜在表現を実世界の物理量と整合させる新しいアーキテクチャである物理解釈可能世界モデルを提案する。
論文 参考訳（メタデータ） (2024-12-17T12:51:24Z) - Differentiable Physics-based System Identification for Robotic Manipulation of Elastoplastic Materials [43.99845081513279]
本研究は, ロボットアームが簡単な操作動作と不完全な3次元点雲を用いて, 弾塑性材料の物理パラメータと環境を推測することのできる, 微分可能物理に基づくシステム同定(DPSI)フレームワークを提案する。
1つの現実世界の相互作用だけで、推定されたパラメータは、目に見えない、長い水平運動によって引き起こされる視覚的および物理的に現実的な振る舞いを正確にシミュレートすることができる。
論文 参考訳（メタデータ） (2024-11-01T13:04:25Z) - RoboPack: Learning Tactile-Informed Dynamics Models for Dense Packing [38.97168020979433]
本稿では, 視覚と触覚を組み合わせ, 触覚インフォームド・ダイナミックスモデルを学習することでロボット操作を実現するアプローチを提案する。
提案するフレームワークであるRoboPackは、オブジェクト状態を推定するために、リカレントグラフニューラルネットワークを使用している。
我々は,非包括的操作と密包装作業に対するソフトバブル触覚センサを備えた実ロボットへのアプローチを実証する。
論文 参考訳（メタデータ） (2024-07-01T16:08:37Z) - Latent Intuitive Physics: Learning to Transfer Hidden Physics from A 3D Video [58.043569985784806]
本稿では,物理シミュレーションのための伝達学習フレームワークである潜在直観物理学を紹介する。
単一の3Dビデオから流体の隠れた性質を推測し、新しいシーンで観察された流体をシミュレートすることができる。
我々は,本モデルの有効性を3つの方法で検証する: (i) 学習されたビジュアルワールド物理を用いた新しいシーンシミュレーション, (ii) 観測された流体力学の将来予測, (iii) 教師付き粒子シミュレーション。
論文 参考訳（メタデータ） (2024-06-18T16:37:44Z) - PhyRecon: Physically Plausible Neural Scene Reconstruction [81.73129450090684]
PHYRECONは、微分可能なレンダリングと微分可能な物理シミュレーションの両方を利用して暗黙的な表面表現を学習する最初のアプローチである。
この設計の中心は、SDFに基づく暗黙の表現と明示的な表面点の間の効率的な変換である。
また,物理シミュレータの安定性も向上し,全データセットに対して少なくとも40%の改善が得られた。
論文 参考訳（メタデータ） (2024-04-25T15:06:58Z) - Physics-Enhanced Multi-fidelity Learning for Optical Surface Imprint [1.0878040851638]
本稿では,MFNN(Multi-fidelity Neural Network)を用いた逆問題解法を提案する。
我々は、純粋なシミュレーションデータを通してNNモデルを構築し、次にトランスファーラーニングを介してsim-to-realギャップをブリッジする。
実際の実験データを収集することの難しさを考慮し、未知の物理を掘り出し、既知の物理を転写学習フレームワークに埋め込む。
論文 参考訳（メタデータ） (2023-11-17T01:55:15Z) - Learning Physical Dynamics with Subequivariant Graph Neural Networks [99.41677381754678]
グラフニューラルネットワーク(GNN)は、物理力学を学習するための一般的なツールとなっている。
物理法則は、モデル一般化に必須な帰納バイアスである対称性に従属する。
本モデルは,RigidFall上でのPhysylonと2倍低ロールアウトMSEの8つのシナリオにおいて,平均3%以上の接触予測精度の向上を実現している。
論文 参考訳（メタデータ） (2022-10-13T10:00:30Z) - Elastic Tactile Simulation Towards Tactile-Visual Perception [58.44106915440858]
触覚シミュレーションのための粒子の弾性相互作用(EIP)を提案する。
EIPは、触覚センサを協調粒子群としてモデル化し、接触時の粒子の変形を制御するために弾性特性を適用した。
さらに,触覚データと視覚画像間の情報融合を可能にする触覚知覚ネットワークを提案する。
論文 参考訳（メタデータ） (2021-08-11T03:49:59Z) - Physics-Integrated Variational Autoencoders for Robust and Interpretable
Generative Modeling [86.9726984929758]
我々は、不完全物理モデルの深部生成モデルへの統合に焦点を当てる。
本稿では,潜在空間の一部が物理によって基底づけられたVAEアーキテクチャを提案する。
合成および実世界のデータセットの集合に対して生成的性能改善を示す。
論文 参考訳（メタデータ） (2021-02-25T20:28:52Z) - ThreeDWorld: A Platform for Interactive Multi-Modal Physical Simulation [75.0278287071591]
ThreeDWorld (TDW) はインタラクティブなマルチモーダル物理シミュレーションのためのプラットフォームである。
TDWは、リッチな3D環境において、高忠実な感覚データのシミュレーションと、移動体エージェントとオブジェクト間の物理的相互作用を可能にする。
我々は、コンピュータビジョン、機械学習、認知科学における新たな研究方向において、TDWによって実現された初期実験を提示する。
論文 参考訳（メタデータ） (2020-07-09T17:33:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。