論文の概要: Diffusion Dynamics Models with Generative State Estimation for Cloth Manipulation
- arxiv url: http://arxiv.org/abs/2503.11999v1
- Date: Sat, 15 Mar 2025 05:34:26 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-03-18 14:56:57.656516
- Title: Diffusion Dynamics Models with Generative State Estimation for Cloth Manipulation
- Title(参考訳): 衣服操作のための生成状態推定を伴う拡散ダイナミクスモデル
- Authors: Tongxuan Tian, Haoyang Li, Bo Ai, Xiaodi Yuan, Zhiao Huang, Hao Su,
- Abstract要約: 本稿では,知覚と動的モデリングの両方に対する拡散に基づく生成手法を提案する。
標準布メッシュと動的モデリングを用いて, 疎RGB-D観測から全布状態の再構築を行った。
我々のフレームワークは実際のロボットシステム上で布の折り畳みをうまく実行します。
- 参考スコア(独自算出の注目度): 39.72581795761555
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Manipulating deformable objects like cloth is challenging due to their complex dynamics, near-infinite degrees of freedom, and frequent self-occlusions, which complicate state estimation and dynamics modeling. Prior work has struggled with robust cloth state estimation, while dynamics models, primarily based on Graph Neural Networks (GNNs), are limited by their locality. Inspired by recent advances in generative models, we hypothesize that these expressive models can effectively capture intricate cloth configurations and deformation patterns from data. Building on this insight, we propose a diffusion-based generative approach for both perception and dynamics modeling. Specifically, we formulate state estimation as reconstructing the full cloth state from sparse RGB-D observations conditioned on a canonical cloth mesh and dynamics modeling as predicting future states given the current state and robot actions. Leveraging a transformer-based diffusion model, our method achieves high-fidelity state reconstruction while reducing long-horizon dynamics prediction errors by an order of magnitude compared to GNN-based approaches. Integrated with model-predictive control (MPC), our framework successfully executes cloth folding on a real robotic system, demonstrating the potential of generative models for manipulation tasks with partial observability and complex dynamics.
- Abstract(参考訳): 布のような変形可能な物体を操作することは、その複雑な力学、ほぼ無限の自由度、そして状態推定と動的モデリングを複雑にする頻繁な自己閉塞により困難である。
従来の作業は堅牢な布の状態推定に苦しんだが、主にグラフニューラルネットワーク(GNN)をベースとした動的モデルは、その局所性によって制限されている。
生成モデルの最近の進歩にインスパイアされたこれらの表現モデルは、複雑な布の構造や変形パターンをデータから効果的に捉えることができるという仮説を立てた。
この知見に基づいて,知覚と動的モデリングの両方のための拡散に基づく生成手法を提案する。
具体的には、標準布メッシュ上に条件付された疎RGB-D観測と、現在の状態とロボット動作から将来の状態を予測するダイナミックスモデリングから、フル布の状態の再構築として状態推定を定式化する。
変圧器を用いた拡散モデルを用いて高忠実度状態再構成を実現するとともに,GNNによるアプローチと比較して,長距離動力学的予測誤差を桁違いに低減する。
モデル予測制御(MPC)と統合して,本フレームワークは実際のロボットシステム上で布の折り畳みをうまく実行し,部分的可観測性と複雑なダイナミクスを備えた操作タスクのための生成モデルの可能性を示す。
関連論文リスト
- Consistent Projection of Langevin Dynamics: Preserving Thermodynamics and Kinetics in Coarse-Grained Models [1.590657228638911]
この研究は、一般のアンダーダムランゲヴィン力学に対する射影に基づく粗粒の定式化を提示する。
さらに,ジェネレータ拡張動的モード分解(gEDMD)を用いてCG力学をモデル化する方法について述べる。
論文 参考訳(メタデータ) (2025-12-03T11:57:29Z) - Langevin Flows for Modeling Neural Latent Dynamics [81.81271685018284]
逐次変分自動エンコーダであるLangevinFlowを導入し、潜伏変数の時間的進化をアンダーダム化したLangevin方程式で制御する。
われわれのアプローチは、慣性、減衰、学習されたポテンシャル関数、力などの物理的事前を組み込んで、ニューラルネットワークにおける自律的および非自律的プロセスの両方を表現する。
本手法は,ロレンツ誘引器によって生成される合成神経集団に対する最先端のベースラインより優れる。
論文 参考訳(メタデータ) (2025-07-15T17:57:48Z) - Generalized Factor Neural Network Model for High-dimensional Regression [50.554377879576066]
複素・非線形・雑音に隠れた潜在低次元構造を持つ高次元データセットをモデル化する課題に取り組む。
我々のアプローチは、非パラメトリック回帰、因子モデル、高次元回帰のためのニューラルネットワークの概念のシームレスな統合を可能にする。
論文 参考訳(メタデータ) (2025-02-16T23:13:55Z) - FlowDAS: A Stochastic Interpolant-based Framework for Data Assimilation [15.64941169350615]
データ同化(DA)は、PDEが支配するシステムの状態を推定するために、動的モデルと観測を統合する。
FlowDASは、間補体を使用して状態遷移ダイナミクスを学習する生成DAフレームワークである。
本研究では,FlowDASがモデル駆動法,ニューラル演算子,スコアベースベースラインを超える精度と物理的妥当性を示す。
論文 参考訳(メタデータ) (2025-01-13T05:03:41Z) - Latent Space Energy-based Neural ODEs [73.01344439786524]
本稿では,連続時間列を表現するために設計された新しい深部力学モデルを提案する。
マルコフ連鎖モンテカルロの最大推定値を用いてモデルを訓練する。
振動系, ビデオ, 実世界の状態系列(MuJoCo)の実験結果から, 学習可能なエネルギーベース先行モデルの方が既存のモデルより優れていることが示された。
論文 参考訳(メタデータ) (2024-09-05T18:14:22Z) - Neural Residual Diffusion Models for Deep Scalable Vision Generation [17.931568104324985]
我々は,統一的かつ大規模に拡張可能なニューラルネットワーク残差拡散モデルフレームワーク(Neural-RDM)を提案する。
提案したニューラル残差モデルは、画像およびビデオ生成ベンチマークの最先端スコアを取得する。
論文 参考訳(メタデータ) (2024-06-19T04:57:18Z) - eXponential FAmily Dynamical Systems (XFADS): Large-scale nonlinear Gaussian state-space modeling [9.52474299688276]
非線形状態空間グラフィカルモデルのための低ランク構造化変分オートエンコーダフレームワークを提案する。
我々のアプローチは、より予測的な生成モデルを学ぶ能力を一貫して示している。
論文 参考訳(メタデータ) (2024-03-03T02:19:49Z) - Exploring Model Transferability through the Lens of Potential Energy [78.60851825944212]
トランスファーラーニングは、事前訓練されたディープラーニングモデルが広く利用可能であることから、コンピュータビジョンタスクにおいて重要になっている。
既存のトレーニング済みモデルの転送可能性の測定方法は、符号化された静的特徴とタスクラベルの間の統計的相関に依存する。
我々はこれらの課題に対処するために,PEDという物理に着想を得たアプローチを提案する。
論文 参考訳(メタデータ) (2023-08-29T07:15:57Z) - SEGNO: Generalizing Equivariant Graph Neural Networks with Physical
Inductive Biases [66.61789780666727]
等変性を維持しながら, 2階連続性をGNNに組み込む方法を示す。
また、SEGNOに関する理論的知見も提供し、隣接する状態間の一意の軌跡を学習できることを強調している。
我々のモデルは最先端のベースラインよりも大幅に改善されている。
論文 参考訳(メタデータ) (2023-08-25T07:15:58Z) - Neural Superstatistics for Bayesian Estimation of Dynamic Cognitive
Models [2.7391842773173334]
我々は,時間変化パラメータと時間不変パラメータの両方を復元できるベイズ推論のシミュレーションに基づくディープラーニング手法を開発した。
この結果から,ディープラーニングアプローチは時間的ダイナミクスを捉える上で極めて効率的であることが示唆された。
論文 参考訳(メタデータ) (2022-11-23T17:42:53Z) - End-to-End Learning of Hybrid Inverse Dynamics Models for Precise and
Compliant Impedance Control [16.88250694156719]
剛体力学モデルの物理的に一貫した慣性パラメータを同定できる新しいハイブリッドモデルの定式化を提案する。
7自由度マニピュレータ上での最先端の逆動力学モデルに対する我々のアプローチを比較した。
論文 参考訳(メタデータ) (2022-05-27T07:39:28Z) - Reduced Order Dynamical Models For Complex Dynamics in Manufacturing and
Natural Systems Using Machine Learning [0.0]
この研究は、機械学習(ML)アプローチを用いて製造と自然システムの低次モデルを開発する。
本手法はダイズ油からダイズ油までのプロセスプラントと湖沼システムで実証された。
以上の結果から, プロセスプラントの高精度線形ODEモデルを同定し, 基礎となる線形化学量測定機構と力学を駆動する質量収支を考察した。
論文 参考訳(メタデータ) (2021-10-15T18:44:27Z) - Closed-form Continuous-Depth Models [99.40335716948101]
連続深度ニューラルモデルは高度な数値微分方程式解法に依存している。
我々は,CfCネットワークと呼ばれる,記述が簡単で,少なくとも1桁高速な新しいモデル群を提示する。
論文 参考訳(メタデータ) (2021-06-25T22:08:51Z) - Sparse Flows: Pruning Continuous-depth Models [107.98191032466544]
生成モデルにおいて,プルーニングによりニューラルネットワークの一般化が向上することを示す。
また、プルーニングは、元のネットワークに比べて最大98%少ないパラメータで、精度を損なうことなく、最小かつ効率的なニューラルODE表現を見出すことを示した。
論文 参考訳(メタデータ) (2021-06-24T01:40:17Z) - Autoregressive Dynamics Models for Offline Policy Evaluation and
Optimization [60.73540999409032]
表現的自己回帰ダイナミクスモデルが次の状態の異なる次元を生成し、以前の次元で順次条件付きで報酬を得ることを示す。
また,リプレイバッファを充実させる手段として,自己回帰的ダイナミクスモデルがオフラインポリシー最適化に有用であることを示す。
論文 参考訳(メタデータ) (2021-04-28T16:48:44Z) - Action-Conditional Recurrent Kalman Networks For Forward and Inverse
Dynamics Learning [17.80270555749689]
ロボットのモデルベース制御において、正確な前方および逆ダイナミクスモデルの推定が重要な要素である。
本稿では,フォワードモデル学習のためのアーキテクチャと,逆モデル学習のためのアーキテクチャを提案する。
どちらのアーキテクチャも、予測性能の点で、既存のモデル学習フレームワークと分析モデルを大きく上回っている。
論文 参考訳(メタデータ) (2020-10-20T11:28:25Z) - S2RMs: Spatially Structured Recurrent Modules [105.0377129434636]
モジュール構造とテンポラル構造の両方を同時に活用できる動的構造を利用するための一歩を踏み出します。
我々のモデルは利用可能なビューの数に対して堅牢であり、追加のトレーニングなしで新しいタスクに一般化できる。
論文 参考訳(メタデータ) (2020-07-13T17:44:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。