論文の概要: ACID: Action-Conditional Implicit Visual Dynamics for Deformable Object
Manipulation
- arxiv url: http://arxiv.org/abs/2203.06856v1
- Date: Mon, 14 Mar 2022 04:56:55 GMT
- ステータス: 処理完了
- システム内更新日: 2022-03-15 14:18:01.733369
- Title: ACID: Action-Conditional Implicit Visual Dynamics for Deformable Object
Manipulation
- Title(参考訳): ACID: 変形可能なオブジェクト操作のためのアクション駆動型視覚ダイナミクス
- Authors: Bokui Shen, Zhenyu Jiang, Christopher Choy, Leonidas J. Guibas, Silvio
Savarese, Anima Anandkumar and Yuke Zhu
- Abstract要約: 本稿では,体積変形可能なオブジェクトに対する動作条件の視覚力学モデルであるACIDを紹介する。
ベンチマークには17,000以上のアクション・トラジェクトリー、6種類のぬいぐるみと78種類の変種が含まれている。
我々のモデルは、幾何学、対応、力学の予測において最高の性能を達成する。
- 参考スコア(独自算出の注目度): 135.10594078615952
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Manipulating volumetric deformable objects in the real world, like plush toys
and pizza dough, bring substantial challenges due to infinite shape variations,
non-rigid motions, and partial observability. We introduce ACID, an
action-conditional visual dynamics model for volumetric deformable objects
based on structured implicit neural representations. ACID integrates two new
techniques: implicit representations for action-conditional dynamics and
geodesics-based contrastive learning. To represent deformable dynamics from
partial RGB-D observations, we learn implicit representations of occupancy and
flow-based forward dynamics. To accurately identify state change under large
non-rigid deformations, we learn a correspondence embedding field through a
novel geodesics-based contrastive loss. To evaluate our approach, we develop a
simulation framework for manipulating complex deformable shapes in realistic
scenes and a benchmark containing over 17,000 action trajectories with six
types of plush toys and 78 variants. Our model achieves the best performance in
geometry, correspondence, and dynamics predictions over existing approaches.
The ACID dynamics models are successfully employed to goal-conditioned
deformable manipulation tasks, resulting in a 30% increase in task success rate
over the strongest baseline. For more results and information, please visit
https://b0ku1.github.io/acid-web/ .
- Abstract(参考訳): ぬいぐるみやピザ生地など、現実世界で体積変形可能な物体を操作することは、無限の形状の変化、非剛性運動、部分的可観測性などの問題を引き起こす。
構造化された暗黙的表現に基づく体積変形可能なオブジェクトに対する行動条件視覚ダイナミクスモデルであるacidを提案する。
acidは2つの新しいテクニックを統合している: アクション条件ダイナミクスのための暗黙表現と、測地学に基づくコントラスト学習である。
部分的なRGB-D観測から変形可能なダイナミクスを表現するために、占有率とフローベースフォワードダイナミクスの暗黙的な表現を学習する。
大きな非剛性変形下での状態変化を正確に識別するために,新しい測地線に基づくコントラスト損失を通じて対応埋め込み場を学習する。
本手法を評価するために,複雑な変形可能な形状を現実のシーンで操作するシミュレーションフレームワークと,6種類のぬいぐるみと78種類の変種を含む17,000以上のアクショントラジェクタを含むベンチマークを開発した。
我々のモデルは、既存のアプローチよりも幾何、対応、動的予測において最高の性能を達成する。
ACIDのダイナミクスモデルは、ゴール条件付き変形可能な操作タスクにうまく採用され、最強のベースラインよりもタスク成功率が30%向上する。
さらなる結果と情報については、https://b0ku1.github.io/acid-web/ をご覧ください。
関連論文リスト
- Scaling Up Dynamic Human-Scene Interaction Modeling [60.21472701182632]
TRUMANSは、現在利用可能な最も包括的なモーションキャプチャーHSIデータセットである。
人体全体の動きや部分レベルの物体の動きを複雑に捉えます。
本研究では,任意の長さのHSI配列を効率的に生成する拡散型自己回帰モデルを提案する。
論文 参考訳(メタデータ) (2024-03-13T15:45:04Z) - Learning visual-based deformable object rearrangement with local graph
neural networks [4.333220038316982]
本稿では,変形可能なオブジェクト状態とキーポイントの集合とその相互作用を効率的にモデル化できる新しい表現戦略を提案する。
また、変形可能な再配置ダイナミクスを共同でモデル化し、最適操作動作を推定するための光局所GNN学習を提案する。
本手法は, 各種変形可能なアレンジメントタスク(平均96.3%)において, シミュレーション実験における最先端手法よりもはるかに高い成功率を達成する。
論文 参考訳(メタデータ) (2023-10-16T11:42:54Z) - AGAR: Attention Graph-RNN for Adaptative Motion Prediction of Point
Clouds of Deformable Objects [7.414594429329531]
変形可能な3Dオブジェクトのポイントクラウド予測のための改良されたアーキテクチャを提案する。
具体的には、変形可能な形状を扱うために、点雲の空間構造を学習し、活用するグラフベースのアプローチを提案する。
提案した適応モジュールは各点の局所的および大域的な動きの合成を制御し、変形可能な3Dオブジェクトの複雑な動きをより効率的にモデル化することができる。
論文 参考訳(メタデータ) (2023-07-19T12:21:39Z) - Dynamic-Resolution Model Learning for Object Pile Manipulation [33.05246884209322]
本研究では,様々な抽象レベルで動的かつ適応的な表現を学習し,効率と効率の最適なトレードオフを実現する方法について検討する。
具体的には、環境の動的分解能粒子表現を構築し、グラフニューラルネットワーク(GNN)を用いた統一力学モデルを学ぶ。
本手法は, 粒状オブジェクトの収集, ソート, 再分配において, 最先端の固定解像度ベースラインよりも優れた性能が得られることを示す。
論文 参考訳(メタデータ) (2023-06-29T05:51:44Z) - DexDeform: Dexterous Deformable Object Manipulation with Human
Demonstrations and Differentiable Physics [97.75188532559952]
人間の実演から巧妙な操作スキルを抽象化する原理的枠組みを提案する。
次に、イマジネーションにおけるアクション抽象化を計画する上で、デモを使ってスキルモデルをトレーニングします。
提案手法の有効性を評価するために,6つの難解な変形可能なオブジェクト操作タスクの組を導入する。
論文 参考訳(メタデータ) (2023-03-27T17:59:49Z) - LatentHuman: Shape-and-Pose Disentangled Latent Representation for Human
Bodies [78.17425779503047]
本稿では,人体に対する新しい暗黙の表現法を提案する。
完全に微分可能で、非交叉形状で最適化可能であり、潜在空間を映し出す。
我々のモデルは、よく設計された損失を伴う、水密でない生データを直接訓練し、微調整することができる。
論文 参考訳(メタデータ) (2021-11-30T04:10:57Z) - Spatial-Temporal Alignment Network for Action Recognition and Detection [80.19235282200697]
本稿では,行動認識と検出を支援する視点不変の特徴表現を導入する方法について検討する。
本稿では,行動認識と行動検出のための幾何学的不変表現の学習を目的とした,空間時間アライメントネットワーク(STAN)を提案する。
我々は、AVA、Kinetics-400、AVA-Kinetics、Charades、Charades-EgoのデータセットでSTANモデルを広範囲にテストした。
論文 参考訳(メタデータ) (2020-12-04T06:23:40Z) - SoftSMPL: Data-driven Modeling of Nonlinear Soft-tissue Dynamics for
Parametric Humans [15.83525220631304]
我々は,身体形状と運動の関数として,現実的なソフトタスクのダイナミクスをモデル化する学習ベース手法であるSoftSMPLを提案する。
私たちのメソッドの中核には、非常に現実的なダイナミクスをモデル化できる3つの重要なコントリビューションがあります。
論文 参考訳(メタデータ) (2020-04-01T10:35:06Z) - Learning Predictive Representations for Deformable Objects Using
Contrastive Estimation [83.16948429592621]
視覚表現モデルと動的モデルの両方を協調的に最適化する新しい学習フレームワークを提案する。
我々は,標準モデルに基づく学習手法をロープや布の操作スイートで大幅に改善した。
論文 参考訳(メタデータ) (2020-03-11T17:55:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。