論文の概要: FabricFlowNet: Bimanual Cloth Manipulation with a Flow-based Policy
- arxiv url: http://arxiv.org/abs/2111.05623v1
- Date: Wed, 10 Nov 2021 10:29:38 GMT
- ステータス: 処理完了
- システム内更新日: 2021-11-11 19:02:30.685874
- Title: FabricFlowNet: Bimanual Cloth Manipulation with a Flow-based Policy
- Title（参考訳）: FabricFlowNet:フローベースのポリシーによる双方向の布操作
- Authors: Thomas Weng, Sujay Bajracharya, Yufei Wang, Khush Agrawal, David Held
- Abstract要約: 本稿では,FabricFlowNetを提案する。FabricFlowNetは,フローをインプットとアクション表現の両方として活用し,性能を向上させる布の操作ポリシーである。
本稿では,FabricFlowNetが画像入力を行う最先端のモデルフリーおよびモデルベース布の操作ポリシーを著しく上回っていることを示す。
本手法は,Tシャツや長方形の布など,一つの正方形の布でトレーニングする場合に一般化する。
- 参考スコア（独自算出の注目度）: 12.767693855775967
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We address the problem of goal-directed cloth manipulation, a challenging
task due to the deformability of cloth. Our insight is that optical flow, a
technique normally used for motion estimation in video, can also provide an
effective representation for corresponding cloth poses across observation and
goal images. We introduce FabricFlowNet (FFN), a cloth manipulation policy that
leverages flow as both an input and as an action representation to improve
performance. FabricFlowNet also elegantly switches between bimanual and
single-arm actions based on the desired goal. We show that FabricFlowNet
significantly outperforms state-of-the-art model-free and model-based cloth
manipulation policies that take image input. We also present real-world
experiments on a bimanual system, demonstrating effective sim-to-real transfer.
Finally, we show that our method generalizes when trained on a single square
cloth to other cloth shapes, such as T-shirts and rectangular cloths. Video and
other supplementary materials are available at:
https://sites.google.com/view/fabricflownet.
- Abstract（参考訳）: 布の変形性に起因した課題である,目標指向の布操作の問題に対処する。
ビデオの動作推定に通常使用される手法である光フローは、観察とゴール画像間で対応する布のポーズを効果的に表現することもできます。
fabricflownet(ffn)は、フローを入力とアクション表現の両方として活用し、パフォーマンスを向上させる布の操作ポリシである。
FabricFlowNetはまた、望ましい目標に基づいて、双方向とシングルアームのアクションをエレガントに切り替える。
fabricflownetは、画像入力を行う最先端のモデルフリーおよびモデルベース布地操作ポリシーを著しく上回っている。
また,実世界における実世界実験を行い,実世界への効率的なシミュレートを実証した。
最後に,1枚の正方形の布をtシャツや長方形の布など他の布形に訓練する場合に一般化することを示す。
ビデオや他の補足資料はhttps://sites.google.com/view/fabricflownet.com/で入手できる。
関連論文リスト
- Improving Diffusion Models for Authentic Virtual Try-on in the Wild [53.96244595495942]
本稿では,キュレートされた衣服を身に着けている人のイメージをレンダリングする,イメージベースの仮想試行について考察する。
衣服の忠実度を改善し,仮想試行画像を生成する新しい拡散モデルを提案する。
本稿では,一対の人着画像を用いたカスタマイズ手法を提案する。
論文 参考訳（メタデータ） (2024-03-08T08:12:18Z) - Pix2Gif: Motion-Guided Diffusion for GIF Generation [70.64240654310754]
画像からGIF(ビデオ)生成のための移動誘導拡散モデルPix2Gifを提案する。
本研究では,2種類のプロンプトに条件付きソース画像の特徴を空間的に変換する動き誘導型ワープモジュールを提案する。
モデルトレーニングの準備として、TGIFビデオキャプチャデータセットからコヒーレントな画像フレームを抽出し、精巧にデータをキュレートした。
論文 参考訳（メタデータ） (2024-03-07T16:18:28Z) - ActAnywhere: Subject-Aware Video Background Generation [62.57759679425924]
映画産業や視覚効果のコミュニティにとって,前景運動に合わせた映像背景の生成は重要な課題である。
この課題は、前景の主題の動きと外観と整合する背景と、芸術家の創造的な意図に合致する。
私たちは、伝統的に面倒な手作業を必要とするこのプロセスを自動化する生成モデルであるActAnywhereを紹介します。
論文 参考訳（メタデータ） (2024-01-19T17:16:16Z) - PlaNet-ClothPick: Effective Fabric Flattening Based on Latent Dynamic
Planning [0.0]
最近の研究は、観測結果のぼやけた予測によるもので、潜伏した空間を直接計画することは困難である。
ファブリックの輪郭における遷移関数の急激な不連続性は、正確な潜在動的モデルを学ぶのを困難にしている。
本モデルでは,動作推定の高速化と,この領域の最先端ロボットシステムよりもトランジショナルモデルパラメータの削減が要求される。
論文 参考訳（メタデータ） (2023-03-02T15:22:34Z) - Foldsformer: Learning Sequential Multi-Step Cloth Manipulation With
Space-Time Attention [4.2940878152791555]
我々はFoldformerという新しい多段階布の操作計画フレームワークを提案する。
我々は,Foldsformerを4つの逐次的多段階操作タスクに対して実験的に評価した。
我々のアプローチは、追加のトレーニングやドメインのランダム化なしに、シミュレーションから実世界へ移行することができる。
論文 参考訳（メタデータ） (2023-01-08T09:15:45Z) - Learning Fabric Manipulation in the Real World with Human Videos [10.608723220309678]
ファブリック操作は、巨大な状態空間と複雑な力学のため、ロボット工学における長年の課題である。
従来の手法のほとんどはシミュレーションに大きく依存しており、依然として変形可能な物体の大きなsim-to-realギャップによって制限されている。
有望な代替手段は、人間がタスクを実行するのを見ることから直接布地操作を学ぶことである。
論文 参考訳（メタデータ） (2022-11-05T07:09:15Z) - Style-Based Global Appearance Flow for Virtual Try-On [119.95115739956661]
本研究では, 新たなグローバルな外見フロー推定モデルを提案する。
仮想試行ベンチマークによる実験結果から,本手法が新たな最先端性能を実現することを示す。
論文 参考訳（メタデータ） (2022-04-03T10:58:04Z) - Can Action be Imitated? Learn to Reconstruct and Transfer Human Dynamics
from Videos [95.47859525676246]
メッシュベースのアクション模倣と呼ばれる新しいタスクを導入する。
このタスクの目標は、任意のターゲットのヒューマンメッシュが、ビデオデモで示された同じアクションを実行できるようにすることである。
高品質で詳細な人体メッシュは、我々のM-VAIを使って生成することができる。
論文 参考訳（メタデータ） (2021-07-25T08:42:56Z) - Animating Pictures with Eulerian Motion Fields [90.30598913855216]
静止画をリアルなアニメーションループ映像に変換する完全自動手法を示す。
流れ水や吹く煙など,連続流体運動の場面を対象とする。
本稿では,前向きと後向きの両方に特徴を流し,その結果をブレンドする新しいビデオループ手法を提案する。
論文 参考訳（メタデータ） (2020-11-30T18:59:06Z) - Learning Dense Visual Correspondences in Simulation to Smooth and Fold
Real Fabrics [35.84249614544505]
我々は、異なる構成の変形可能な織物の視覚的対応をシミュレーションで学習する。
学習した対応は、新しいファブリック構成で幾何学的に等価な動作を計算するのに使うことができる。
また、さまざまな色、大きさ、形状の織物についても、その結果が示唆されている。
論文 参考訳（メタデータ） (2020-03-28T04:06:20Z) - SieveNet: A Unified Framework for Robust Image-Based Virtual Try-On [14.198545992098309]
SieveNetは、堅牢なイメージベースの仮想トライオンのためのフレームワークである。
細粒度精度をモデル化する多段粗いワープネットワークを提案する。
また,テクスチャ伝達ネットワークを改善するために,試着型布条件セグメンテーションマスクを導入する。
論文 参考訳（メタデータ） (2020-01-17T12:33:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。