論文の概要: UniGarmentManip: A Unified Framework for Category-Level Garment Manipulation via Dense Visual Correspondence
- arxiv url: http://arxiv.org/abs/2405.06903v1
- Date: Sat, 11 May 2024 04:18:41 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-14 19:32:15.736147
- Title: UniGarmentManip: A Unified Framework for Category-Level Garment Manipulation via Dense Visual Correspondence
- Title（参考訳）: UniGarmentManip: 複雑な視覚対応によるカテゴリーレベルガーメント操作のための統一フレームワーク
- Authors: Ruihai Wu, Haoran Lu, Yiyan Wang, Yubo Wang, Hao Dong,
- Abstract要約: ガーメント操作は、将来のロボットがホームアシストタスクを達成するために不可欠である。
我々は、あるカテゴリーの衣服が類似した構造を持つ性質を活用している。
次に, カテゴリーレベルでの衣服間のトポロジカルな(点レベルの)視覚的対応を異なる変形で学習する。
- 参考スコア（独自算出の注目度）: 6.9061350009929185
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Garment manipulation (e.g., unfolding, folding and hanging clothes) is essential for future robots to accomplish home-assistant tasks, while highly challenging due to the diversity of garment configurations, geometries and deformations. Although able to manipulate similar shaped garments in a certain task, previous works mostly have to design different policies for different tasks, could not generalize to garments with diverse geometries, and often rely heavily on human-annotated data. In this paper, we leverage the property that, garments in a certain category have similar structures, and then learn the topological dense (point-level) visual correspondence among garments in the category level with different deformations in the self-supervised manner. The topological correspondence can be easily adapted to the functional correspondence to guide the manipulation policies for various downstream tasks, within only one or few-shot demonstrations. Experiments over garments in 3 different categories on 3 representative tasks in diverse scenarios, using one or two arms, taking one or more steps, inputting flat or messy garments, demonstrate the effectiveness of our proposed method. Project page: https://warshallrho.github.io/unigarmentmanip.
- Abstract（参考訳）: 衣服の操作(例えば、折りたたみ、折りたたみ、吊り下げ)は、将来のロボットにとってホームアシストの作業には不可欠であるが、衣服の構成、ジオメトリー、変形の多様性により非常に困難である。
類似した形状の衣服を特定のタスクで操作することはできたが、以前の作品では、主に異なるタスクのための異なるポリシーを設計し、多様なジオメトリーを持つ衣服に一般化することができず、人間に注釈を付けたデータに大きく依存することが多い。
本稿では,あるカテゴリーの衣服が類似した構造を持つという特性を活用し,また,カテゴリーレベルでの衣服間のトポロジカルな(ポイントレベルの)視覚的対応を,自己監督的な方法で異なる変形で学習する。
トポロジカル対応は、機能対応に容易に適応することができ、様々な下流タスクの操作ポリシーを1つまたは数個のデモでガイドすることができる。
提案手法の有効性を実証するため, 多様なシナリオにおいて, 3つの異なるカテゴリーの衣服に対して, 1つまたは2つのアームを用いて, 1つ以上のステップを踏んで, 平坦な衣服や乱雑な衣服を装着する実験を行った。
プロジェクトページ: https://warshallrho.github.io/unigarmentmanip.com
関連論文リスト
- General-purpose Clothes Manipulation with Semantic Keypoints [17.23980132793002]
衣服の操作は家庭用ロボットにとって重要なスキルである。
近年では、折りたたみ、平ら化、吊り下げなど、作業固有の衣服の操作が進歩している。
左スリーブ'のような特定の特徴を意味キーポイントとして識別することを提案する。
汎用的な CLothes mAnipulation with Semantic KeyPoints (CLASP) のための大規模言語モデル (LLM) を用いた階層型学習フレームワークを開発する。
論文 参考訳（メタデータ） (2024-08-15T13:49:14Z) - MMTryon: Multi-Modal Multi-Reference Control for High-Quality Fashion Generation [70.83668869857665]
MMTryonはマルチモーダルなマルチ参照VIrtual Try-ONフレームワークである。
テキスト命令と複数の衣料品画像を入力として、高品質な合成試行結果を生成することができる。
論文 参考訳（メタデータ） (2024-05-01T11:04:22Z) - ClothCombo: Modeling Inter-Cloth Interaction for Draping Multi-Layered
Clothes [3.8079353598215757]
人間の3次元モデルに任意の服の組み合わせを描画するパイプラインであるClathComboを提示する。
本手法は,GNNに基づくネットワークを用いて,異なる階層の衣服間の相互作用を効率的にモデル化する。
論文 参考訳（メタデータ） (2023-04-07T06:23:54Z) - HOOD: Hierarchical Graphs for Generalized Modelling of Clothing Dynamics [84.29846699151288]
本手法は体型によらず, ゆるく自由な衣服だけでなく, タイトフィットの衣服にも適用できる。
1つの重要な貢献として、厳密なストレッチモードを効率的に伝播する階層的なメッセージパッシング方式を提案する。
論文 参考訳（メタデータ） (2022-12-14T14:24:00Z) - DIG: Draping Implicit Garment over the Human Body [56.68349332089129]
暗黙の面を用いて衣服を表現するエンド・ツー・エンドの差別化可能なパイプラインを提案し, 形状を条件としたスキン場を学習し, 調音体モデルのパラメーターを推定する。
本手法により, 画像観察から身体・衣服のパラメータを復元できることがわかった。
論文 参考訳（メタデータ） (2022-09-22T08:13:59Z) - NeuralTailor: Reconstructing Sewing Pattern Structures from 3D Point
Clouds of Garments [7.331799534004012]
そこで本論文では,本質的な衣服形状推定を容易にするために,衣服縫いパターンを提案する。
可変基数を持つ集合回帰に対する点レベルの注意に基づく新しいアーキテクチャであるNeuralTailorを紹介する。
実験の結果,NeuralTailorは縫製パターンの再構築に成功し,トレーニング中に見つからないパターントポロジを持つ衣服タイプに一般化した。
論文 参考訳（メタデータ） (2022-01-31T08:33:49Z) - Arbitrary Virtual Try-On Network: Characteristics Preservation and
Trade-off between Body and Clothing [85.74977256940855]
本報告では,オールタイプの衣料品を対象としたArbitrary Virtual Try-On Network (AVTON)を提案する。
AVTONは、ターゲット服と参照者の特性を保存・交換することで、現実的な試行画像を合成することができる。
提案手法は,最先端の仮想試行法と比較して性能が向上する。
論文 参考訳（メタデータ） (2021-11-24T08:59:56Z) - SMPLicit: Topology-aware Generative Model for Clothed People [65.84665248796615]
SMPLicitは、身体のポーズ、形状、衣服の形状を共同で表現する新しい生成モデルである。
実験では,3dスキャンの装着や,服装者の画像の3d再構成にsmplicitが容易に利用できることを示す。
論文 参考訳（メタデータ） (2021-03-11T18:57:03Z) - Apparel-invariant Feature Learning for Apparel-changed Person
Re-identification [70.16040194572406]
ほとんどのパブリックなReIDデータセットは、人の外観がほとんど変化しない短時間のウィンドウで収集される。
ショッピングモールのような現実世界の応用では、同じ人の服装が変化し、異なる人が同様の服を着ることがある。
着替えなどの場合や、類似の服を着ている場合などにおいて、アパレル不変の人物表現を学ぶことは極めて重要である。
論文 参考訳（メタデータ） (2020-08-14T03:49:14Z) - GarmentGAN: Photo-realistic Adversarial Fashion Transfer [0.0]
GarmentGANは、生成的敵対的な方法で画像ベースの衣服転送を行う。
このフレームワークでは、購入前に仮想的に試行して、さまざまなアパレルタイプに一般化することができる。
論文 参考訳（メタデータ） (2020-03-04T05:01:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。