論文の概要: CLASP: General-Purpose Clothes Manipulation with Semantic Keypoints
- arxiv url: http://arxiv.org/abs/2507.19983v1
- Date: Sat, 26 Jul 2025 15:43:25 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-07-29 16:23:56.57473
- Title: CLASP: General-Purpose Clothes Manipulation with Semantic Keypoints
- Title（参考訳）: CLASP: 意味的キーポイントによる汎用的な衣服操作
- Authors: Yuhong Deng, Chao Tang, Cunjun Yu, Linfeng Li, David Hsu,
- Abstract要約: 本稿では,CLothes mAnipulation with Semantic KeyPoints (CLASP)について述べる。
CLASPの中核となる考え方はセマンティック・キーポイント(例えば ''left sleeve'' や ''right shoulder' など)であり、知覚と行動の両方に相応しい空間意味表現である。
CLASPはセマンティックキーポイントを使用して、ハイレベルなタスク計画と低レベルなアクション実行をブリッジする。
- 参考スコア（独自算出の注目度）: 21.09454149734247
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Clothes manipulation, such as folding or hanging, is a critical capability for home service robots. Despite recent advances, most existing methods remain limited to specific tasks and clothes types, due to the complex, high-dimensional geometry of clothes. This paper presents CLothes mAnipulation with Semantic keyPoints (CLASP), which aims at general-purpose clothes manipulation over different clothes types, T-shirts, shorts, skirts, long dresses, ... , as well as different tasks, folding, flattening, hanging, ... . The core idea of CLASP is semantic keypoints -- e.g., ''left sleeve'', ''right shoulder'', etc. -- a sparse spatial-semantic representation that is salient for both perception and action. Semantic keypoints of clothes can be reliably extracted from RGB-D images and provide an effective intermediate representation of clothes manipulation policies. CLASP uses semantic keypoints to bridge high-level task planning and low-level action execution. At the high level, it exploits vision language models (VLMs) to predict task plans over the semantic keypoints. At the low level, it executes the plans with the help of a simple pre-built manipulation skill library. Extensive simulation experiments show that CLASP outperforms state-of-the-art baseline methods on multiple tasks across diverse clothes types, demonstrating strong performance and generalization. Further experiments with a Franka dual-arm system on four distinct tasks -- folding, flattening, hanging, and placing -- confirm CLASP's performance on a real robot.
- Abstract（参考訳）: 折り畳みや吊り下げなどの衣服操作は、ホームサービスロボットにとって重要な機能である。
近年の進歩にもかかわらず、ほとんどの既存の手法は、複雑な高次元の衣服形状のため、特定の作業や衣服の種類に限られている。
本稿では,CLothes mAnipulation with Semantic KeyPoints (CLASP)について述べる。これは,洋服の種類,Tシャツ,ショートパンツ,スカート,ロングドレス,...,その他さまざまな作業,折り畳み,平ら化,吊りなど,汎用的な衣服操作を目的としている。
CLASPの中核となる考え方はセマンティックキーポイント(eg , ''left sleeve'', ''right shoulder'' など)であり、知覚と行動の両方に相応しい空間意味表現である。
衣服のセマンティックキーポイントをRGB-D画像から確実に抽出することができ、衣服操作ポリシーの効果的な中間表現を提供する。
CLASPはセマンティックキーポイントを使用して、ハイレベルなタスク計画と低レベルなアクション実行をブリッジする。
高いレベルでは、視覚言語モデル(VLM)を利用して、セマンティックキーポイント上でのタスク計画を予測する。
低レベルでは、単純なプリビルドされた操作スキルライブラリの助けを借りて、プランを実行する。
大規模なシミュレーション実験により、CLASPはさまざまな衣服タイプにわたる複数のタスクにおける最先端のベースラインメソッドよりも優れており、高い性能と一般化が示されている。
さらに、Frankaデュアルアームシステムによる4つの異なるタスク(折り畳み、平ら化、吊り下げ、配置)に関するさらなる実験により、CLASPの実際のロボットの性能が確認された。
関連論文リスト
- DexGarmentLab: Dexterous Garment Manipulation Environment with Generalizable Policy [74.9519138296936]
衣料品の操作は、衣服カテゴリー、ジオメトリー、変形の多様性のために重要な課題である。
DexGarmentLabは,デキスタラスな(特にバイマニュアルな)衣料品の操作に特化して設計された最初の環境である。
15のタスクシナリオのための大規模な高品質な3Dアセットを備え、服のモデリングに適したシミュレーション技術を洗練し、シム・トゥ・リアルのギャップを減らす。
論文 参考訳（メタデータ） (2025-05-16T09:26:59Z) - Keypoint Abstraction using Large Models for Object-Relative Imitation Learning [78.92043196054071]
多様なタスクや環境にまたがる新しいオブジェクト構成やインスタンスへの一般化は、ロボット工学において重要な課題である。
キーポイントに基づく表現は、本質的なオブジェクトキャプチャ機能のための簡潔な表現として有効であることが証明されている。
本稿では,タスク関連およびクロスインスタンス整合性キーポイントの自動生成に,大規模な事前学習型視覚言語モデルを活用するフレームワークであるKALMを提案する。
論文 参考訳（メタデータ） (2024-10-30T17:37:31Z) - SKT: Integrating State-Aware Keypoint Trajectories with Vision-Language Models for Robotic Garment Manipulation [82.61572106180705]
本稿では、視覚言語モデル(VLM)を用いて、様々な衣服カテゴリーにおけるキーポイント予測を改善する統一的なアプローチを提案する。
我々は、高度なシミュレーション技術を用いて大規模な合成データセットを作成し、大規模な実世界のデータを必要としないスケーラブルなトレーニングを可能にした。
実験結果から, VLM法はキーポイント検出精度とタスク成功率を大幅に向上させることが示された。
論文 参考訳（メタデータ） (2024-09-26T17:26:16Z) - General-purpose Clothes Manipulation with Semantic Keypoints [17.23980132793002]
本稿では,CLothes mAnipulation with Semantic KeyPoints (CLASP) について述べる。
CLASPの鍵となる考え方はセマンティック・キーポイント(例えば「右肩」、「左袖」など)であり、知覚と行動の両方に相応しい空間意味表現である。
Kinovaのデュアルアームシステムによる4つの異なるタスク(折り畳み、平ら化、吊り下げ、配置)に関する実験は、CLASPのパフォーマンスを本物のロボットで確認する。
論文 参考訳（メタデータ） (2024-08-15T13:49:14Z) - What Makes Pre-Trained Visual Representations Successful for Robust
Manipulation? [57.92924256181857]
照明やシーンテクスチャの微妙な変化の下では,操作や制御作業のために設計された視覚表現が必ずしも一般化されないことがわかった。
創発的セグメンテーション能力は,ViTモデルにおける分布外一般化の強い予測因子であることがわかった。
論文 参考訳（メタデータ） (2023-11-03T18:09:08Z) - KITE: Keypoint-Conditioned Policies for Semantic Manipulation [40.63568980167196]
Keypoints + Instructions to Execution (KITE) はセマンティック操作のための2段階のフレームワークである。
まず、2D画像キーポイントを通して視覚シーンに入力命令を接地する。
KITEは学習したキーポイント条件のスキルを実行し、命令を実行する。
論文 参考訳（メタデータ） (2023-06-29T00:12:21Z) - Instruct2Act: Mapping Multi-modality Instructions to Robotic Actions
with Large Language Model [63.66204449776262]
Instruct2Actは、ロボット操作タスクのシーケンシャルアクションにマルチモーダル命令をマッピングするフレームワークである。
我々のアプローチは、様々な命令のモダリティや入力タイプを調節する上で、調整可能で柔軟なものである。
我々のゼロショット法は、いくつかのタスクにおいて、最先端の学習ベースのポリシーよりも優れていた。
論文 参考訳（メタデータ） (2023-05-18T17:59:49Z) - Arbitrary Virtual Try-On Network: Characteristics Preservation and
Trade-off between Body and Clothing [85.74977256940855]
本報告では,オールタイプの衣料品を対象としたArbitrary Virtual Try-On Network (AVTON)を提案する。
AVTONは、ターゲット服と参照者の特性を保存・交換することで、現実的な試行画像を合成することができる。
提案手法は,最先端の仮想試行法と比較して性能が向上する。
論文 参考訳（メタデータ） (2021-11-24T08:59:56Z) - CLIPort: What and Where Pathways for Robotic Manipulation [35.505615833638124]
広義の意味理解とトランスポーターの空間的精度を組み合わせた言語条件の模倣学習エージェントであるCLIPortを提案する。
我々のフレームワークは、オブジェクトのポーズ、インスタンスのセグメンテーション、メモリ、シンボル状態、構文構造の明示的な表現なしに、様々な言語仕様のテーブルトップタスクを解くことができる。
論文 参考訳（メタデータ） (2021-09-24T17:44:28Z) - S3K: Self-Supervised Semantic Keypoints for Robotic Manipulation via
Multi-View Consistency [11.357804868755155]
視覚的表現として意味的な3Dキーポイントを提唱し,半教師あり学習目標を示す。
局所的なテクスチャベースのアプローチとは異なり、我々のモデルは広い領域からコンテキスト情報を統合する。
意味的キーポイントを特定することで、人間の理解可能な行動の高レベルなスクリプティングが可能になることを実証する。
論文 参考訳（メタデータ） (2020-09-30T14:44:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。