論文の概要: G3Flow: Generative 3D Semantic Flow for Pose-aware and Generalizable Object Manipulation

• arxiv url: http://arxiv.org/abs/2411.18369v1
• Date: Wed, 27 Nov 2024 14:17:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-28 15:27:33.309659
• Title: G3Flow: Generative 3D Semantic Flow for Pose-aware and Generalizable Object Manipulation
• Title（参考訳）: G3Flow: Pose-aware と Generalizable Object Manipulation のための生成型3次元セマンティックフロー
• Authors: Tianxing Chen, Yao Mu, Zhixuan Liang, Zanxin Chen, Shijia Peng, Qiangyu Chen, Mingkun Xu, Ruizhen Hu, Hongyuan Zhang, Xuelong Li, Ping Luo,
• Abstract要約: 本稿では,基礎モデルを活用した動的オブジェクト中心の3D表現であるリアルタイムセマンティックフローを構築する新しいフレームワークG3Flowを提案する。 提案手法は,デジタルツイン生成のための3次元生成モデル,セマンティック特徴抽出のための視覚基盤モデル,連続的なセマンティックフロー更新のためのロバストポーズ追跡を一意に組み合わせたものである。 本研究は,ロボット操作ポリシーのリアルタイムな動的意味的特徴理解におけるG3Flowの有効性を実証するものである。
• 参考スコア（独自算出の注目度）: 65.86819811007157
• License:
• Abstract: Recent advances in imitation learning for 3D robotic manipulation have shown promising results with diffusion-based policies. However, achieving human-level dexterity requires seamless integration of geometric precision and semantic understanding. We present G3Flow, a novel framework that constructs real-time semantic flow, a dynamic, object-centric 3D semantic representation by leveraging foundation models. Our approach uniquely combines 3D generative models for digital twin creation, vision foundation models for semantic feature extraction, and robust pose tracking for continuous semantic flow updates. This integration enables complete semantic understanding even under occlusions while eliminating manual annotation requirements. By incorporating semantic flow into diffusion policies, we demonstrate significant improvements in both terminal-constrained manipulation and cross-object generalization. Extensive experiments across five simulation tasks show that G3Flow consistently outperforms existing approaches, achieving up to 68.3% and 50.1% average success rates on terminal-constrained manipulation and cross-object generalization tasks respectively. Our results demonstrate the effectiveness of G3Flow in enhancing real-time dynamic semantic feature understanding for robotic manipulation policies.
• Abstract（参考訳）: 近年の3次元ロボット操作における模倣学習の進歩は,拡散型ポリシーによる有望な結果を示している。 しかしながら、人間レベルのデクスタリティを達成するには、幾何学的精度と意味的理解のシームレスな統合が必要である。 本稿では,基礎モデルを活用した動的オブジェクト中心の3Dセマンティック表現であるリアルタイムセマンティックフローを構築する新しいフレームワークG3Flowを提案する。 提案手法は,デジタルツイン生成のための3次元生成モデル,セマンティック特徴抽出のための視覚基盤モデル,連続的なセマンティックフロー更新のためのロバストポーズ追跡を一意に組み合わせたものである。 この統合により、手動のアノテーション要件を排除しながら、隠蔽下でも完全な意味理解が可能になる。 セマンティックフローを拡散ポリシーに組み込むことにより,終端拘束操作とクロスオブジェクト一般化の双方において,大幅な改善が示された。 5つのシミュレーションタスクにわたる大規模な実験により、G3Flowは既存のアプローチを一貫して上回り、端末制約操作における平均成功率は68.3%と50.1%に達する。 本研究は,ロボット操作ポリシーのリアルタイムな動的意味的特徴理解におけるG3Flowの有効性を実証するものである。

関連論文リスト

• ManiTrend: Bridging Future Generation and Action Prediction with 3D Flow for Robotic Manipulation [11.233768932957771]
  3次元流れは、シーン内の3次元粒子の動きの傾向を表す。 ManiTrendは3D粒子、視覚観察、操作動作のダイナミクスをモデル化する統合フレームワークである。 提案手法は最先端の性能を高い効率で達成する。
  論文  参考訳（メタデータ） (2025-02-14T09:13:57Z)
• Bootstraping Clustering of Gaussians for View-consistent 3D Scene Understanding [59.51535163599723]
  FreeGSは、教師なしセマンティック組み込み3DGSフレームワークで、2Dラベルを必要とせずに、ビュー一貫性のある3Dシーン理解を実現する。 我々は、FreeGSが複雑なデータ前処理作業の負荷を回避しつつ、最先端のメソッドと互換性があることを示す。
  論文  参考訳（メタデータ） (2024-11-29T08:52:32Z)
• ALOcc: Adaptive Lifting-based 3D Semantic Occupancy and Cost Volume-based Flow Prediction [89.89610257714006]
  既存の手法は、これらのタスクの要求に応えるために高い精度を優先する。 本稿では,3次元セマンティック占有率予測とフロー推定のための一連の改善点を紹介する。 私たちの純粋な時間的アーキテクチャフレームワークであるALOccは、速度と精度の最適なトレードオフを実現しています。
  論文  参考訳（メタデータ） (2024-11-12T11:32:56Z)
• Enhancing Generalizability of Representation Learning for Data-Efficient 3D Scene Understanding [50.448520056844885]
  本研究では,実世界のパターンを持つ多様な合成シーンを生成可能なベイズネットワークを提案する。 一連の実験は、既存の最先端の事前学習手法に比べて、我々の手法が一貫した優位性を示す。
  論文  参考訳（メタデータ） (2024-06-17T07:43:53Z)
• CLIP-GS: CLIP-Informed Gaussian Splatting for Real-time and View-consistent 3D Semantic Understanding [32.76277160013881]
  コントラスト言語画像事前学習(CLIP)のセマンティクスをガウススプラッティングに統合するCLIP-GSを提案する。 SACはオブジェクト内の固有の統一意味論を利用して、3Dガウスのコンパクトで効果的な意味表現を学ぶ。 また,3次元モデルから得られた多視点一貫性を利用して,3次元コヒーレント自己学習(3DCS)戦略を導入する。
  論文  参考訳（メタデータ） (2024-04-22T15:01:32Z)
• HandBooster: Boosting 3D Hand-Mesh Reconstruction by Conditional Synthesis and Sampling of Hand-Object Interactions [68.28684509445529]
  HandBoosterは、データの多様性を向上し、3Dハンド・ミーシュ・リコンストラクションのパフォーマンスを向上する新しいアプローチである。 まず,多様な手やポーズ,ビュー,背景を持つリアルな画像を生成するために,拡散モデルを誘導する多目的コンテンツ認識条件を構築した。 そこで我々は,我々の類似性を考慮した分布サンプリング戦略に基づく新しい条件作成手法を設計し,トレーニングセットとは異なる,斬新で現実的なインタラクションのポーズを意図的に見つける。
  論文  参考訳（メタデータ） (2024-03-27T13:56:08Z)
• Large Generative Model Assisted 3D Semantic Communication [51.17527319441436]
  本稿では,GAM-3DSC(Generative AI Model Assisted 3D SC)システムを提案する。 まず,ユーザ要求に基づいて3次元シナリオからキーセマンティックなセマンティックなセマンティックなセマンティックなセマンティックなセマンティックなセマンティックなセマンティックなセマンティックなセマンティックなセマンティックなセマンティックなセマンティックなセマンティックなセマンティックなセマンティックなセマンティックなセマンティックなセマンティックなセマンティックなセマンティックなセマンティックなセマンティックなセマンティックなセマンティックなセマンティクスを抽出する。 次に、これらの多視点画像を符号化するための適応意味圧縮モデル(ASCM)を提案する。 最後に、物理チャネルのチャネル状態情報(CSI)を推定・精査するために、条件付き生成逆数ネットワークと拡散モデル支援チャネル推定(GDCE)を設計する。
  論文  参考訳（メタデータ） (2024-03-09T03:33:07Z)
• Spice-E : Structural Priors in 3D Diffusion using Cross-Entity Attention [9.52027244702166]
  Spice-Eは3D拡散モデルに構造ガイダンスを追加するニューラルネットワークである。 提案手法は,3次元スタイリゼーション,意味的形状の編集,テキスト条件の抽象化-to-3Dなど,様々なアプリケーションをサポートする。
  論文  参考訳（メタデータ） (2023-11-29T17:36:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。