論文の概要: Learning 3D Part Assembly from a Single Image
- arxiv url: http://arxiv.org/abs/2003.09754v2
- Date: Tue, 24 Mar 2020 17:44:20 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-21 13:15:27.475795
- Title: Learning 3D Part Assembly from a Single Image
- Title(参考訳): 単一画像から3次元部品組立を学習する
- Authors: Yichen Li and Kaichun Mo and Lin Shao and Minhyuk Sung and Leonidas
Guibas
- Abstract要約: そこで本研究では,新たな問題として,学習ベースのソリューションとともに,シングルイメージの3Dパーツアセンブリを導入する。
本報告では, 家具組立において, 部品の完全な集合と, 組み立て物全体を描いた一枚の画像から, 家具組立の設定について検討する。
- 参考スコア(独自算出の注目度): 20.175502864488493
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Autonomous assembly is a crucial capability for robots in many applications.
For this task, several problems such as obstacle avoidance, motion planning,
and actuator control have been extensively studied in robotics. However, when
it comes to task specification, the space of possibilities remains
underexplored. Towards this end, we introduce a novel problem,
single-image-guided 3D part assembly, along with a learningbased solution. We
study this problem in the setting of furniture assembly from a given complete
set of parts and a single image depicting the entire assembled object. Multiple
challenges exist in this setting, including handling ambiguity among parts
(e.g., slats in a chair back and leg stretchers) and 3D pose prediction for
parts and part subassemblies, whether visible or occluded. We address these
issues by proposing a two-module pipeline that leverages strong 2D-3D
correspondences and assembly-oriented graph message-passing to infer part
relationships. In experiments with a PartNet-based synthetic benchmark, we
demonstrate the effectiveness of our framework as compared with three baseline
approaches.
- Abstract(参考訳): 自律的な組み立ては多くのアプリケーションにおいてロボットにとって重要な能力である。
この課題に対して,ロボット工学において障害物回避,運動計画,アクチュエータ制御などの課題が広く研究されている。
しかし、タスク仕様に関しては、可能性の空間は未検討のままです。
この目的のために,学習ベースのソリューションとともに,単一画像による3次元部品組み立てという新たな問題を導入する。
本報告では, 家具組立において, 部品の完全な集合と, 組み立て物全体を描いた一枚の画像から, 家具組立の設定について検討する。
この設定では、部品間のあいまいさ(例えば、椅子の背と脚のストレッチャーのスラット)の取り扱いや、可視性の有無に関わらず部品と部分のサブアセンブリの3dポーズ予測など、複数の課題が存在する。
本稿では,強い2D-3D対応と組立指向グラフメッセージパッシングを利用して部分関係を推定する2モジュールパイプラインを提案する。
partnetベースの合成ベンチマークを用いた実験では,3つのベースラインアプローチと比較して,フレームワークの有効性を実証する。
関連論文リスト
- Leveraging SE(3) Equivariance for Learning 3D Geometric Shape Assembly [7.4109730384078025]
形状アセンブリは、部品(または断片)を完全なオブジェクトに再組み立てすることを目的としている。
部分表現の形状ポーズの歪みは幾何学的形状の組立に有用である。
本稿では,SE(3) の等式をこのような形状の非絡み合いに利用することを提案する。
論文 参考訳(メタデータ) (2023-09-13T09:00:45Z) - Three Ways to Improve Verbo-visual Fusion for Dense 3D Visual Grounding [79.8456640972935]
3Dビジュアルグラウンドティング(3D visual grounding)は、自然言語で記述された3Dシーンでオブジェクトをローカライズするタスクである。
本稿では,3つのスタンドアロンモジュールを特徴とする高密度3次元グラウンドネットワークを提案する。
まず,文間関係を曖昧にすることを目的としたボトムアップ注意融合モジュールを導入し,次に,潜時空間の分離を誘導する対照的な学習手法を構築し,学習されたグローバルカメラトークンを用いて視点依存発話を解消する。
論文 参考訳(メタデータ) (2023-09-08T19:27:01Z) - Score-PA: Score-based 3D Part Assembly [6.25037277839849]
Score-based 3D Part Assembly framework (Score-PA) を導入する。
スコアベースのメソッドは、推論段階では通常時間がかかります。
本稿では,FPC(Fast Predictor-Corrector Sampler)と呼ばれる新しいアルゴリズムを導入し,サンプリングプロセスを高速化する。
論文 参考訳(メタデータ) (2023-09-08T09:10:03Z) - Language-free Compositional Action Generation via Decoupling Refinement [67.50452446686725]
本稿では,言語補助に頼らずに作曲行動を生成する新しい枠組みを提案する。
このアプローチは,アクション結合,条件付きアクション生成,デカップリングリファインメントという3つの主要コンポーネントから構成される。
論文 参考訳(メタデータ) (2023-07-07T12:00:38Z) - Learning 6-DoF Fine-grained Grasp Detection Based on Part Affordance
Grounding [20.308345257733894]
本稿では,言語指導型SHape grAsPingデータを用いた3D学習手法を提案する。
我々は、新しい2段階きめ細粒度ロボット把握ネットワーク(PIONEER)を設計する。
提案手法は, 参照識別, 割当推論, 3次元部分認識の把握において, 良好な性能と効率が得られることを示す。
論文 参考訳(メタデータ) (2023-01-27T07:00:54Z) - 3D Part Assembly Generation with Instance Encoded Transformer [22.330218525999857]
本稿では,部品間の幾何的および関係的な推論を伴い,部品の更新を反復的に行う多層トランスフォーマーベースのフレームワークを提案する。
フレームワークをプロセス内部分アセンブリと呼ばれる新しいタスクに拡張します。
提案手法は、パブリックなPartNetデータセット上の複数のメトリクスにおいて、現在の最先端よりも10%以上改善されている。
論文 参考訳(メタデータ) (2022-07-05T02:40:57Z) - Discovering 3D Parts from Image Collections [98.16987919686709]
本稿では,2次元画像収集のみによる3次元部分発見の問題に対処する。
そこで我々は,手動で注釈付部品を監督する代わりに,自己監督型アプローチを提案する。
私たちのキーとなる洞察は、前もって新しい部分の形状を学習することで、各部分は、単純な幾何学を持つように制約されたまま、忠実にオブジェクトの形状に適合できるようにします。
論文 参考訳(メタデータ) (2021-07-28T20:29:16Z) - Unsupervised Cross-Modal Alignment for Multi-Person 3D Pose Estimation [52.94078950641959]
マルチパーソン・ヒューマン・ポーズ推定のためのデプロイフレンドリーで高速なボトムアップ・フレームワークを提案する。
我々は,人物の位置を対応する3Dポーズ表現と統一する,多人数の3Dポーズのニューラル表現を採用する。
ペア化された2Dまたは3Dポーズアノテーションが利用できない実用的な配置パラダイムを提案する。
論文 参考訳(メタデータ) (2020-08-04T07:54:25Z) - Generative 3D Part Assembly via Dynamic Graph Learning [34.108515032411695]
部品組み立ては、3Dコンピュータビジョンとロボット工学において難しいが重要な課題だ。
本稿では,反復グラフニューラルネットワークをバックボーンとして活用する,アセンブリ指向の動的グラフ学習フレームワークを提案する。
論文 参考訳(メタデータ) (2020-06-14T04:26:42Z) - Self-Supervised 3D Human Pose Estimation via Part Guided Novel Image
Synthesis [72.34794624243281]
ラベルのないビデオフレームからバリエーションを分離する自己教師付き学習フレームワークを提案する。
3Dポーズと空間部分マップの表現ギャップを埋める、微分可能な形式化により、多様なカメラの動きを持つビデオで操作できる。
論文 参考訳(メタデータ) (2020-04-09T07:55:01Z) - Learning Unsupervised Hierarchical Part Decomposition of 3D Objects from
a Single RGB Image [102.44347847154867]
プリミティブの集合として3次元オブジェクトの幾何を共同で復元できる新しい定式化を提案する。
我々のモデルは、プリミティブのバイナリツリーの形で、様々なオブジェクトの高レベルな構造的分解を復元する。
ShapeNet と D-FAUST のデータセットを用いた実験により,部品の組織化を考慮すれば3次元形状の推論が容易になることが示された。
論文 参考訳(メタデータ) (2020-04-02T17:58:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。