論文の概要: Manual-PA: Learning 3D Part Assembly from Instruction Diagrams

• arxiv url: http://arxiv.org/abs/2411.18011v1
• Date: Wed, 27 Nov 2024 03:10:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-28 15:26:49.621215
• Title: Manual-PA: Learning 3D Part Assembly from Instruction Diagrams
• Title（参考訳）: 手動PA:インストラクションダイアグラムから3次元部分集合を学習する
• Authors: Jiahao Zhang, Anoop Cherian, Cristian Rodriguez, Weijian Deng, Stephen Gould,
• Abstract要約: 本稿では,手動誘導3次元部品組立フレームワークである手動PAについて述べる。 以上の結果から, 部品の図面と順序を併用すると, 組立性能が向上し, 組立性能が向上することが示唆された。
• 参考スコア（独自算出の注目度）: 54.555154845137906
• License:
• Abstract: Assembling furniture amounts to solving the discrete-continuous optimization task of selecting the furniture parts to assemble and estimating their connecting poses in a physically realistic manner. The problem is hampered by its combinatorially large yet sparse solution space thus making learning to assemble a challenging task for current machine learning models. In this paper, we attempt to solve this task by leveraging the assembly instructions provided in diagrammatic manuals that typically accompany the furniture parts. Our key insight is to use the cues in these diagrams to split the problem into discrete and continuous phases. Specifically, we present Manual-PA, a transformer-based instruction Manual-guided 3D Part Assembly framework that learns to semantically align 3D parts with their illustrations in the manuals using a contrastive learning backbone towards predicting the assembly order and infers the 6D pose of each part via relating it to the final furniture depicted in the manual. To validate the efficacy of our method, we conduct experiments on the benchmark PartNet dataset. Our results show that using the diagrams and the order of the parts lead to significant improvements in assembly performance against the state of the art. Further, Manual-PA demonstrates strong generalization to real-world IKEA furniture assembly on the IKEA-Manual dataset.
• Abstract（参考訳）: 家具を組み立てることによって、家具部品を選択して、物理的に現実的な方法で接続ポーズを推定する、離散連続的な最適化タスクが解決される。 この問題は、組み合わさった大きなスパースなソリューションスペースによって妨げられているため、現在の機械学習モデルにおいて、学習が困難なタスクを組み立てるようになる。 本稿では,通常家具部品に付随する図式マニュアルで提供される組立指示を活用することで,この課題を解決することを試みる。 私たちの重要な洞察は、これらのダイアグラムのキューを使用して、問題を離散的かつ連続的なフェーズに分割することです。 具体的には,手動誘導による手動誘導3次元部品組立フレームワークであるManual-PAを提案する。手動では,手動で描かれた最終家具に関連付けて,各部分の6次元ポーズを推測する。 提案手法の有効性を検証するため,ベンチマークのPartNetデータセットを用いて実験を行った。 以上の結果から, 部品の配置や図面の使用は, 組立性能の大幅な向上につながることが明らかとなった。 さらに,実世界のIKEA家具集合体に対して,Manual-PAは,IKEA-Manualデータセット上での強力な一般化を示す。

関連論文リスト

• IKEA Manuals at Work: 4D Grounding of Assembly Instructions on Internet Videos [34.67148665646724]
  IKEA Video Manualsは、家具部品の3次元モデル、指導マニュアル、インターネットからの組み立てビデオ、そして最も重要なのは、これらのデータモダリティ間の密集時間アライメントのアノテーションを含むデータセットである。 形態形成に不可欠な5つの応用として, 組み立て計画生成, 部分条件付きセグメンテーション, 部分条件付きポーズ推定, ビデオオブジェクトセグメンテーション, および教示ビデオマニュアルに基づく家具組み立てについて述べる。
  論文  参考訳（メタデータ） (2024-11-18T09:30:05Z)
• TreeSBA: Tree-Transformer for Self-Supervised Sequential Brick Assembly [51.29305265324916]
  入力された多視点画像から連続的な組立動作を予測するために,クラスに依存しないツリー・トランスフォーマフレームワークを提案する。 逐次レンガ組立作業の大きな課題は、ステップワイドアクションラベルが実際に入手するのに費用がかかり、面倒であることである。 我々は、合成から現実への移行学習を活用することにより、この問題を緩和する。
  論文  参考訳（メタデータ） (2024-07-22T14:05:27Z)
• Enhancing Generalizability of Representation Learning for Data-Efficient 3D Scene Understanding [50.448520056844885]
  本研究では,実世界のパターンを持つ多様な合成シーンを生成可能なベイズネットワークを提案する。 一連の実験は、既存の最先端の事前学習手法に比べて、我々の手法が一貫した優位性を示す。
  論文  参考訳（メタデータ） (2024-06-17T07:43:53Z)
• Aligning Step-by-Step Instructional Diagrams to Video Demonstrations [51.67930509196712]
  組立図として表現される(i)命令ステップと、(ii)動画セグメントとを関連付ける新しい設定について考察する。 本稿では,ビデオの微妙な詳細化を学習する,教師付きコントラスト学習手法を提案する。 池田組立におけるIAW実験は, 代替案に対するアプローチの優れた性能を示すものである。
  論文  参考訳（メタデータ） (2023-03-24T04:45:45Z)
• IKEA-Manual: Seeing Shape Assembly Step by Step [26.79113677450921]
  組立マニュアルと組み合わせた102個のIKEAオブジェクトからなるデータセットであるIKEA-Manualを提案する。 IKEAオブジェクトやアセンブリマニュアルには,組み立て部品,組み立て計画,手動セグメンテーション,3Dパーツと視覚マニュアル間の2D-3D対応など,詳細なアノテーションが提供されている。
  論文  参考訳（メタデータ） (2023-02-03T17:32:22Z)
• Translating a Visual LEGO Manual to a Machine-Executable Plan [26.0127179598152]
  本研究では,人間設計者が作成したイメージベース・ステップ・バイ・ステップ・アセンブリ・マニュアルを機械解釈可能な命令に変換する問題について検討する。 本稿では,手動画像から組立ステップを再構築する新しい学習ベースフレームワークMEPNetを提案する。
  論文  参考訳（メタデータ） (2022-07-25T23:35:46Z)
• Towards unconstrained joint hand-object reconstruction from RGB videos [81.97694449736414]
  ハンドオブジェクト操作の再構築は、ロボット工学と人間のデモから学ぶ大きな可能性を秘めている。 まず,手動物体の相互作用をシームレスに処理できる学習不要な手動物体再構成手法を提案する。
  論文  参考訳（メタデータ） (2021-08-16T12:26:34Z)
• Joint Hand-object 3D Reconstruction from a Single Image with Cross-branch Feature Fusion [78.98074380040838]
  特徴空間において手とオブジェクトを共同で検討し、2つの枝の相互性について検討する。 入力されたRGB画像に推定深度マップを付加するために補助深度推定モジュールを用いる。 提案手法は,オブジェクトの復元精度において既存手法よりも優れていた。
  論文  参考訳（メタデータ） (2020-06-28T09:50:25Z)
• Learning 3D Part Assembly from a Single Image [20.175502864488493]
  そこで本研究では,新たな問題として,学習ベースのソリューションとともに,シングルイメージの3Dパーツアセンブリを導入する。 本報告では, 家具組立において, 部品の完全な集合と, 組み立て物全体を描いた一枚の画像から, 家具組立の設定について検討する。
  論文  参考訳（メタデータ） (2020-03-21T21:19:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。