論文の概要: IKEA-Manual: Seeing Shape Assembly Step by Step
- arxiv url: http://arxiv.org/abs/2302.01881v1
- Date: Fri, 3 Feb 2023 17:32:22 GMT
- ステータス: 処理完了
- システム内更新日: 2023-02-06 15:25:37.094677
- Title: IKEA-Manual: Seeing Shape Assembly Step by Step
- Title（参考訳）: IKEAマニュアル: 形状組み立てのステップをステップで見る
- Authors: Ruocheng Wang, Yunzhi Zhang, Jiayuan Mao, Ran Zhang, Chin-Yi Cheng,
Jiajun Wu
- Abstract要約: 組立マニュアルと組み合わせた102個のIKEAオブジェクトからなるデータセットであるIKEA-Manualを提案する。
IKEAオブジェクトやアセンブリマニュアルには,組み立て部品,組み立て計画,手動セグメンテーション,3Dパーツと視覚マニュアル間の2D-3D対応など,詳細なアノテーションが提供されている。
- 参考スコア（独自算出の注目度）: 26.79113677450921
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Human-designed visual manuals are crucial components in shape assembly
activities. They provide step-by-step guidance on how we should move and
connect different parts in a convenient and physically-realizable way. While
there has been an ongoing effort in building agents that perform assembly
tasks, the information in human-design manuals has been largely overlooked. We
identify that this is due to 1) a lack of realistic 3D assembly objects that
have paired manuals and 2) the difficulty of extracting structured information
from purely image-based manuals. Motivated by this observation, we present
IKEA-Manual, a dataset consisting of 102 IKEA objects paired with assembly
manuals. We provide fine-grained annotations on the IKEA objects and assembly
manuals, including decomposed assembly parts, assembly plans, manual
segmentation, and 2D-3D correspondence between 3D parts and visual manuals. We
illustrate the broad application of our dataset on four tasks related to shape
assembly: assembly plan generation, part segmentation, pose estimation, and 3D
part assembly.
- Abstract（参考訳）: 人間設計の視覚マニュアルはシェープ組み立て活動において重要な構成要素である。
彼らは、便利で物理的に実現可能な方法で、異なる部品の移動と接続方法に関するステップバイステップのガイダンスを提供します。
組み立て作業を行うエージェントの構築作業は進行中であるが、人設計マニュアルの情報は概ね見過ごされている。
これが原因だと判明しました
1)マニュアルをペアにした現実的な3Dアセンブリオブジェクトの欠如
2)純画像に基づくマニュアルから構造化情報を抽出することの難しさ。
本研究は, IKEA-Manualを組立マニュアルと組み合わせた102個のIKEAオブジェクトからなるデータセットとして紹介する。
我々は,分解されたアセンブリ部品,アセンブリ計画,手動セグメンテーション,および3d部品と視覚マニュアル間の2d-3d対応など,ikeaオブジェクトとアセンブリマニュアルに関する詳細なアノテーションを提供する。
本稿では, 形状形成に関わる4つのタスク, 組立計画生成, 部分分割, ポーズ推定, および3次元部分アセンブリに対するデータセットの広範な適用について述べる。
関連論文リスト
- IKEA Manuals at Work: 4D Grounding of Assembly Instructions on Internet Videos [34.67148665646724]
IKEA Video Manualsは、家具部品の3次元モデル、指導マニュアル、インターネットからの組み立てビデオ、そして最も重要なのは、これらのデータモダリティ間の密集時間アライメントのアノテーションを含むデータセットである。
形態形成に不可欠な5つの応用として, 組み立て計画生成, 部分条件付きセグメンテーション, 部分条件付きポーズ推定, ビデオオブジェクトセグメンテーション, および教示ビデオマニュアルに基づく家具組み立てについて述べる。
論文 参考訳（メタデータ） (2024-11-18T09:30:05Z) - Neural Assembler: Learning to Generate Fine-Grained Robotic Assembly Instructions from Multi-View Images [24.10809783713574]
本稿では, 構造的3次元モデルのマルチビュー画像を, 組み立て命令の詳細なシーケンスに変換するという, 新たな課題を紹介する。
本稿では,ニューラルアセンブラ(Neural Assembler)と呼ばれるエンドツーエンドモデルを提案する。
論文 参考訳（メタデータ） (2024-04-25T08:53:23Z) - HOISDF: Constraining 3D Hand-Object Pose Estimation with Global Signed
Distance Fields [96.04424738803667]
HOISDFは手動ポーズ推定ネットワークである。
手とオブジェクトのSDFを利用して、完全な再構築ボリュームに対してグローバルで暗黙的な表現を提供する。
そこで, HOISDFは手動ポーズ推定ベンチマークにおいて, 最先端の結果が得られることを示す。
論文 参考訳（メタデータ） (2024-02-26T22:48:37Z) - Multi-3D-Models Registration-Based Augmented Reality (AR) Instructions
for Assembly [7.716174636585781]
BRICKxAR (M3D)は、物理アセンブリモデルの組み立て位置でレンダリングされた3Dアセンブリ部品を可視化する。
BRICKxAR (M3D) はディープラーニングで訓練された3Dモデルの登録を利用する。
論文 参考訳（メタデータ） (2023-11-27T21:53:17Z) - Aligning Step-by-Step Instructional Diagrams to Video Demonstrations [51.67930509196712]
組立図として表現される(i)命令ステップと、(ii)動画セグメントとを関連付ける新しい設定について考察する。
本稿では,ビデオの微妙な詳細化を学習する,教師付きコントラスト学習手法を提案する。
池田組立におけるIAW実験は, 代替案に対するアプローチの優れた性能を示すものである。
論文 参考訳（メタデータ） (2023-03-24T04:45:45Z) - Translating a Visual LEGO Manual to a Machine-Executable Plan [26.0127179598152]
本研究では,人間設計者が作成したイメージベース・ステップ・バイ・ステップ・アセンブリ・マニュアルを機械解釈可能な命令に変換する問題について検討する。
本稿では,手動画像から組立ステップを再構築する新しい学習ベースフレームワークMEPNetを提案する。
論文 参考訳（メタデータ） (2022-07-25T23:35:46Z) - Watch It Move: Unsupervised Discovery of 3D Joints for Re-Posing of
Articulated Objects [73.23249640099516]
複数視点からの移動を観察することで,これまで見えなかった物体の外観と構造の両方を学習する。
我々の洞察では、互いに相対的に動く隣り合う部分は関節で繋がらなければならない。
本手法は,四足歩行から単腕ロボット,人間に至るまで,さまざまな構造に対して有効であることを示す。
論文 参考訳（メタデータ） (2021-12-21T16:37:48Z) - ArraMon: A Joint Navigation-Assembly Instruction Interpretation Task in
Dynamic Environments [85.81157224163876]
我々は、収集したオブジェクトを組み立てるビジョン・アンド・ランゲージナビゲーションとオブジェクト参照表現理解を組み合わせることで、新しい共同ナビゲーション・アンド・アセンブリタスク、ArraMonを作成します。
この作業中、エージェントは、複雑で現実的な屋外環境において、自然言語の指示に基づいてナビゲートすることで、異なる対象物を1対1で見つけ、収集するよう依頼される。
我々は,いくつかのベースラインモデル(積分とバイアス)とメトリクス(nDTW, CTC, rPOD, PTC)の結果を提示する。
論文 参考訳（メタデータ） (2020-11-15T23:30:36Z) - The IKEA ASM Dataset: Understanding People Assembling Furniture through
Actions, Objects and Pose [108.21037046507483]
IKEA ASMは300万フレーム、マルチビュー、家具組み立てビデオデータセットで、深さ、原子活動、オブジェクトセグメンテーション、人間のポーズを含む。
我々は,この課題のあるデータセット上で,映像行動認識,オブジェクトセグメンテーション,人間のポーズ推定タスクの顕著な手法をベンチマークする。
このデータセットは、マルチモーダルデータとマルチビューデータを統合してこれらのタスクをよりよく実行する、全体論的手法の開発を可能にする。
論文 参考訳（メタデータ） (2020-07-01T11:34:46Z) - Joint Hand-object 3D Reconstruction from a Single Image with
Cross-branch Feature Fusion [78.98074380040838]
特徴空間において手とオブジェクトを共同で検討し、2つの枝の相互性について検討する。
入力されたRGB画像に推定深度マップを付加するために補助深度推定モジュールを用いる。
提案手法は,オブジェクトの復元精度において既存手法よりも優れていた。
論文 参考訳（メタデータ） (2020-06-28T09:50:25Z) - Learning 3D Part Assembly from a Single Image [20.175502864488493]
そこで本研究では,新たな問題として,学習ベースのソリューションとともに,シングルイメージの3Dパーツアセンブリを導入する。
本報告では, 家具組立において, 部品の完全な集合と, 組み立て物全体を描いた一枚の画像から, 家具組立の設定について検討する。
論文 参考訳（メタデータ） (2020-03-21T21:19:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。