論文の概要: Augmented Assembly: Object Recognition and Hand Tracking for Adaptive Assembly Instructions in Augmented Reality

• arxiv url: http://arxiv.org/abs/2601.11535v1
• Date: Sat, 22 Nov 2025 22:49:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-25 16:54:51.74551
• Title: Augmented Assembly: Object Recognition and Hand Tracking for Adaptive Assembly Instructions in Augmented Reality
• Title（参考訳）: Augmented Assembly:拡張現実における適応型アセンブリインストラクションのためのオブジェクト認識とハンドトラッキング
• Authors: Alexander Htet Kyaw, Haotian Ma, Sasa Zivkovic, Jenny Sabin,
• Abstract要約: オブジェクト認識とハンドトラッキングを活用するAR支援アセンブリワークフローを提案する。 オブジェクト認識を用いて、リアルタイムでコンポーネントを検出し、ローカライズし、ワークスペースのデジタルツインを作成する。 LEGOブロックとカスタム3Dプリントコンポーネントを使ったケーススタディでは、システムがデジタル命令を物理的なアセンブリにリンクする方法が示されています。
• 参考スコア（独自算出の注目度）: 40.836596733334254
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent advances in augmented reality (AR) have enabled interactive systems that assist users in physical assembly tasks. In this paper, we present an AR-assisted assembly workflow that leverages object recognition and hand tracking to (1) identify custom components, (2) display step-by-step instructions, (3) detect assembly deviations, and (4) dynamically update the instructions based on users' hands-on interactions with physical parts. Using object recognition, the system detects and localizes components in real time to create a digital twin of the workspace. For each assembly step, it overlays bounding boxes in AR to indicate both the current position and the target placement of relevant components, while hand-tracking data verifies whether the user interacts with the correct part. Rather than enforcing a fixed sequence, the system highlights potential assembly errors and interprets user deviations as opportunities for iteration and creative exploration. A case study with LEGO blocks and custom 3D-printed components demonstrates how the system links digital instructions to physical assembly, eliminating the need for manual searching, sorting, or labeling of parts.
• Abstract（参考訳）: 拡張現実(AR)の最近の進歩は,ユーザによる物理的な組み立て作業を支援するインタラクティブシステムを実現している。 本稿では,(1)カスタムコンポーネントの識別,(2)ステップバイステップ命令の表示,(3)アセンブリのずれの検出,(4)ユーザと物理部品とのハンドオンインタラクションに基づく命令の動的更新にオブジェクト認識とハンドトラッキングを利用するAR支援アセンブリワークフローを提案する。 オブジェクト認識を用いて、リアルタイムでコンポーネントを検出し、ローカライズし、ワークスペースのデジタルツインを作成する。 各アセンブリステップでは、AR内のバウンディングボックスをオーバーレイして、関連するコンポーネントの現在の位置とターゲット配置の両方を示すとともに、ハンドトラッキングデータにより、ユーザが正しい部分と対話するかどうかを検証する。 固定シーケンスを強制するのではなく、システムは潜在的なアセンブリエラーを強調し、ユーザー偏差を反復と創造的な探索の機会として解釈する。 LEGOブロックとカスタム3Dプリントコンポーネントを使ったケーススタディでは、システムがデジタル命令を物理的なアセンブリにリンクする方法が示され、手作業による検索、ソート、部品のラベル付けが不要になった。

関連論文リスト

• AI Assisted AR Assembly: Object Recognition and Computer Vision for Augmented Reality Assisted Assembly [40.836596733334254]
  ディープラーニングに基づくオブジェクト認識を用いたAI支援拡張現実アセンブリワークフローを提案する。 各組立ステップに対して、システムは物理空間内の対応するコンポーネントの周りにバウンディングボックスを表示し、コンポーネントがどこに置かれるべきかを示す。
  論文  参考訳（メタデータ） (2025-11-07T16:20:53Z)
• EgoPrompt: Prompt Learning for Egocentric Action Recognition [49.12318087940015]
  EgoPromptは、エゴセントリックな行動認識タスクを実行するための、素早い学習ベースのフレームワークである。 EgoPromptは、内部データセット、クロスデータセット、ベース・ツー・ノーベルの一般化ベンチマークで最先端のパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2025-08-05T09:47:07Z)
• Manual-PA: Learning 3D Part Assembly from Instruction Diagrams [54.555154845137906]
  本稿では,手動誘導3次元部品組立フレームワークである手動PAについて述べる。 以上の結果から, 部品の図面と順序を併用すると, 組立性能が向上し, 組立性能が向上することが示唆された。
  論文  参考訳（メタデータ） (2024-11-27T03:10:29Z)
• Multi-3D-Models Registration-Based Augmented Reality (AR) Instructions for Assembly [7.716174636585781]
  BRICKxAR (M3D)は、物理アセンブリモデルの組み立て位置でレンダリングされた3Dアセンブリ部品を可視化する。 BRICKxAR (M3D) はディープラーニングで訓練された3Dモデルの登録を利用する。
  論文  参考訳（メタデータ） (2023-11-27T21:53:17Z)
• IKEA-Manual: Seeing Shape Assembly Step by Step [26.79113677450921]
  組立マニュアルと組み合わせた102個のIKEAオブジェクトからなるデータセットであるIKEA-Manualを提案する。 IKEAオブジェクトやアセンブリマニュアルには,組み立て部品,組み立て計画,手動セグメンテーション,3Dパーツと視覚マニュアル間の2D-3D対応など,詳細なアノテーションが提供されている。
  論文  参考訳（メタデータ） (2023-02-03T17:32:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。