論文の概要: GBOT: Graph-Based 3D Object Tracking for Augmented Reality-Assisted Assembly Guidance

• arxiv url: http://arxiv.org/abs/2402.07677v1
• Date: Mon, 12 Feb 2024 14:38:46 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-13 14:05:50.331267
• Title: GBOT: Graph-Based 3D Object Tracking for Augmented Reality-Assisted Assembly Guidance
• Title（参考訳）: GBOT:拡張現実支援アセンブリ誘導のためのグラフベースの3Dオブジェクトトラッキング
• Authors: Shiyu Li, Hannah Schieber, Niklas Corell, Bernhard Egger, Julian Kreimeier and Daniel Roth
• Abstract要約: 本稿では,新しいグラフベースのRGB-Dトラッキング手法である,グラフベースのオブジェクト追跡(GBOT)を提案する。 リアルタイムのマーカーレスマルチオブジェクト追跡は、6Dポーズ推定とグラフベースのアセンブリポーズの更新によって行われる。 GBOTは、コンテキスト対応の拡張現実アセンブリガイダンスの実現に向けて、既存の作業よりも優れています。
• 参考スコア（独自算出の注目度）: 9.878585802984391
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Guidance for assemblable parts is a promising field for augmented reality. Augmented reality assembly guidance requires 6D object poses of target objects in real time. Especially in time-critical medical or industrial settings, continuous and markerless tracking of individual parts is essential to visualize instructions superimposed on or next to the target object parts. In this regard, occlusions by the user's hand or other objects and the complexity of different assembly states complicate robust and real-time markerless multi-object tracking. To address this problem, we present Graph-based Object Tracking (GBOT), a novel graph-based single-view RGB-D tracking approach. The real-time markerless multi-object tracking is initialized via 6D pose estimation and updates the graph-based assembly poses. The tracking through various assembly states is achieved by our novel multi-state assembly graph. We update the multi-state assembly graph by utilizing the relative poses of the individual assembly parts. Linking the individual objects in this graph enables more robust object tracking during the assembly process. For evaluation, we introduce a synthetic dataset of publicly available and 3D printable assembly assets as a benchmark for future work. Quantitative experiments in synthetic data and further qualitative study in real test data show that GBOT can outperform existing work towards enabling context-aware augmented reality assembly guidance. Dataset and code will be made publically available.
• Abstract（参考訳）: 組み立て可能な部品の誘導は拡張現実にとって有望な分野である。 augmented reality assembly guidanceは、ターゲットオブジェクトの6dオブジェクトポーズをリアルタイムで要求する。 特にタイムクリティカルな医療や産業では、個々の部品の連続的かつマーカーのない追跡は、対象部品に重ね合わせられた指示を可視化するのに不可欠である。 この点において、ユーザの手や他のオブジェクトによるオクルージョンと異なるアセンブリ状態の複雑さは、堅牢でリアルタイムのマーカーレスマルチオブジェクトトラッキングを複雑にする。 この問題に対処するために,新しいグラフベースのRGB-D追跡手法であるグラフベースオブジェクト追跡(GBOT)を提案する。 リアルタイムマーカーレスマルチオブジェクト追跡は、6Dポーズ推定によって初期化され、グラフベースのアセンブリポーズが更新される。 様々なアセンブリ状態の追跡は、新しいマルチステートアセンブリグラフによって達成される。 個々の組立部品の相対的なポーズを利用して多状態組立グラフを更新する。 このグラフで個々のオブジェクトをリンクすることで、アセンブリプロセス中により堅牢なオブジェクト追跡が可能になる。 評価のために,将来的な作業のベンチマークとして,公開可能な3Dプリント可能な組立資産の合成データセットを導入する。 合成データの定量的実験と実際のテストデータによる質的研究により、GBOTは、コンテキスト対応の拡張現実アセンブリーガイダンスの実現に向けて、既存の作業より優れていることが示された。 データセットとコードは公開されます。

関連論文リスト

• MMScan: A Multi-Modal 3D Scene Dataset with Hierarchical Grounded Language Annotations [55.022519020409405]
  本稿では,マルチモーダルな3Dシーンデータセットと階層型言語アノテーションを用いたベンチマーク,MMScanを構築した。 結果として得られたマルチモーダルな3Dデータセットは、109kオブジェクトと7.7kリージョン上の1.4Mメタアノテーション付きキャプションと、3Dビジュアルグラウンドと質問応答ベンチマークのための3.04M以上の多様なサンプルを含んでいる。
  論文  参考訳（メタデータ） (2024-06-13T17:59:30Z)
• S$^2$Contact: Graph-based Network for 3D Hand-Object Contact Estimation with Semi-Supervised Learning [70.72037296392642]
  モノクロ画像から接触を学習できる新しい半教師付きフレームワークを提案する。 具体的には、大規模データセットにおける視覚的および幾何学的整合性制約を利用して擬似ラベルを生成する。 より正確な再構築を行うために手動インタラクションを規定するコンタクトマップを使用することの利点を示す。
  論文  参考訳（メタデータ） (2022-08-01T14:05:23Z)
• Semi-automatic 3D Object Keypoint Annotation and Detection for the Masses [42.34064154798376]
  本稿では,標準的なロボットアームに装着した手首カメラを用いて,データセットの収集とラベル付けを行う半自動方式を提案する。 動作中の3Dオブジェクトのキーポイント検出器を取得して、わずか数時間でデータ収集、アノテーション、学習の全プロセスを実行できます。
  論文  参考訳（メタデータ） (2022-01-19T15:41:54Z)
• Learnable Online Graph Representations for 3D Multi-Object Tracking [156.58876381318402]
  3D MOT問題に対する統一型学習型アプローチを提案します。 我々は、完全にトレーニング可能なデータアソシエーションにNeural Message Passing Networkを使用します。 AMOTAの65.6%の最先端性能と58%のIDスウィッチを達成して、公開可能なnuScenesデータセットに対する提案手法のメリットを示す。
  論文  参考訳（メタデータ） (2021-04-23T17:59:28Z)
• Learning to Track with Object Permanence [61.36492084090744]
  共同物体の検出と追跡のためのエンドツーエンドのトレーニング可能なアプローチを紹介します。 私たちのモデルは、合成データと実データで共同トレーニングされ、KITTIおよびMOT17データセットの最先端を上回ります。
  論文  参考訳（メタデータ） (2021-03-26T04:43:04Z)
• Monocular Quasi-Dense 3D Object Tracking [99.51683944057191]
  周囲の物体の将来の位置を予測し、自律運転などの多くのアプリケーションで観測者の行動を計画するためには、信頼性と正確な3D追跡フレームワークが不可欠である。 移動プラットフォーム上で撮影された2次元画像のシーケンスから,移動物体を時間とともに効果的に関連付け,その全3次元バウンディングボックス情報を推定するフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-03-12T15:30:02Z)
• Seeing Behind Objects for 3D Multi-Object Tracking in RGB-D Sequences [46.65702220573459]
  物体の完全な幾何学と追跡を推測し、時間とともに厳格に動く物体を追尾する。 RGB-Dフレームのシーケンスから、各フレーム内のオブジェクトを検出し、その完全なオブジェクト形状を予測することを学ぶ。 合成データと実世界のrgb-dデータの両方における実験により,動的物体追跡における最先端の性能が得られた。
  論文  参考訳（メタデータ） (2020-12-15T10:33:21Z)
• TAO: A Large-Scale Benchmark for Tracking Any Object [95.87310116010185]
  オブジェクトのデータセットの追跡は2,907本の高解像度ビデオで構成され、平均で30分の長さの多様な環境でキャプチャされる。 ビデオの任意の時点で移動するオブジェクトにアノテータにラベルを付け、ファクトラムの後に名前を付けるように求めます。 我々の語彙は、既存の追跡データセットと著しく大きく、質的に異なる。
  論文  参考訳（メタデータ） (2020-05-20T21:07:28Z)
• MoreFusion: Multi-object Reasoning for 6D Pose Estimation from Volumetric Fusion [19.034317851914725]
  本稿では,複数の既知の物体の接触と隠蔽の正確なポーズを,リアルタイムな多視点視から推定するシステムを提案する。 提案手法は,1枚のRGB-Dビューからの3Dオブジェクトのポーズ提案を行い,カメラが移動すると,複数のビューからのポーズ推定と非パラメトリック占有情報を蓄積する。 提案手法の精度とロバスト性を2つのオブジェクトデータセット(YCB-Video)で実験的に検証する。
  論文  参考訳（メタデータ） (2020-04-09T02:29:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。