論文の概要: Toward On-Device Markerless 6DoF Tracking of a Physical Manipulative on a Mixed-Reality Headset: A Preliminary Study
- arxiv url: http://arxiv.org/abs/2611.18438v1
- Date: Fri, 13 Nov 2026 17:13:56 GMT
- ステータス: 情報取得中
- システム内更新日: 2026-11-16 19:29:46.85093
- Title: Toward On-Device Markerless 6DoF Tracking of a Physical Manipulative on a Mixed-Reality Headset: A Preliminary Study
- Title(参考訳): 複合現実頭部上の物理マニピュレータのオンデバイスマーカーレス6DoF追跡に向けて : 予備的検討
- Abstract要約: メタクエスト3でLEGO飛行機用のマーカーレス6自由度(6DoF)トラッカーを開発した。
合成Unityで訓練されたYOLOモデルは、動的RGBの作物を128×128ピクセルにリサイズした20個のキーポイントを予測する。
パースペクティブ・n・ポイント・ソルバは、これらの予測と対応する3Dランドマークから航空機のポーズを推定する。
- 参考スコア(独自算出の注目度): 6.039047090077321
- License:
- Abstract: AR-Classroom uses physical models and virtual overlays to help learners explore spatial transformations. To align these overlays on a standalone headset, we developed a markerless six-degree-of-freedom(6DoF) tracker for a LEGO airplane on the Meta Quest 3. A compact YOLO model trained on synthetic Unity renders predicts 20 keypoints from dynamic RGB crops resized to 128 by 128 pixels. A perspective-n-point solver estimates the airplane's pose from these predictions and the corresponding 3D landmarks. In a paired evaluation on 1,000 synthetic validation images, cropping guided by ground-truth boxes increased the detection rate on annotated images from 32.5 to 46.2 percent. Mean keypoint F1 increased from 42.9 to 44.6 percent, with lower keypoint precision in the cropped view. In preliminary headset tests, 2 Hz was the highest tested tracking target at which the application maintained approximately 72 frames per second. A headset demonstration illustrates virtual overlay alignment with the physical airplane before and after a manual rotation. Quantitative 6DoF pose accuracy on real headset footage will be measured in future work.
- Abstract(参考訳): AR-Classroomは物理モデルと仮想オーバーレイを使って学習者が空間変換を探索するのを助ける。
これらのオーバーレイをスタンドアロンのヘッドセットに合わせるために、メタクエスト3のレゴ飛行機用のマーカーレス6自由度(6DoF)トラッカーを開発した。
Unityで訓練されたコンパクトなYOLOモデルは、動的RGBの作物を128×128ピクセルにリサイズした20個のキーポイントを予測する。
パースペクティブ・n・ポイント・ソルバは、これらの予測と対応する3Dランドマークから航空機のポーズを推定する。
1000枚の合成検証画像のペア評価において、接地木箱で案内された収穫は、注釈付き画像の検出率を32.5から46.2%に引き上げた。
平均キーポイントF1は42.9から44.6%に増加した。
予備のヘッドセットテストでは、2Hzが最も高いテスト対象であり、アプリケーションは毎秒72フレームを維持できた。
ヘッドセットのデモンストレーションでは、手動回転前後の物理的飛行機との仮想オーバーレイアライメントが示される。
実際のヘッドセットでの6DoFの精度は、今後の作業で測定される。
関連論文リスト
- FlyingDrones: A Dataset and Benchmark for Optical Flow Estimation from UAV motion [45.88028371034407]
小型無人航空機の運動推定は、遠方の目標が少ないピクセルを占有し、コントラストが低く、複雑な動的背景に対して動くため困難である。
標準光学フローベンチマークでは、大きな物体中心の運動が強調され、したがって遠距離の目標をうまく特徴づけることができない。
物理ベースのレンダリングから得られた高密度な地中光流動とセグメンテーションマスクのベンチマークであるFlyingDronesを紹介した。
論文 参考訳(メタデータ) (2026-11-05T09:26:36Z) - RoTA-Bench: Evaluating 3D Spatial Reasoning through Interactive Projection Alignment [60.989018864729445]
対話型3次元から2次元の投影アライメントによる能力評価にRoTA-Benchを導入する。
対象のシルエットが与えられた場合、モデルは回転したオブジェクトを観察し、連続する回転を選択してターゲットの投影を回復する。
GPT-5.6-Solがわずか17%のタスクで成功するのに対し、20人の学部生が100%の成功率でテストセットを4回完了した。
論文 参考訳(メタデータ) (2026-10-13T03:46:48Z) - Synthetic-Child: An AIGC-Based Synthetic Data Pipeline for Privacy-Preserving Child Posture Estimation [0.0]
Synthetic-Child(シンセティック・チルド)は、児童姿勢訓練用の画像を生成する合成データパイプラインである。
本システムでは,テスト対象のカテゴリの認識率を大幅に向上し,平均1.8倍の速度で応答する。
論文 参考訳(メタデータ) (2026-03-03T04:50:29Z) - BOP Challenge 2024 on Model-Based and Model-Free 6D Object Pose Estimation [55.13521733366838]
一連のパブリックコンペティションの第6回は、6Dオブジェクトでアートの状態をキャプチャするために組織された。
2024年、我々は3Dオブジェクトモデルが利用できず、提供された参照ビデオからのみオブジェクトをオンボードする必要がある新しいモデルフリータスクを導入した。
我々は、テスト画像で見える物体の同一性が入力として提供されない、より実用的な6Dオブジェクト検出タスクを定義した。
論文 参考訳(メタデータ) (2025-04-03T17:55:19Z) - Tracking Objects as Points [83.9217787335878]
同時に検出と追跡を同時に行うアルゴリズムは,最先端技術よりもシンプルで,高速で,高精度である。
トラッカーであるCenterTrackは、前のフレームから一対のイメージと検出に検出モデルを適用します。
CenterTrackはシンプルで、オンライン(未来を覗くことはない)で、リアルタイムだ。
論文 参考訳(メタデータ) (2020-04-02T17:58:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。