論文の概要: A 3D-Deep-Learning-based Augmented Reality Calibration Method for
Robotic Environments using Depth Sensor Data
- arxiv url: http://arxiv.org/abs/1912.12101v1
- Date: Fri, 27 Dec 2019 13:56:13 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-09 23:36:01.579913
- Title: A 3D-Deep-Learning-based Augmented Reality Calibration Method for
Robotic Environments using Depth Sensor Data
- Title（参考訳）: 深度センサデータを用いた3次元深度学習に基づくロボット環境の拡張現実校正法
- Authors: Linh K\"astner, Vlad Catalin Frasineanu, Jens Lambrecht
- Abstract要約: 本稿では,3次元深度センサデータを用いた拡張現実デバイスのキャリブレーション手法を提案する。
私たちは、最先端の拡張現実デバイス(ディープラーニングベースのキャリブレーションのためのMicrosoft Hololens)の奥行きカメラを使用しています。
私たちはオープンソースの3Dポイントクラウドラベリングツールを導入しました。
- 参考スコア（独自算出の注目度）: 5.027571997864707
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Augmented Reality and mobile robots are gaining much attention within
industries due to the high potential to make processes cost and time efficient.
To facilitate augmented reality, a calibration between the Augmented Reality
device and the environment is necessary. This is a challenge when dealing with
mobile robots due to the mobility of all entities making the environment
dynamic. On this account, we propose a novel approach to calibrate the
Augmented Reality device using 3D depth sensor data. We use the depth camera of
a cutting edge Augmented Reality Device - the Microsoft Hololens for deep
learning based calibration. Therefore, we modified a neural network based on
the recently published VoteNet architecture which works directly on the point
cloud input observed by the Hololens. We achieve satisfying results and
eliminate external tools like markers, thus enabling a more intuitive and
flexible work flow for Augmented Reality integration. The results are adaptable
to work with all depth cameras and are promising for further research.
Furthermore, we introduce an open source 3D point cloud labeling tool, which is
to our knowledge the first open source tool for labeling raw point cloud data.
- Abstract（参考訳）: 拡張現実(augmented reality)とモバイルロボット(mobile robots)は、コストと時間の効率性を高める可能性が高く、業界内で注目を集めている。
拡張現実を容易にするためには、拡張現実装置と環境との校正が必要である。
これは、環境を動的にするすべてのエンティティの移動性のため、移動ロボットを扱う場合の課題である。
そこで本研究では,3次元深度センサデータを用いた拡張現実装置の校正手法を提案する。
私たちは、最先端の拡張現実デバイス(ディープラーニングベースのキャリブレーションのためのMicrosoft Hololens)の奥行きカメラを使用しています。
そこで我々は,hololens で観測されたポイントクラウド入力に直接動作する,最近公開された votenet アーキテクチャに基づくニューラルネットワークを改良した。
満足度の高い結果を実現し、マーカーのような外部ツールを排除し、Augmented Reality統合のためのより直感的で柔軟な作業フローを可能にします。
結果は全深度カメラに適応し、さらなる研究を約束している。
さらに、オープンソースの3Dポイントクラウドラベリングツールを導入しました。これは、生のポイントクラウドデータをラベリングするための、最初のオープンソースツールです。
関連論文リスト
- Precise Workcell Sketching from Point Clouds Using an AR Toolbox [1.249418440326334]
実世界の3D空間をポイントクラウドとしてキャプチャすることは効率的で記述的だが、センサーエラーがあり、オブジェクトのパラメトリゼーションが欠如している。
Augmented Reality インタフェースを用いて,3次元ワークセルスケッチをポイントクラウドから作成することで,生のポイントクラウドを洗練することができる。
ツールボックスとAR対応ポインティングデバイスを利用することで、ユーザーは3次元空間におけるデバイスの位置に基づいてポイントクラウドの精度を高めることができる。
論文 参考訳（メタデータ） (2024-10-01T08:07:51Z) - ClearDepth: Enhanced Stereo Perception of Transparent Objects for Robotic Manipulation [18.140839442955485]
我々は透明物体の立体深度回復のための視覚変換器に基づくアルゴリズムを開発した。
提案手法は,効率的なデータ生成のためのパラメータ整合,ドメイン適応,物理的に現実的なSim2Realシミュレーションを含む。
実世界のシナリオにおけるSim2Realの例外的な一般化性を示す実験結果を得た。
論文 参考訳（メタデータ） (2024-09-13T15:44:38Z) - LLMI3D: Empowering LLM with 3D Perception from a Single 2D Image [72.14973729674995]
現在の3D認識手法、特に小さなモデルでは、論理的推論、質問応答、オープンシナリオカテゴリの処理に苦労している。
空間的特徴抽出のための空間的局所特徴抽出法,精密な幾何回帰のための3次元問合せ情報復号法,カメラ焦点長変動に対する幾何学投影に基づく3次元推論を提案する。
論文 参考訳（メタデータ） (2024-08-14T10:00:16Z) - Multi-Modal Dataset Acquisition for Photometrically Challenging Object [56.30027922063559]
本稿では,3次元視覚タスクにおける現在のデータセットの限界について,精度,サイズ,リアリズム,および光度に挑戦する対象に対する適切な画像モダリティの観点から検討する。
既存の3次元認識と6次元オブジェクトポーズデータセットを強化する新しいアノテーションと取得パイプラインを提案する。
論文 参考訳（メタデータ） (2023-08-21T10:38:32Z) - AGO-Net: Association-Guided 3D Point Cloud Object Detection Network [86.10213302724085]
ドメイン適応によるオブジェクトの無傷な特徴を関連付ける新しい3D検出フレームワークを提案する。
我々は,KITTIの3D検出ベンチマークにおいて,精度と速度の両面で最新の性能を実現する。
論文 参考訳（メタデータ） (2022-08-24T16:54:38Z) - Simple and Effective Synthesis of Indoor 3D Scenes [78.95697556834536]
1枚以上の画像から3D屋内シーンを没入する問題について検討する。
我々の狙いは、新しい視点から高解像度の画像とビデオを作成することである。
本稿では,不完全点雲の再投影から高解像度のRGB-D画像へ直接マップするイメージ・ツー・イメージのGANを提案する。
論文 参考訳（メタデータ） (2022-04-06T17:54:46Z) - Bayesian Imitation Learning for End-to-End Mobile Manipulation [80.47771322489422]
RGB + 深度カメラのような追加のセンサー入力によるポリシーの強化は、ロボットの知覚能力を改善するための簡単なアプローチである。
畳み込みニューラルネットワークを正規化するために変分情報ボトルネックを用いることで、保持領域への一般化が向上することを示す。
提案手法は, シミュレーションと現実のギャップを埋めることと, RGBと奥行き変調をうまく融合できることを実証する。
論文 参考訳（メタデータ） (2022-02-15T17:38:30Z) - Active 3D Shape Reconstruction from Vision and Touch [66.08432412497443]
人間は、視覚と触覚を共同で利用して、活発な物体探索を通じて世界の3D理解を構築する。
3次元形状の再構成では、最新の進歩はRGB画像、深度マップ、触覚読影などの限られた感覚データの静的データセットに依存している。
1)高空間分解能視覚に基づく触覚センサを応用した3次元物体のアクティブタッチに活用した触覚シミュレータ,2)触覚やビジュオクティビティルを先導するメッシュベースの3次元形状再構成モデル,3)触覚やビジュオのいずれかを用いたデータ駆動型ソリューションのセットからなるシステムを導入する。
論文 参考訳（メタデータ） (2021-07-20T15:56:52Z) - Xihe: A 3D Vision-based Lighting Estimation Framework for Mobile
Augmented Reality [9.129335351176904]
我々はXiheと呼ばれるエッジ支援フレームワークを設計し、モバイルARアプリケーションに対して、全方位照明の正確な推定をリアルタイムで行えるようにした。
オンデバイス・ポイント・クラウド処理に適したGPUパイプラインを開発し,ネットワーク伝送バイトを削減するエンコーディング技術を用いた。
この結果から、Xiheは照明推定に20.67msを要し、最先端のニューラルネットワークよりも9.4%の精度で推定できることがわかった。
論文 参考訳（メタデータ） (2021-05-30T13:48:29Z) - HDR Environment Map Estimation for Real-Time Augmented Reality [7.6146285961466]
視野の狭いLDRカメラ画像からHDR環境マップをリアルタイムで推定する手法を提案する。
これにより、鏡から拡散まで、あらゆる材料仕上げの仮想物体に視覚的に訴える反射や陰影を、拡張現実を使って現実の物理的環境にレンダリングすることができる。
論文 参考訳（メタデータ） (2020-11-21T01:01:53Z) - A Markerless Deep Learning-based 6 Degrees of Freedom PoseEstimation for
with Mobile Robots using RGB Data [3.4806267677524896]
本稿では,拡張現実デバイス上でリアルタイムな3Dオブジェクトローカライゼーションを実現するために,アートニューラルネットワークの状態をデプロイする手法を提案する。
本研究では,2次元入力のみを用いて物体の3次元ポーズを高速かつ正確に抽出する高速な2次元検出手法に着目する。
2D画像の6Dアノテーションとして,私たちの知る限り,最初のオープンソースツールであるアノテーションツールを開発した。
論文 参考訳（メタデータ） (2020-01-16T09:13:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。