論文の概要: Geometric Change Detection in Digital Twins using 3D Machine Learning
- arxiv url: http://arxiv.org/abs/2103.08201v1
- Date: Mon, 15 Mar 2021 08:20:16 GMT
- ステータス: 処理完了
- システム内更新日: 2021-03-16 14:30:40.391757
- Title: Geometric Change Detection in Digital Twins using 3D Machine Learning
- Title（参考訳）: 3次元機械学習を用いたデジタルツインの幾何変化検出
- Authors: Tiril Sundby, Julia Maria Graham, Adil Rasheed, Mandar Tabib, Omer San
- Abstract要約: デジタル双子は現実世界の物理的システムと仮想表現の間のギャップを埋めることを目的としている。
デジタルツインアプリケーションは、物理的に進化した内部パラメータを迅速に更新する必要がある。
デジタル双子の文脈における幾何学的変化検出への新しいアプローチを実証する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Digital twins are meant to bridge the gap between real-world physical systems
and virtual representations. Both stand-alone and descriptive digital twins
incorporate 3D geometric models, which are the physical representations of
objects in the digital replica. Digital twin applications are required to
rapidly update internal parameters with the evolution of their physical
counterpart. Due to an essential need for having high-quality geometric models
for accurate physical representations, the storage and bandwidth requirements
for storing 3D model information can quickly exceed the available storage and
bandwidth capacity. In this work, we demonstrate a novel approach to geometric
change detection in the context of a digital twin. We address the issue through
a combined solution of Dynamic Mode Decomposition (DMD) for motion detection,
YOLOv5 for object detection, and 3D machine learning for pose estimation. DMD
is applied for background subtraction, enabling detection of moving foreground
objects in real-time. The video frames containing detected motion are extracted
and used as input to the change detection network. The object detection
algorithm YOLOv5 is applied to extract the bounding boxes of detected objects
in the video frames. Furthermore, the rotational pose of each object is
estimated in a 3D pose estimation network. A series of convolutional neural
networks conducts feature extraction from images and 3D model shapes. Then, the
network outputs the estimated Euler angles of the camera orientation with
respect to the object in the input image. By only storing data associated with
a detected change in pose, we minimize necessary storage and bandwidth
requirements while still being able to recreate the 3D scene on demand.
- Abstract（参考訳）: デジタル双子は現実世界の物理的システムと仮想表現の間のギャップを埋めることを目的としている。
スタンドアローンと記述型デジタルツインには、デジタルレプリカ内のオブジェクトの物理的表現である3D幾何学モデルが組み込まれている。
デジタルツインアプリケーションは、物理的に進化した内部パラメータを迅速に更新する必要がある。
正確な物理表現のために高品質な幾何学モデルを持つことが必須であるため、3dモデル情報を格納するためのストレージと帯域幅要件は、利用可能なストレージと帯域容量を迅速に超えることができる。
本研究では,デジタル双子の文脈における幾何学的変化検出に対する新しいアプローチを実証する。
動作検出のための動的モード分解(DMD)、オブジェクト検出のためのYOLOv5、ポーズ推定のための3D機械学習を組み合わせることでこの問題に対処する。
dmdはバックグラウンドサブトラクションに適用され、移動前景オブジェクトをリアルタイムで検出できる。
検出された動きを含むビデオフレームを抽出し、変更検出ネットワークへの入力として使用する。
オブジェクト検出アルゴリズムYOLOv5を適用して、ビデオフレーム内の検出対象の境界ボックスを抽出する。
さらに、3dポーズ推定ネットワークにおいて、各オブジェクトの回転ポーズを推定する。
一連の畳み込みニューラルネットワークは、画像と3Dモデル形状から特徴抽出を行う。
次に、ネットワークは、入力画像内のオブジェクトに対してカメラ方向の推定オイラー角度を出力する。
検出されたポーズの変化に関連するデータを保存するだけで、必要なストレージと帯域幅の要件を最小限に抑えながら、オンデマンドで3Dシーンを再現できます。
関連論文リスト
- VFMM3D: Releasing the Potential of Image by Vision Foundation Model for Monocular 3D Object Detection [80.62052650370416]
モノクル3Dオブジェクト検出は、自律運転やロボティクスなど、さまざまなアプリケーションにおいて重要な役割を担っている。
本稿では,VFMM3Dを提案する。VFMM3Dは,ビジョンファウンデーションモデル(VFM)の機能を利用して,単一ビュー画像を正確にLiDARポイントクラウド表現に変換する,革新的なフレームワークである。
論文 参考訳（メタデータ） (2024-04-15T03:12:12Z) - 3DiffTection: 3D Object Detection with Geometry-Aware Diffusion Features [70.50665869806188]
3DiffTectionは、単一の画像から3Dオブジェクトを検出する最先端の方法である。
拡散モデルを微調整し、単一の画像に条件付けされた新しいビュー合成を行う。
さらに、検出監視により、ターゲットデータ上でモデルをトレーニングする。
論文 参考訳（メタデータ） (2023-11-07T23:46:41Z) - AutoDecoding Latent 3D Diffusion Models [95.7279510847827]
本稿では,3次元オートデコーダをコアとした静的・明瞭な3次元アセットの生成に対して,新しいアプローチを提案する。
3D Autodecoderフレームワークは、ターゲットデータセットから学んだプロパティを潜時空間に埋め込む。
次に、適切な中間体積潜在空間を特定し、ロバストな正規化と非正規化演算を導入する。
論文 参考訳（メタデータ） (2023-07-07T17:59:14Z) - Explicit3D: Graph Network with Spatial Inference for Single Image 3D
Object Detection [35.85544715234846]
本稿では,オブジェクトの幾何学的特徴と意味論的特徴に基づいて,Explicit3Dという動的スパースグラフパイプラインを提案する。
SUN RGB-Dデータセットによる実験結果から,我々のExplicit3Dは最先端技術よりも優れた性能バランスを実現することが示された。
論文 参考訳（メタデータ） (2023-02-13T16:19:54Z) - Bridged Transformer for Vision and Point Cloud 3D Object Detection [92.86856146086316]
Bridged Transformer (BrT) は、3Dオブジェクト検出のためのエンドツーエンドアーキテクチャである。
BrTは3Dオブジェクトと2Dオブジェクトのバウンディングボックスを、ポイントとイメージパッチの両方から識別する。
BrTがSUN RGB-DおよびScanNetV2データセットの最先端手法を上回ることを示す。
論文 参考訳（メタデータ） (2022-10-04T05:44:22Z) - AutoShape: Real-Time Shape-Aware Monocular 3D Object Detection [15.244852122106634]
形状認識型2D/3D制約を3D検出フレームワークに組み込む手法を提案する。
具体的には、ディープニューラルネットワークを用いて、2次元画像領域の区別された2Dキーポイントを学習する。
2D/3Dキーポイントの基礎的真理を生成するために、自動的なモデル適合手法が提案されている。
論文 参考訳（メタデータ） (2021-08-25T08:50:06Z) - Learning Geometry-Guided Depth via Projective Modeling for Monocular 3D Object Detection [70.71934539556916]
射影モデルを用いて幾何学誘導深度推定を学習し, モノクル3次元物体検出を推し進める。
具体的には,モノクロ3次元物体検出ネットワークにおける2次元および3次元深度予測の投影モデルを用いた原理的幾何式を考案した。
本手法は, 適度なテスト設定において, 余分なデータを2.80%も加えることなく, 最先端単分子法の検出性能を著しく向上させる。
論文 参考訳（メタデータ） (2021-07-29T12:30:39Z) - Reinforced Axial Refinement Network for Monocular 3D Object Detection [160.34246529816085]
モノクロ3次元物体検出は、2次元入力画像から物体の位置と特性を抽出することを目的としている。
従来のアプローチでは、空間から3D境界ボックスをサンプリングし、対象オブジェクトと各オブジェクトの関係を推定するが、有効サンプルの確率は3D空間で比較的小さい。
我々は,まず最初の予測から始めて,各ステップで1つの3dパラメータだけを変えて,基礎的真理に向けて徐々に洗練することを提案する。
これは、いくつかのステップの後に報酬を得るポリシーを設計する必要があるため、最適化するために強化学習を採用します。
論文 参考訳（メタデータ） (2020-08-31T17:10:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。