論文の概要: Real-time Detection of 2D Tool Landmarks with Synthetic Training Data

• arxiv url: http://arxiv.org/abs/2210.11991v1
• Date: Fri, 21 Oct 2022 14:31:43 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-24 13:41:01.026249
• Title: Real-time Detection of 2D Tool Landmarks with Synthetic Training Data
• Title（参考訳）: 合成トレーニングデータを用いた2次元ツールランドマークのリアルタイム検出
• Authors: Bram Vanherle, Jeroen Put, Nick Michiels, Frank Van Reeth
• Abstract要約: 本稿では,ハンマーやスクリュードライバーなどの物理ツールのランドマークの2次元位置をリアルタイムで検出する深層学習アーキテクチャを提案する。 手動ラベリングの労力を避けるため、ネットワークは合成されたデータに基づいて訓練される。 本論文では, 中間熱マップモデル (Intermediate Heatmap Model, IHM) と命名し, 合成データを用いて実画像に一般化した。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In this paper a deep learning architecture is presented that can, in real time, detect the 2D locations of certain landmarks of physical tools, such as a hammer or screwdriver. To avoid the labor of manual labeling, the network is trained on synthetically generated data. Training computer vision models on computer generated images, while still achieving good accuracy on real images, is a challenge due to the difference in domain. The proposed method uses an advanced rendering method in combination with transfer learning and an intermediate supervision architecture to address this problem. It is shown that the model presented in this paper, named Intermediate Heatmap Model (IHM), generalizes to real images when trained on synthetic data. To avoid the need for an exact textured 3D model of the tool in question, it is shown that the model will generalize to an unseen tool when trained on a set of different 3D models of the same type of tool. IHM is compared to two existing approaches to keypoint detection and it is shown that it outperforms those at detecting tool landmarks, trained on synthetic data.
• Abstract（参考訳）: 本稿では,ハンマーやスクリュードライバーなどの物理ツールのランドマークの2次元位置をリアルタイムで検出する深層学習アーキテクチャを提案する。 手動ラベリングの労力を避けるため、ネットワークは合成されたデータに基づいて訓練される。 コンピュータが生成した画像のコンピュータビジョンモデルを訓練するが、実際の画像の精度は高いが、ドメインの違いのため課題である。 提案手法は,転送学習と中間監視アーキテクチャを組み合わせた高度なレンダリング手法を用いてこの問題に対処する。 本論文で提示されたモデルである中間ヒートマップモデル (ihm) は, 合成データを用いて訓練された場合, 実画像に一般化する。 問題となるツールの正確なテクスチャ付き3dモデルの必要性を避けるため、同じタイプのツールの異なる3dモデルでトレーニングされた場合、モデルが見えないツールに一般化されることが示されている。 IHMは、キーポイント検出に対する既存の2つのアプローチと比較し、合成データに基づいて訓練されたツールランドマークの検出において、優れた性能を発揮することを示した。

関連論文リスト

• Enhancing Generalizability of Representation Learning for Data-Efficient 3D Scene Understanding [50.448520056844885]
  本研究では,実世界のパターンを持つ多様な合成シーンを生成可能なベイズネットワークを提案する。 一連の実験は、既存の最先端の事前学習手法に比べて、我々の手法が一貫した優位性を示す。
  論文  参考訳（メタデータ） (2024-06-17T07:43:53Z)
• 3DiffTection: 3D Object Detection with Geometry-Aware Diffusion Features [70.50665869806188]
  3DiffTectionは、単一の画像から3Dオブジェクトを検出する最先端の方法である。 拡散モデルを微調整し、単一の画像に条件付けされた新しいビュー合成を行う。 さらに、検出監視により、ターゲットデータ上でモデルをトレーニングする。
  論文  参考訳（メタデータ） (2023-11-07T23:46:41Z)
• Towards Fair and Comprehensive Comparisons for Image-Based 3D Object Detection [73.32210225999056]
  モジュール設計と3Dオブジェクト検出のための統一的なトレーニング標準の構築を行う。 また,検出モデルの詳細な特徴を評価するために,誤り診断ツールボックスを設計する。
  論文  参考訳（メタデータ） (2023-10-09T06:43:48Z)
• Robust Category-Level 3D Pose Estimation from Synthetic Data [17.247607850702558]
  CADモデルから生成されたオブジェクトポーズ推定のための新しい合成データセットであるSyntheticP3Dを紹介する。 逆レンダリングによるポーズ推定を行うニューラルネットワークモデルをトレーニングするための新しいアプローチ(CC3D)を提案する。
  論文  参考訳（メタデータ） (2023-05-25T14:56:03Z)
• RiCS: A 2D Self-Occlusion Map for Harmonizing Volumetric Objects [68.85305626324694]
  カメラ空間における光マーチング (RiCS) は、3次元における前景物体の自己閉塞を2次元の自己閉塞マップに表現する新しい手法である。 表現マップは画像の質を高めるだけでなく,時間的コヒーレントな複雑な影効果をモデル化できることを示す。
  論文  参考訳（メタデータ） (2022-05-14T05:35:35Z)
• Learning Dense Correspondence from Synthetic Environments [27.841736037738286]
  既存の方法では、実際の2D画像に手動でラベル付けされた人間のピクセルを3D表面にマッピングする。 本稿では,自動生成合成データを用いた2次元3次元人物マッピングアルゴリズムの訓練により,データ不足の問題を解決することを提案する。
  論文  参考訳（メタデータ） (2022-03-24T08:13:26Z)
• RandomRooms: Unsupervised Pre-training from Synthetic Shapes and Randomized Layouts for 3D Object Detection [138.2892824662943]
  有望な解決策は、CADオブジェクトモデルで構成される合成データセットをよりよく利用して、実際のデータセットでの学習を促進することである。 最近の3次元事前学習の研究は、合成物体から他の実世界の応用へ学習した伝達特性が失敗することを示している。 本研究では,この目的を達成するためにRandomRoomsという新しい手法を提案する。
  論文  参考訳（メタデータ） (2021-08-17T17:56:12Z)
• Zero in on Shape: A Generic 2D-3D Instance Similarity Metric learned from Synthetic Data [3.71630298053787]
  本稿では,RGB画像と非テクスチャ型3Dモデルとを表現形状の類似性で比較するネットワークアーキテクチャを提案する。 我々のシステムはゼロショット検索に最適化されており、訓練で示されることのない形状を認識することができる。
  論文  参考訳（メタデータ） (2021-08-09T14:44:08Z)
• Leveraging 2D Data to Learn Textured 3D Mesh Generation [33.32377849866736]
  テクスチャ化された3Dメッシュの最初の生成モデルを示す。 我々は、各画像を3Dフォアグラウンドオブジェクトとしてモデル化することで、画像の分布を説明するためにモデルを訓練する。 レンダリングされたメッシュを生成して、トレーニングセットと同じようなイメージを生成する。
  論文  参考訳（メタデータ） (2020-04-08T18:00:37Z)
• Monocular Real-time Hand Shape and Motion Capture using Multi-modal Data [77.34069717612493]
  本稿では,100fpsの単眼手形状とポーズ推定の新たな手法を提案する。 これは、利用可能なハンドトレーニングデータのソースをすべて活用できるように設計された、新しい学習ベースのアーキテクチャによって実現されている。 3次元手関節検出モジュールと逆キネマティクスモジュールを備えており、3次元手関節位置だけでなく、1つのフィードフォワードパスでそれらを関節回転にマッピングする。
  論文  参考訳（メタデータ） (2020-03-21T03:51:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。