Fugu-MT 論文翻訳(概要): Physics-based Differentiable Depth Sensor Simulation

論文の概要: Physics-based Differentiable Depth Sensor Simulation

arxiv url: http://arxiv.org/abs/2103.16563v1
Date: Tue, 30 Mar 2021 17:59:43 GMT
ステータス: 処理完了
システム内更新日: 2021-03-31 14:37:57.941190
Title: Physics-based Differentiable Depth Sensor Simulation
Title（参考訳）: 物理ベース微分可能深度センサシミュレーション
Authors: Benjamin Planche, Rajat Vikram Singh
Abstract要約: リアルな2.5Dスキャンを生成するための新しいエンドツーエンドの微分可能なシミュレーションパイプラインを紹介します。各モジュールはw.r.tセンサーとシーンパラメータを区別できる。シミュレーションにより,実スキャンで得られたモデルの性能が大幅に向上する。
参考スコア（独自算出の注目度）: 5.134435281973137
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Gradient-based algorithms are crucial to modern computer-vision and graphics applications, enabling learning-based optimization and inverse problems. For example, photorealistic differentiable rendering pipelines for color images have been proven highly valuable to applications aiming to map 2D and 3D domains. However, to the best of our knowledge, no effort has been made so far towards extending these gradient-based methods to the generation of depth (2.5D) images, as simulating structured-light depth sensors implies solving complex light transport and stereo-matching problems. In this paper, we introduce a novel end-to-end differentiable simulation pipeline for the generation of realistic 2.5D scans, built on physics-based 3D rendering and custom block-matching algorithms. Each module can be differentiated w.r.t sensor and scene parameters; e.g., to automatically tune the simulation for new devices over some provided scans or to leverage the pipeline as a 3D-to-2.5D transformer within larger computer-vision applications. Applied to the training of deep-learning methods for various depth-based recognition tasks (classification, pose estimation, semantic segmentation), our simulation greatly improves the performance of the resulting models on real scans, thereby demonstrating the fidelity and value of its synthetic depth data compared to previous static simulations and learning-based domain adaptation schemes.
Abstract（参考訳）: グラデーションに基づくアルゴリズムは現代のコンピュータビジョンやグラフィックアプリケーションにとって不可欠であり、学習に基づく最適化と逆問題を可能にする。例えば、カラー画像のためのフォトリアリスティックな微分可能なレンダリングパイプラインは、2Dドメインと3Dドメインをマッピングするアプリケーションにとって非常に価値があることが証明されている。しかし、私たちの知る限りでは、複雑な光輸送とステレオマッチングの問題をシミュレートする構造光深度センサーを応用し、これらの勾配に基づく手法を2.5D画像に拡張する努力は行われていない。本稿では,物理に基づく3Dレンダリングとブロックマッチングアルゴリズムに基づいて,現実的な2.5Dスキャンを生成するための,エンドツーエンドの微分可能な新しいシミュレーションパイプラインを提案する。各モジュールはw.r.tセンサーとシーンパラメータを区別することができる。例えば、提供されるスキャンで新しいデバイスのシミュレーションを自動的にチューニングしたり、より大きなコンピュータビジョンアプリケーションでパイプラインを3dから2.5dトランスフォーマーとして利用する。様々な深度に基づく認識タスク(分類,ポーズ推定,セマンティックセグメンテーション)のための深度学習手法の訓練に応用して,本シミュレーションは実際のスキャンで得られたモデルの性能を大幅に向上させ,従来の静的シミュレーションや学習ベースドメイン適応方式と比較して合成深度データの忠実度と価値を実証する。

関連論文リスト

Efficient Physics-Based Learned Reconstruction Methods for Real-Time 3D Near-Field MIMO Radar Imaging [0.0]
近距離場多重出力多重出力レーダイメージングシステム(MIMO)は近年注目されている。本稿では,リアルタイム近接場イメージングのための非定位深層学習に基づく新しい再構成手法を提案する。ゴールは、設定時の計算コストを低くして、高画質を実現することである。
論文参考訳（メタデータ） (2023-12-28T11:05:36Z)
RiCS: A 2D Self-Occlusion Map for Harmonizing Volumetric Objects [68.85305626324694]
カメラ空間における光マーチング (RiCS) は、3次元における前景物体の自己閉塞を2次元の自己閉塞マップに表現する新しい手法である。表現マップは画像の質を高めるだけでなく,時間的コヒーレントな複雑な影効果をモデル化できることを示す。
論文参考訳（メタデータ） (2022-05-14T05:35:35Z)
Sparse Depth Completion with Semantic Mesh Deformation Optimization [4.03103540543081]
本稿では、RGB画像とスパース深度サンプルを入力とし、完全な深度マップを予測し、最適化後のニューラルネットワークを提案する。評価結果は,屋内および屋外両方のデータセットにおいて,既存の成果を一貫して上回る結果となった。
論文参考訳（メタデータ） (2021-12-10T13:01:06Z)
Aug3D-RPN: Improving Monocular 3D Object Detection by Synthetic Images with Virtual Depth [64.29043589521308]
仮想深度で画像を合成することでトレーニングデータを増強するレンダリングモジュールを提案する。レンダリングモジュールは、RGB画像と対応するスパース深度画像とを入力として、さまざまなフォトリアリスティック合成画像を出力する。さらに,深度推定タスクを通じて共同で最適化することで,検出モデルを改善する補助モジュールを導入する。
論文参考訳（メタデータ） (2021-07-28T11:00:47Z)
Deep Direct Volume Rendering: Learning Visual Feature Mappings From Exemplary Images [57.253447453301796]
本稿では,ディープ・ダイレクト・ボリューム・レンダリング(Deep Direct Volume Rendering,DVR)を導入し,ディープ・ニューラル・ネットワークをDVRアルゴリズムに統合する。潜在色空間におけるレンダリングを概念化し、深層アーキテクチャを用いて特徴抽出と分類のための暗黙マッピングを学習できるようにする。我々の一般化は、画像空間の例から直接エンドツーエンドにトレーニングできる新しいボリュームレンダリングアーキテクチャを導き出すのに役立つ。
論文参考訳（メタデータ） (2021-06-09T23:03:00Z)
Using Adaptive Gradient for Texture Learning in Single-View 3D Reconstruction [0.0]
3次元モデル再構築のための学習ベースのアプローチは、現代の応用によって注目を集めている。本稿では,サンプリング画像のばらつきに基づいて予測座標の勾配を最適化し,新しいサンプリングアルゴリズムを提案する。また,frechetインセプション距離(fid)を用いて学習における損失関数を形成し,レンダリング画像と入力画像とのギャップを橋渡しする。
論文参考訳（メタデータ） (2021-04-29T07:52:54Z)
Geometric Correspondence Fields: Learned Differentiable Rendering for 3D Pose Refinement in the Wild [96.09941542587865]
野生の任意のカテゴリのオブジェクトに対する微分可能レンダリングに基づく新しい3次元ポーズ精細化手法を提案する。このようにして、3DモデルとRGB画像のオブジェクトを正確に整列し、3Dポーズ推定を大幅に改善する。我々は、Pix3Dデータセットの挑戦に対するアプローチを評価し、複数のメトリクスにおける最先端の精錬手法と比較して、最大55%の改善を実現した。
論文参考訳（メタデータ） (2020-07-17T12:34:38Z)
Exploring the Capabilities and Limits of 3D Monocular Object Detection -- A Study on Simulation and Real World Data [0.0]
単眼カメラデータに基づく3次元物体検出が自動運転の鍵となる。近年のディープラーニング手法は, 単一の画像から深度情報を復元する有望な結果を示す。本稿では,深度推定の異なるパラメータ化が可能な3次元物体検出パイプラインの性能評価を行う。
論文参考訳（メタデータ） (2020-05-15T09:05:17Z)
Lightweight Multi-View 3D Pose Estimation through Camera-Disentangled Representation [57.11299763566534]
空間校正カメラで撮影した多視点画像から3次元ポーズを復元する手法を提案する。我々は3次元形状を利用して、入力画像をカメラ視点から切り離したポーズの潜在表現に融合する。アーキテクチャは、カメラプロジェクション演算子に学習した表現を条件付け、ビュー当たりの正確な2次元検出を生成する。
論文参考訳（メタデータ） (2020-04-05T12:52:29Z)
Two-shot Spatially-varying BRDF and Shape Estimation [89.29020624201708]
形状とSVBRDFを段階的に推定した新しいディープラーニングアーキテクチャを提案する。ドメインランダム化された幾何学と現実的な材料を用いた大規模合成学習データセットを作成する。合成データセットと実世界のデータセットの両方の実験により、合成データセットでトレーニングされたネットワークが、実世界の画像に対してうまく一般化できることが示されている。
論文参考訳（メタデータ） (2020-04-01T12:56:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。