論文の概要: E3D: Event-Based 3D Shape Reconstruction
- arxiv url: http://arxiv.org/abs/2012.05214v2
- Date: Thu, 10 Dec 2020 12:26:59 GMT
- ステータス: 処理完了
- システム内更新日: 2021-05-16 02:00:34.477710
- Title: E3D: Event-Based 3D Shape Reconstruction
- Title(参考訳): E3D:イベントベースの3次元形状再構成
- Authors: Alexis Baudron, Zihao W. Wang, Oliver Cossairt and Aggelos K.
Katsaggelos
- Abstract要約: 3D形状の再構築は、拡張現実/仮想現実の主要なコンポーネントです。
RGB、RGB-Dおよびライダーのセンサーに基づく前の解決は力およびデータ集中的です。
我々は,イベントカメラ,低消費電力センサ,レイテンシ,データ費用の3次元再構成にアプローチした。
- 参考スコア(独自算出の注目度): 19.823758341937605
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: 3D shape reconstruction is a primary component of augmented/virtual reality.
Despite being highly advanced, existing solutions based on RGB, RGB-D and Lidar
sensors are power and data intensive, which introduces challenges for
deployment in edge devices. We approach 3D reconstruction with an event camera,
a sensor with significantly lower power, latency and data expense while
enabling high dynamic range. While previous event-based 3D reconstruction
methods are primarily based on stereo vision, we cast the problem as multi-view
shape from silhouette using a monocular event camera. The output from a moving
event camera is a sparse point set of space-time gradients, largely sketching
scene/object edges and contours. We first introduce an event-to-silhouette
(E2S) neural network module to transform a stack of event frames to the
corresponding silhouettes, with additional neural branches for camera pose
regression. Second, we introduce E3D, which employs a 3D differentiable
renderer (PyTorch3D) to enforce cross-view 3D mesh consistency and fine-tune
the E2S and pose network. Lastly, we introduce a 3D-to-events simulation
pipeline and apply it to publicly available object datasets and generate
synthetic event/silhouette training pairs for supervised learning.
- Abstract(参考訳): 3次元形状再構成は拡張現実/仮想現実の主要な構成要素である。
高度な技術にもかかわらず、既存のRGB、RGB-D、Lidarセンサーベースのソリューションは電力とデータ集約であり、エッジデバイスへのデプロイの課題をもたらす。
我々は,高ダイナミックレンジを実現しつつ,消費電力,遅延,データ費用を大幅に低減したセンサ,イベントカメラによる3D再構成にアプローチした。
従来のイベントベース3D再構成法は主に立体視に基づいているが,単眼のイベントカメラを用いたシルエットの多視点形状を課題としている。
動くイベントカメラからの出力は、空間時間勾配のスパースポイントセットであり、主にシーン/オブジェクトのエッジと輪郭をスケッチする。
まず,イベント・ツー・シルエット(e2s)ニューラルネットワークモジュールを導入し,イベントフレームのスタックを対応するシルエットに変換する。
第2に,3次元微分可能なレンダラ(pytorch3d)を用いてクロスビュー3dメッシュの一貫性を強制し,e2sとポージングネットワークを微調整するe3dを紹介する。
最後に,3d-to-eventsシミュレーションパイプラインを導入し,公開利用可能なオブジェクトデータセットに適用し,教師付き学習のための合成イベント/シルエットトレーニングペアを生成する。
関連論文リスト
- Denoising Diffusion via Image-Based Rendering [54.20828696348574]
実世界の3Dシーンの高速かつ詳細な再構築と生成を可能にする最初の拡散モデルを提案する。
まず、大きな3Dシーンを効率よく正確に表現できる新しいニューラルシーン表現であるIBプレーンを導入する。
第二に,2次元画像のみを用いて,この新たな3次元シーン表現の事前学習を行うためのデノイング拡散フレームワークを提案する。
論文 参考訳(メタデータ) (2024-02-05T19:00:45Z) - UNeR3D: Versatile and Scalable 3D RGB Point Cloud Generation from 2D
Images in Unsupervised Reconstruction [2.7848140839111903]
UNeR3Dは、2Dビューのみから詳細な3D再構成を生成するための新しい標準を設定している。
私たちのモデルは、教師付きアプローチに関連するトレーニングコストを大幅に削減します。
UNeR3Dはシームレスな色遷移を保証し、視力を高める。
論文 参考訳(メタデータ) (2023-12-10T15:18:55Z) - PonderV2: Pave the Way for 3D Foundation Model with A Universal
Pre-training Paradigm [114.47216525866435]
本稿では,効率的な3D表現の獲得を容易にするために,新しいユニバーサル3D事前学習フレームワークを提案する。
PonderV2は、11の室内および屋外ベンチマークで最先端のパフォーマンスを達成したことで、その効果が示唆された。
論文 参考訳(メタデータ) (2023-10-12T17:59:57Z) - Learning Hand-Held Object Reconstruction from In-The-Wild Videos [19.16274394098004]
我々はObManデータセットから合成オブジェクトを用いてデータ駆動型3次元形状を学習する。
我々はこれらの間接的な3次元キューを用いて、単一のRGB画像から物体の3次元形状を予測する占有ネットワークを訓練する。
論文 参考訳(メタデータ) (2023-05-04T17:56:48Z) - Combining HoloLens with Instant-NeRFs: Advanced Real-Time 3D Mobile
Mapping [4.619828919345114]
我々は、HoloLensから取得したデータを用いて、ニューラルネットワークのシーン表現としてNeRF(Neural Radiance Field)をリアルタイムで訓練する。
データストリームが終了すると、トレーニングが停止し、3D再構成が開始され、シーンの点雲が抽出される。
この3次元再構成法は,複数桁のNeRFを用いた格子点サンプリングよりも優れる。
論文 参考訳(メタデータ) (2023-04-27T16:07:21Z) - EvAC3D: From Event-based Apparent Contours to 3D Models via Continuous
Visual Hulls [46.94040300725127]
複数ビューからの3D再構成は、複数のアプリケーションへのデプロイで成功したコンピュータビジョンフィールドである。
イベントカメラの低消費電力化と遅延化の両面から,イベントカメラの利点を生かした3次元再構成の問題点を考察する。
オブジェクトの見かけの輪郭の幾何学を定義する新しいイベントベース表現であるApparent Contour Events (ACE)を提案する。
論文 参考訳(メタデータ) (2023-04-11T15:46:16Z) - 3D-to-2D Distillation for Indoor Scene Parsing [78.36781565047656]
大規模3次元データリポジトリから抽出した3次元特徴を有効活用し,RGB画像から抽出した2次元特徴を向上する手法を提案する。
まず,事前学習した3Dネットワークから3D知識を抽出して2Dネットワークを監督し,トレーニング中の2D特徴からシミュレーションされた3D特徴を学習する。
次に,2次元の正規化方式を設計し,2次元特徴と3次元特徴のキャリブレーションを行った。
第3に,非ペアの3dデータを用いたトレーニングのフレームワークを拡張するために,意味を意識した対向的トレーニングモデルを設計した。
論文 参考訳(メタデータ) (2021-04-06T02:22:24Z) - CubifAE-3D: Monocular Camera Space Cubification for Auto-Encoder based
3D Object Detection [8.134961550216618]
単眼画像を用いた3次元物体検出手法を提案する。
シミュレーションデータから,ペアRGBと深度画像を用いてAEを事前訓練し,その後実データを用いて3DODネットワークをトレーニングする。
我々の3DODネットワークは、カメラ周囲の3D空間の特定のキュビフィケーション(cubification)を利用しており、それぞれのキュビイドは、クラスと信頼値とともに、Nオブジェクトのポーズを予測する。
論文 参考訳(メタデータ) (2020-06-07T08:17:00Z) - From Image Collections to Point Clouds with Self-supervised Shape and
Pose Networks [53.71440550507745]
2次元画像から3Dモデルを再構成することは、コンピュータビジョンの基本的な問題の一つである。
本研究では,1枚の画像から3次元オブジェクトを再構成する深層学習手法を提案する。
我々は,3次元点雲の再構成と推定ネットワークの自己教師方式の両方を学習する。
論文 参考訳(メタデータ) (2020-05-05T04:25:16Z) - Lightweight Multi-View 3D Pose Estimation through Camera-Disentangled
Representation [57.11299763566534]
空間校正カメラで撮影した多視点画像から3次元ポーズを復元する手法を提案する。
我々は3次元形状を利用して、入力画像をカメラ視点から切り離したポーズの潜在表現に融合する。
アーキテクチャは、カメラプロジェクション演算子に学習した表現を条件付け、ビュー当たりの正確な2次元検出を生成する。
論文 参考訳(メタデータ) (2020-04-05T12:52:29Z) - Implicit Functions in Feature Space for 3D Shape Reconstruction and
Completion [53.885984328273686]
Implicit Feature Networks (IF-Nets) は連続的な出力を提供し、複数のトポロジを扱える。
IF-NetsはShapeNetにおける3次元オブジェクト再構成における先行作業よりも明らかに優れており、より正確な3次元人間の再構成が得られる。
論文 参考訳(メタデータ) (2020-03-03T11:14:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。