Fugu-MT 論文翻訳(概要): E3D: Event-Based 3D Shape Reconstruction

論文の概要: E3D: Event-Based 3D Shape Reconstruction

arxiv url: http://arxiv.org/abs/2012.05214v2
Date: Thu, 10 Dec 2020 12:26:59 GMT
ステータス: 処理完了
システム内更新日: 2021-05-16 02:00:34.477710
Title: E3D: Event-Based 3D Shape Reconstruction
Title（参考訳）: E3D:イベントベースの3次元形状再構成
Authors: Alexis Baudron, Zihao W. Wang, Oliver Cossairt and Aggelos K. Katsaggelos
Abstract要約: 3D形状の再構築は、拡張現実/仮想現実の主要なコンポーネントです。 RGB、RGB-Dおよびライダーのセンサーに基づく前の解決は力およびデータ集中的です。我々は,イベントカメラ,低消費電力センサ,レイテンシ,データ費用の3次元再構成にアプローチした。
参考スコア（独自算出の注目度）: 19.823758341937605
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: 3D shape reconstruction is a primary component of augmented/virtual reality. Despite being highly advanced, existing solutions based on RGB, RGB-D and Lidar sensors are power and data intensive, which introduces challenges for deployment in edge devices. We approach 3D reconstruction with an event camera, a sensor with significantly lower power, latency and data expense while enabling high dynamic range. While previous event-based 3D reconstruction methods are primarily based on stereo vision, we cast the problem as multi-view shape from silhouette using a monocular event camera. The output from a moving event camera is a sparse point set of space-time gradients, largely sketching scene/object edges and contours. We first introduce an event-to-silhouette (E2S) neural network module to transform a stack of event frames to the corresponding silhouettes, with additional neural branches for camera pose regression. Second, we introduce E3D, which employs a 3D differentiable renderer (PyTorch3D) to enforce cross-view 3D mesh consistency and fine-tune the E2S and pose network. Lastly, we introduce a 3D-to-events simulation pipeline and apply it to publicly available object datasets and generate synthetic event/silhouette training pairs for supervised learning.
Abstract（参考訳）: 3次元形状再構成は拡張現実/仮想現実の主要な構成要素である。高度な技術にもかかわらず、既存のRGB、RGB-D、Lidarセンサーベースのソリューションは電力とデータ集約であり、エッジデバイスへのデプロイの課題をもたらす。我々は,高ダイナミックレンジを実現しつつ,消費電力,遅延,データ費用を大幅に低減したセンサ,イベントカメラによる3D再構成にアプローチした。従来のイベントベース3D再構成法は主に立体視に基づいているが,単眼のイベントカメラを用いたシルエットの多視点形状を課題としている。動くイベントカメラからの出力は、空間時間勾配のスパースポイントセットであり、主にシーン/オブジェクトのエッジと輪郭をスケッチする。まず,イベント・ツー・シルエット(e2s)ニューラルネットワークモジュールを導入し,イベントフレームのスタックを対応するシルエットに変換する。第2に,3次元微分可能なレンダラ(pytorch3d)を用いてクロスビュー3dメッシュの一貫性を強制し,e2sとポージングネットワークを微調整するe3dを紹介する。最後に,3d-to-eventsシミュレーションパイプラインを導入し,公開利用可能なオブジェクトデータセットに適用し,教師付き学習のための合成イベント/シルエットトレーニングペアを生成する。

関連論文リスト

E-3DGS: Gaussian Splatting with Exposure and Motion Events [29.042018288378447]
イベントを動作と露出に分割するイベントベースの新しいアプローチであるE-3DGSを提案する。露光イベントと3DGSの新たな統合を導入し,明示的なシーン表現を高品質に再現する。提案手法は,NeRF法よりもコスト効率が高く,イベントベースのNeRFよりも再現性が高い。
論文参考訳（メタデータ） (2024-10-22T13:17:20Z)
EF-3DGS: Event-Aided Free-Trajectory 3D Gaussian Splatting [76.02450110026747]
生物学的ビジョンにインスパイアされたイベントカメラは、時間分解能の高い画素の強度を非同期に記録する。本稿では,イベントカメラの利点を3DGSにシームレスに統合するイベント支援フリートラジェクトリ3DGSを提案する。提案手法を,パブリックタンクとテンプルのベンチマークと,新たに収集した実世界のデータセットであるRealEv-DAVISで評価した。
論文参考訳（メタデータ） (2024-10-20T13:44:24Z)
IncEventGS: Pose-Free Gaussian Splatting from a Single Event Camera [7.515256982860307]
IncEventGSは、単一のイベントカメラを備えたインクリメンタルな3Dガウススプレイティング再構成アルゴリズムである。我々は,IncEventGSにおける従来のSLAMパイプラインの追跡とマッピングのパラダイムを活用する。
論文参考訳（メタデータ） (2024-10-10T16:54:23Z)
Event3DGS: Event-Based 3D Gaussian Splatting for High-Speed Robot Egomotion [54.197343533492486]
Event3DGSは高速移動下で高忠実度3D構造と外観を再構築することができる。複数の合成および実世界のデータセットの実験は、既存のイベントベースの高密度な3Dシーン再構築フレームワークと比較して、Event3DGSの優位性を示している。また, 構造的精度を損なうことなく, 外観の忠実度をより高められるように, フレームベースで数回の動特性測定を再構成プロセスに組み込むことも可能である。
論文参考訳（メタデータ） (2024-06-05T06:06:03Z)
EvGGS: A Collaborative Learning Framework for Event-based Generalizable Gaussian Splatting [5.160735014509357]
本稿では,EvGGSと呼ばれるイベントベース汎用3D再構成フレームワークを提案する。フィードフォワード方式でイベント入力のみから3Dガウスとしてシーンを再構築する。提案手法は, 再現性, 深度・強度予測において, 良好な速度で全てのベースラインより優れた性能を発揮する。
論文参考訳（メタデータ） (2024-05-23T18:10:26Z)
EventEgo3D: 3D Human Motion Capture from Egocentric Event Streams [59.77837807004765]
本稿では,魚眼レンズを用いた一眼一眼レフカメラによる3次元モーションキャプチャーという新たな課題を紹介する。イベントストリームは、時間分解能が高く、高速な人間の動作下での3次元モーションキャプチャーと、急速に変化する照明のための信頼性の高い手がかりを提供する。我々のEE3Dは、リアルタイム3Dポーズ更新レートを140Hzでサポートしながら、既存のソリューションと比較して堅牢性と優れた3D精度を示す。
論文参考訳（メタデータ） (2024-04-12T17:59:47Z)
Denoising Diffusion via Image-Based Rendering [54.20828696348574]
実世界の3Dシーンの高速かつ詳細な再構築と生成を可能にする最初の拡散モデルを提案する。まず、大きな3Dシーンを効率よく正確に表現できる新しいニューラルシーン表現であるIBプレーンを導入する。第二に,2次元画像のみを用いて,この新たな3次元シーン表現の事前学習を行うためのデノイング拡散フレームワークを提案する。
論文参考訳（メタデータ） (2024-02-05T19:00:45Z)
PonderV2: Pave the Way for 3D Foundation Model with A Universal Pre-training Paradigm [114.47216525866435]
本稿では,効率的な3D表現の獲得を容易にするために,新しいユニバーサル3D事前学習フレームワークを提案する。 PonderV2は、11の室内および屋外ベンチマークで最先端のパフォーマンスを達成したことで、その効果が示唆された。
論文参考訳（メタデータ） (2023-10-12T17:59:57Z)
EvAC3D: From Event-based Apparent Contours to 3D Models via Continuous Visual Hulls [46.94040300725127]
複数ビューからの3D再構成は、複数のアプリケーションへのデプロイで成功したコンピュータビジョンフィールドである。イベントカメラの低消費電力化と遅延化の両面から,イベントカメラの利点を生かした3次元再構成の問題点を考察する。オブジェクトの見かけの輪郭の幾何学を定義する新しいイベントベース表現であるApparent Contour Events (ACE)を提案する。
論文参考訳（メタデータ） (2023-04-11T15:46:16Z)
3D-to-2D Distillation for Indoor Scene Parsing [78.36781565047656]
大規模3次元データリポジトリから抽出した3次元特徴を有効活用し,RGB画像から抽出した2次元特徴を向上する手法を提案する。まず,事前学習した3Dネットワークから3D知識を抽出して2Dネットワークを監督し,トレーニング中の2D特徴からシミュレーションされた3D特徴を学習する。次に,2次元の正規化方式を設計し,2次元特徴と3次元特徴のキャリブレーションを行った。第3に,非ペアの3dデータを用いたトレーニングのフレームワークを拡張するために,意味を意識した対向的トレーニングモデルを設計した。
論文参考訳（メタデータ） (2021-04-06T02:22:24Z)
CubifAE-3D: Monocular Camera Space Cubification for Auto-Encoder based 3D Object Detection [8.134961550216618]
単眼画像を用いた3次元物体検出手法を提案する。シミュレーションデータから,ペアRGBと深度画像を用いてAEを事前訓練し,その後実データを用いて3DODネットワークをトレーニングする。我々の3DODネットワークは、カメラ周囲の3D空間の特定のキュビフィケーション(cubification)を利用しており、それぞれのキュビイドは、クラスと信頼値とともに、Nオブジェクトのポーズを予測する。
論文参考訳（メタデータ） (2020-06-07T08:17:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。