論文の概要: MEStereo-Du2CNN: A Novel Dual Channel CNN for Learning Robust Depth Estimates from Multi-exposure Stereo Images for HDR 3D Applications

• arxiv url: http://arxiv.org/abs/2206.10375v1
• Date: Tue, 21 Jun 2022 13:23:22 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-22 17:42:58.341670
• Title: MEStereo-Du2CNN: A Novel Dual Channel CNN for Learning Robust Depth Estimates from Multi-exposure Stereo Images for HDR 3D Applications
• Title（参考訳）: MEStereo-Du2CNN:HDR3D用マルチ露光ステレオ画像からロバスト深さ推定を学習するための新しいデュアルチャネルCNN
• Authors: Rohit Choudhary and Mansi Sharma and Uma T V and Rithvik Anil
• Abstract要約: マルチ露光ステレオ深度推定のための新しいディープアーキテクチャを開発した。 アーキテクチャの立体深度推定コンポーネントとして,モノ・ステレオ・トランスファー学習アプローチをデプロイする。 性能の面では、提案モデルは最先端のモノクラーおよびステレオ深度推定法を超越している。
• 参考スコア（独自算出の注目度）: 0.22940141855172028
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Display technologies have evolved over the years. It is critical to develop practical HDR capturing, processing, and display solutions to bring 3D technologies to the next level. Depth estimation of multi-exposure stereo image sequences is an essential task in the development of cost-effective 3D HDR video content. In this paper, we develop a novel deep architecture for multi-exposure stereo depth estimation. The proposed architecture has two novel components. First, the stereo matching technique used in traditional stereo depth estimation is revamped. For the stereo depth estimation component of our architecture, a mono-to-stereo transfer learning approach is deployed. The proposed formulation circumvents the cost volume construction requirement, which is replaced by a ResNet based dual-encoder single-decoder CNN with different weights for feature fusion. EfficientNet based blocks are used to learn the disparity. Secondly, we combine disparity maps obtained from the stereo images at different exposure levels using a robust disparity feature fusion approach. The disparity maps obtained at different exposures are merged using weight maps calculated for different quality measures. The final predicted disparity map obtained is more robust and retains best features that preserve the depth discontinuities. The proposed CNN offers flexibility to train using standard dynamic range stereo data or with multi-exposure low dynamic range stereo sequences. In terms of performance, the proposed model surpasses state-of-the-art monocular and stereo depth estimation methods, both quantitatively and qualitatively, on challenging Scene flow and differently exposed Middlebury stereo datasets. The architecture performs exceedingly well on complex natural scenes, demonstrating its usefulness for diverse 3D HDR applications.
• Abstract（参考訳）: ディスプレイ技術は長年にわたって進化してきた。 3D技術を次のレベルに持ち込むために、実用的なHDRキャプチャ、処理、表示ソリューションを開発することが重要である。 マルチ露光ステレオ画像列の深さ推定は、コスト効率のよい3D HDRビデオコンテンツの開発に不可欠である。 本稿では,マルチ露光ステレオ深度推定のための新しい深層アーキテクチャを開発した。 提案されたアーキテクチャには2つの新しいコンポーネントがある。 まず,従来のステレオ深度推定におけるステレオマッチング手法を改良した。 アーキテクチャの立体深度推定コンポーネントとして,モノ・ステレオ・トランスファー学習アプローチをデプロイする。 提案手法では,コストボリュームを回避し,機能融合のための重み付けが異なるresnetベースのデュアルエンコーダシングルデコーダcnnに置き換える。 efficientnetベースのブロックは、異質性を学ぶために使用される。 次に, ステレオ画像から得られた不均質マップを, 頑健な不均質特徴融合法を用いて異なる露出レベルで組み合わせた。 異なる露出で得られた差分マップは、異なる品質尺度で計算された重みマップを用いてマージされる。 得られた最終的な不均一性マップはより堅牢であり、深度不連続性を維持する最善の特徴を保っている。 提案するcnnは、標準ダイナミックレンジステレオデータまたはマルチエクスポージャー低ダイナミックレンジステレオシーケンスを使用してトレーニングする柔軟性を提供する。 性能の面では,提案モデルは,挑戦的なシーンフローと異なる露出のミドルベリーステレオデータセットにおいて,定量的かつ定性的に,最先端のモノクラー・ステレオ深度推定法を上回る。 このアーキテクチャは複雑な自然のシーンで非常によく機能し、多様な3D HDRアプリケーションにその有用性を示す。

関連論文リスト

• SDGE: Stereo Guided Depth Estimation for 360$^\circ$ Camera Sets [70.43189279606972]
  マルチカメラシステムは、360ドル周の知覚を達成するために、しばしば自律走行に使用される。 360ドル(約3万3000円)のカメラセットは、しばしば制限または低品質のオーバーラップ領域を持ち、画像全体に対してマルチビューステレオメソッドを実現する。 重なりの重なりに多視点ステレオ結果を明示的に利用することにより、全画像の深さ推定を強化するステレオガイド深度推定法(SGDE)を提案する。
  論文  参考訳（メタデータ） (2024-02-19T02:41:37Z)
• R3D3: Dense 3D Reconstruction of Dynamic Scenes from Multiple Cameras [106.52409577316389]
  R3D3は高密度3次元再構成とエゴモーション推定のためのマルチカメラシステムである。 提案手法は,複数のカメラからの時空間情報と単眼深度補正を利用する。 この設計により、困難で動的な屋外環境の密集した一貫した3次元再構成が可能になる。
  論文  参考訳（メタデータ） (2023-08-28T17:13:49Z)
• DynamicStereo: Consistent Dynamic Depth from Stereo Videos [91.1804971397608]
  ステレオビデオの相違を推定するためにDynamicStereoを提案する。 ネットワークは、その予測の時間的一貫性を改善するために、隣接するフレームからの情報をプールすることを学ぶ。 スキャンされた環境における人や動物の合成ビデオを含む新しいベンチマークデータセットであるDynamic Replicaも導入した。
  論文  参考訳（メタデータ） (2023-05-03T17:40:49Z)
• DiffuStereo: High Quality Human Reconstruction via Diffusion-based Stereo Using Sparse Cameras [33.6247548142638]
  高品質な3次元再構成のためのスパースカメラのみを用いた新しいシステムであるDiffuStereoを提案する。 中心となるのは、反復的なステレオマッチングネットワークに拡散モデルを導入する、新しい拡散ベースのステレオモジュールである。 メモリフットプリントを必要とせずに高解像度(最大4k)入力を処理できるマルチレベルステレオネットワークアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2022-07-16T19:08:18Z)
• DSGN++: Exploiting Visual-Spatial Relation forStereo-based 3D Detectors [60.88824519770208]
  カメラベースの3Dオブジェクト検出器は、LiDARセンサーよりも広い展開と低価格のため歓迎されている。 我々は3次元幾何学と意味論の両方を表現するステレオボリューム構造について、以前のステレオモデリングDSGNを再考する。 本稿では,2次元から3次元のパイプラインを通しての情報フローを改善することを目的としたDSGN++を提案する。
  論文  参考訳（メタデータ） (2022-04-06T18:43:54Z)
• Neural Radiance Fields Approach to Deep Multi-View Photometric Stereo [103.08512487830669]
  多視点測光ステレオ問題(MVPS)に対する現代的な解法を提案する。 我々は、光度ステレオ(PS)画像形成モデルを用いて表面配向を取得し、それを多視点のニューラルラディアンス場表現とブレンドして物体の表面形状を復元する。 本手法は,多視点画像のニューラルレンダリングを行い,深部光度ステレオネットワークによって推定される表面の正規性を活用している。
  論文  参考訳（メタデータ） (2021-10-11T20:20:03Z)
• A Novel Unified Model for Multi-exposure Stereo Coding Based on Low Rank Tucker-ALS and 3D-HEVC [0.6091702876917279]
  テンソル低ランク近似に基づくマルチ露光ステレオ画像の効率的な符号化法を提案する。 マルチ露光融合によりデコーダのHDRステレオ出力が生成され、リアリズムと両眼3D深度が向上する。 3D-HEVCによる符号化は、低ランク近似表現におけるフレーム内、ビュー間、コンポーネント間冗長性を利用して提案されたスキーム効率を向上させる。
  論文  参考訳（メタデータ） (2021-04-10T10:10:14Z)
• SMD-Nets: Stereo Mixture Density Networks [68.56947049719936]
  SMD-Nets(Stereo Mixture Density Networks)は、幅広い2Dおよび3Dアーキテクチャに対応したシンプルで効果的な学習フレームワークです。 具体的には,バイモーダル混合密度を出力表現として活用し,不連続近傍の鋭く正確な不一致推定を可能にすることを示す。 我々は8Mpx解像度のステレオペアと現実世界のステレオデータセットからなる、新しい高解像度でリアルな合成ステレオデータセットに関する包括的な実験を行う。
  論文  参考訳（メタデータ） (2021-04-08T16:15:46Z)
• Du$^2$Net: Learning Depth Estimation from Dual-Cameras and Dual-Pixels [16.797169907541164]
  本稿では,デュアルカメラのステレオとデュアルピクセルセンサのステレオを組み合わせた深度推定のためのニューラルネットワークに基づく新しいアプローチを提案する。 我々のネットワークは、2つの情報ソースを融合するために新しいアーキテクチャを使用し、純粋な双眼鏡ステレオマッチングの限界を克服することができる。
  論文  参考訳（メタデータ） (2020-03-31T15:39:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。