論文の概要: FCDSN-DC: An Accurate and Lightweight Convolutional Neural Network for
Stereo Estimation with Depth Completion
- arxiv url: http://arxiv.org/abs/2209.06525v1
- Date: Wed, 14 Sep 2022 09:56:19 GMT
- ステータス: 処理完了
- システム内更新日: 2022-09-15 13:32:18.395682
- Title: FCDSN-DC: An Accurate and Lightweight Convolutional Neural Network for
Stereo Estimation with Depth Completion
- Title(参考訳): fcdsn-dc:深度完備ステレオ推定のための高精度で軽量な畳み込みニューラルネットワーク
- Authors: Dominik Hirner, Friedrich Fraundorfer
- Abstract要約: 本研究では,立体推定のための高精度で軽量な畳み込みニューラルネットワークを提案する。
FCDSN-DCを用いた完全畳み込み変形可能な類似性ネットワーク(FCDSN-DC)と命名する。
実世界の屋内・屋外のシーン,特にミドルベリー,キッティ,ETH3Dにおいて,競争力のある結果が得られた場合の課題について検討した。
- 参考スコア(独自算出の注目度): 14.876446067338406
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We propose an accurate and lightweight convolutional neural network for
stereo estimation with depth completion. We name this method
fully-convolutional deformable similarity network with depth completion
(FCDSN-DC). This method extends FC-DCNN by improving the feature extractor,
adding a network structure for training highly accurate similarity functions
and a network structure for filling inconsistent disparity estimates. The whole
method consists of three parts. The first part consists of fully-convolutional
densely connected layers that computes expressive features of rectified image
pairs. The second part of our network learns highly accurate similarity
functions between this learned features. It consists of densely-connected
convolution layers with a deformable convolution block at the end to further
improve the accuracy of the results. After this step an initial disparity map
is created and the left-right consistency check is performed in order to remove
inconsistent points. The last part of the network then uses this input together
with the corresponding left RGB image in order to train a network that fills in
the missing measurements. Consistent depth estimations are gathered around
invalid points and are parsed together with the RGB points into a shallow CNN
network structure in order to recover the missing values. We evaluate our
method on challenging real world indoor and outdoor scenes, in particular
Middlebury, KITTI and ETH3D were it produces competitive results. We
furthermore show that this method generalizes well and is well suited for many
applications without the need of further training. The code of our full
framework is available at: https://github.com/thedodo/FCDSN-DC
- Abstract(参考訳): 本研究では,立体推定のための高精度で軽量な畳み込みニューラルネットワークを提案する。
本手法をFCDSN-DCを用いた完全畳み込み変形可能な類似性ネットワークと呼ぶ。
本手法は,特徴抽出器の改良によりFC-DCNNを拡張し,高精度な類似性関数を訓練するためのネットワーク構造と不一致の異性推定を補うネットワーク構造を付加する。
全体は3つの部分からなる。
第1部は完全畳み込みの密結合層で構成され、整列された画像対の表現的特徴を計算する。
ネットワークの第2部は、これらの学習機能間の高精度な類似性関数を学習する。
重結合の畳み込み層と変形可能な畳み込みブロックから構成され、結果の精度をさらに向上する。
このステップの後、初期不一致マップを作成し、不整合点を除去するために左右一貫性チェックを行う。
ネットワークの最後の部分は、この入力と対応する左RGBイメージを使用して、不足した測定値を満たすネットワークをトレーニングする。
一致深さ推定は無効な点を中心に収集され、RGBポイントと共に浅いCNNネットワーク構造に解析され、欠落した値を復元する。
本研究では,室内・屋外のシーン,特にミドルベリー,キッティ,ETH3Dが競合する結果を得た場合の課題について評価した。
さらに,本手法が一般化され,さらなるトレーニングを必要とせず,多くのアプリケーションに適していることを示す。
完全なフレームワークのコードは、https://github.com/thedodo/FCDSN-DCで利用可能です。
関連論文リスト
- SVNet: Where SO(3) Equivariance Meets Binarization on Point Cloud
Representation [65.4396959244269]
本論文は,3次元学習アーキテクチャを構築するための一般的なフレームワークを設計することによる課題に対処する。
提案手法はPointNetやDGCNNといった一般的なバックボーンに適用できる。
ModelNet40、ShapeNet、および実世界のデータセットであるScanObjectNNの実験では、この手法が効率、回転、精度の間の大きなトレードオフを達成することを示した。
論文 参考訳(メタデータ) (2022-09-13T12:12:19Z) - What Can Be Learnt With Wide Convolutional Neural Networks? [69.55323565255631]
カーネルシステムにおける無限大の深層CNNについて検討する。
我々は,深部CNNが対象関数の空間スケールに適応していることを証明する。
我々は、別の深部CNNの出力に基づいて訓練された深部CNNの一般化誤差を計算して結論付ける。
論文 参考訳(メタデータ) (2022-08-01T17:19:32Z) - Focal Sparse Convolutional Networks for 3D Object Detection [121.45950754511021]
我々はスパースCNNの能力を高めるために2つの新しいモジュールを導入する。
焦点スパース・コンボリューション(Focals Conv)であり、焦点スパース・コンボリューションの多様変種である。
スパース・コンボリューションにおける空間的に学習可能な空間空間性は,高度な3次元物体検出に不可欠であることを示す。
論文 参考訳(メタデータ) (2022-04-26T17:34:10Z) - GCNDepth: Self-supervised Monocular Depth Estimation based on Graph
Convolutional Network [11.332580333969302]
この研究は、深度マップの量的および質的な理解を高めるために、一連の改善を伴う新しいソリューションをもたらす。
グラフ畳み込みネットワーク(GCN)は、非ユークリッドデータ上の畳み込みを処理でき、位相構造内の不規則な画像領域に適用することができる。
提案手法は,公的なKITTIおよびMake3Dデータセットに対して,高い予測精度で89%の精度で同等かつ有望な結果を与える。
論文 参考訳(メタデータ) (2021-12-13T16:46:25Z) - Learning Joint 2D-3D Representations for Depth Completion [90.62843376586216]
2Dおよび3Dの関節の特徴を抽出することを学ぶシンプルで効果的なニューラルネットワークブロックを設計します。
具体的には、画像画素に2D畳み込みと3D点に連続畳み込みを施した2つのドメイン固有のサブネットワークから構成される。
論文 参考訳(メタデータ) (2020-12-22T22:58:29Z) - Do End-to-end Stereo Algorithms Under-utilize Information? [7.538482310185133]
本稿では,2次元および3次元の畳み込みネットワークに適応フィルタリングと半グローバルアグリゲーションを組み込むことによって,エンドツーエンドのステレオマッチングを実現する方法を示す。
改善は、画像からのRGB情報を信号として利用し、マッチングプロセスを動的にガイドすることによる。
論文 参考訳(メタデータ) (2020-10-14T18:32:39Z) - FC-DCNN: A densely connected neural network for stereo estimation [14.876446067338406]
私たちのネットワークは、完全畳み込み型高密度ニューラルネットワーク(FC-DCNN)で構成されています。
FC-DCNNは補正画像ペア間のマッチングコストを算出する。
室内と屋外の両方で,本手法が有効であることを示す。
論文 参考訳(メタデータ) (2020-10-14T10:59:09Z) - Monocular Depth Estimation Using Multi Scale Neural Network And Feature
Fusion [0.0]
ネットワークは2つの異なるブロックを使用し、まず、各特徴マップの畳み込みとマージに異なるフィルタサイズを使用する。
第2ブロックは、完全に連結された層の代わりに拡張畳み込みを使用し、計算を減らし、受容場を増大させる。
我々は、RMSE損失とSILog損失からなる深さ推定のための標準評価指標を用いて、Make 3Dデータセット、NYU Depth V2データセット、Kittiデータセットでネットワークをトレーニングし、テストする。
論文 参考訳(メタデータ) (2020-09-11T18:08:52Z) - Learning Local Neighboring Structure for Robust 3D Shape Representation [143.15904669246697]
3Dメッシュの表現学習は多くのコンピュータビジョンやグラフィックスアプリケーションにおいて重要である。
局所構造認識型異方性畳み込み操作(LSA-Conv)を提案する。
本モデルでは,3次元形状復元において最先端の手法に比べて顕著な改善が得られた。
論文 参考訳(メタデータ) (2020-04-21T13:40:03Z) - Network Adjustment: Channel Search Guided by FLOPs Utilization Ratio [101.84651388520584]
本稿では,ネットワークの精度をFLOPの関数として考慮した,ネットワーク調整という新しいフレームワークを提案する。
標準画像分類データセットと幅広いベースネットワークの実験は、我々のアプローチの有効性を実証している。
論文 参考訳(メタデータ) (2020-04-06T15:51:00Z) - DELTAS: Depth Estimation by Learning Triangulation And densification of
Sparse points [14.254472131009653]
多視点ステレオ (MVS) は, 能動深度センシングの精度と単眼深度推定の実用性の間の黄金平均値である。
3次元畳み込みニューラルネットワーク(CNN)を用いたコストボリュームベースのアプローチにより、MVSシステムの精度が大幅に向上した。
まず、(a)興味点の記述子を検出して評価し、次に(b)興味点の小さな集合をマッチングして三角測量し、最後に(c)CNNを用いてこのスパースな3D点の集合を密度化することで、効率的な深さ推定手法を提案する。
論文 参考訳(メタデータ) (2020-03-19T17:56:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。