論文の概要: Ghost-Stereo: GhostNet-based Cost Volume Enhancement and Aggregation for Stereo Matching Networks
- arxiv url: http://arxiv.org/abs/2405.14520v1
- Date: Thu, 23 May 2024 13:02:30 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-24 15:05:17.862059
- Title: Ghost-Stereo: GhostNet-based Cost Volume Enhancement and Aggregation for Stereo Matching Networks
- Title（参考訳）: Ghost-Stereo: ステレオマッチングネットワークのためのGhostNetベースのコストボリューム拡張と集約
- Authors: Xingguang Jiang, Xiaofeng Bian, Chenggang Guo,
- Abstract要約: ステレオマッチングに基づく深度推定の現在の手法は,多数のパラメータとスローランニング時間に悩まされている。
本稿では,新しいステレオマッチングネットワークであるGhost-Stereoを提案する。
Ghost-Stereoは、いくつかの公開ベンチマークで最先端のリアルタイムメソッドと同等のパフォーマンスを達成する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Depth estimation based on stereo matching is a classic but popular computer vision problem, which has a wide range of real-world applications. Current stereo matching methods generally adopt the deep Siamese neural network architecture, and have achieved impressing performance by constructing feature matching cost volumes and using 3D convolutions for cost aggregation. However, most existing methods suffer from large number of parameters and slow running time due to the sequential use of 3D convolutions. In this paper, we propose Ghost-Stereo, a novel end-to-end stereo matching network. The feature extraction part of the network uses the GhostNet to form a U-shaped structure. The core of Ghost-Stereo is a GhostNet feature-based cost volume enhancement (Ghost-CVE) module and a GhostNet-inspired lightweight cost volume aggregation (Ghost-CVA) module. For the Ghost-CVE part, cost volumes are constructed and fused by the GhostNet-based features to enhance the spatial context awareness. For the Ghost-CVA part, a lightweight 3D convolution bottleneck block based on the GhostNet is proposed to reduce the computational complexity in this module. By combining with the context and geometry fusion module, a classical hourglass-shaped cost volume aggregate structure is constructed. Ghost-Stereo achieves a comparable performance than state-of-the-art real-time methods on several publicly benchmarks, and shows a better generalization ability.
- Abstract（参考訳）: ステレオマッチングに基づく深さ推定は古典的だが一般的なコンピュータビジョン問題であり、様々な実世界の応用がある。
現在のステレオマッチング手法は一般的にディープ・シームズニューラルネットワークアーキテクチャを採用しており、特徴マッチングのコストボリュームを構築し、コストアグリゲーションに3D畳み込みを使用することで、印象的な性能を実現している。
しかし、既存の手法の多くは、3D畳み込みの逐次的使用により、大量のパラメータと実行時間の遅れに悩まされている。
本稿では,新しいエンドツーエンドステレオマッチングネットワークであるGhost-Stereoを提案する。
ネットワークの特徴抽出部は、GhostNetを使用してU字型構造を形成する。
Ghost-Stereoのコアは、GhostNetの機能ベースのコストボリューム拡張(Ghost-CVE)モジュールと、GhostNetにインスパイアされた軽量コストボリュームアグリゲーション(Ghost-CVA)モジュールである。
Ghost-CVEでは、空間的コンテキスト認識を高めるために、GhostNetベースの機能によってコストボリュームを構築し、融合する。
Ghost-CVAでは、GhostNetに基づく軽量な3D畳み込みボトルネックブロックが提案され、このモジュールの計算複雑性を低減している。
テクスチャとジオメトリフュージョンモジュールを組み合わせることで、古典的な砂時計形状のコストボリューム集約構造を構築する。
Ghost-Stereoは、いくつかの公開ベンチマークで最先端のリアルタイムメソッドと同等のパフォーマンスを達成し、より優れた一般化能力を示している。
関連論文リスト
- DSVT: Dynamic Sparse Voxel Transformer with Rotated Sets [95.84755169585492]
本研究では,屋外3次元知覚のためのシングルストライドウィンドウベースのボクセルトランスであるDynamic Sparse Voxel Transformer (DSVT)を提案する。
本モデルでは,3次元認識タスクを多岐にわたって行うことにより,最先端の性能を実現する。
論文 参考訳（メタデータ） (2023-01-15T09:31:58Z) - GhostNetV2: Enhance Cheap Operation with Long-Range Attention [59.65543143580889]
ハードウェアフレンドリーなアテンション機構(DFCアテンション)を提案し,モバイルアプリケーション用の新しいGhostNetV2アーキテクチャを提案する。
提案したDFCアテンションは、ハードウェア上で高速に動作できるだけでなく、長距離画素間の依存を捉えることができる完全接続層に基づいて構築されている。
さらに,従来のGhostNetのボトルネックを再考し,DFCに着目した安価な操作による機能拡張を提案する。
論文 参考訳（メタデータ） (2022-11-23T12:16:59Z) - RepGhost: A Hardware-Efficient Ghost Module via Re-parameterization [13.605461609002539]
機能再利用は、軽量畳み込みニューラルネットワーク(CNN)アーキテクチャ設計において重要な技術である。
現在の手法では、他のレイヤから特徴マップを再利用することで、大容量のチャネル番号を安価に維持するために、連結演算子を利用する。
本稿では、結合ではなく、暗黙的に、より効率的に機能再利用を実現するための新しい視点を提供する。
論文 参考訳（メタデータ） (2022-11-11T09:44:23Z) - HorNet: Efficient High-Order Spatial Interactions with Recursive Gated
Convolutions [109.33112814212129]
本稿では,畳み込みに基づくフレームワークを用いて,入力適応型,長距離,高次空間相互作用を効率的に実装可能であることを示す。
本稿では、ゲート畳み込みと高次空間相互作用を行うRecursive Gated Convolution(textitgtextitn$Conv)を提案する。
この操作に基づいて,HorNetという汎用視覚バックボーンを新たに構築する。
論文 参考訳（メタデータ） (2022-07-28T17:59:02Z) - GhostNets on Heterogeneous Devices via Cheap Operations [129.15798618025127]
本稿では,CPU効率のよいGhost(C-Ghost)モジュールを提案する。
ベンチマーク実験により,提案したC-GhostモジュールとG-Ghostステージの有効性が示された。
C-GhostNetとG-GhostNetは、それぞれCPUとGPUの精度とレイテンシの最適なトレードオフを達成することができる。
論文 参考訳（メタデータ） (2022-01-10T11:46:38Z) - Ghost-dil-NetVLAD: A Lightweight Neural Network for Visual Place Recognition [3.6249801498927923]
本稿では,GhostCNNと呼ばれるフロントエンド認識モデルと学習可能なVLAD層をバックエンドとして構成した,軽量な教師付きエンドツーエンドニューラルネットワークを提案する。
提案する軽量モデルをさらに強化するため,Ghostモジュールに拡張畳み込みを加えて,より空間的意味情報を含む特徴を抽出し,精度を向上する。
論文 参考訳（メタデータ） (2021-12-22T06:05:02Z) - GhostShiftAddNet: More Features from Energy-Efficient Operations [1.2891210250935146]
ディープ畳み込みニューラルネットワーク(Deep Convolutional Neural Network, CNN)は、計算とメモリ集約である。
本稿では,ハードウェア効率のよいディープネットワークを実現するGhostShiftAddNetを提案する。
我々は新しいボトルネックブロックであるGhostSAを導入し、ブロック内のすべての乗算を安価な演算に変換する。
論文 参考訳（メタデータ） (2021-09-20T12:50:42Z) - Correlate-and-Excite: Real-Time Stereo Matching via Guided Cost Volume
Excitation [65.83008812026635]
本稿では,GCE ( Guided Cost Volume Excitation) を構築し,画像によって誘導されるコストボリュームの簡単なチャネル励磁により,性能が大幅に向上することを示す。
我々はCorrelate-and-Excite(CoEx)と呼ぶエンドツーエンドネットワークを提案する。
論文 参考訳（メタデータ） (2021-08-12T14:32:26Z) - Bilateral Grid Learning for Stereo Matching Networks [22.92443311789097]
本稿では,学習したバイラテラルグリッドにおけるスライシング操作に基づくエッジ保存コストボリュームアップサンプリングモジュールを提案する。
スライス層はパラメータフリーで、高品質の高解像度のコストボリュームを得ることができます。
このモジュールをベースとしたリアルタイムネットワークを設計し、既存のリアルタイムなディープステレオマッチングネットワークより優れています。
論文 参考訳（メタデータ） (2021-01-01T09:08:01Z) - Dense Hybrid Recurrent Multi-view Stereo Net with Dynamic Consistency
Checking [54.58791377183574]
1)DRENet(Dense Reception Expanded)モジュールで,原サイズの密集した特徴マップをマルチスケールのコンテキスト情報で抽出し,2)HU-LSTM(Hybrid U-LSTM)を用いて3次元マッチングボリュームを予測深度マップに変換する。
R-MVSNetのメモリ消費は19.4%しかかからないが,本手法は最先端の手法と競合する性能を示し,メモリ消費を劇的に削減する。
論文 参考訳（メタデータ） (2020-07-21T14:59:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。