論文の概要: Boosting Multi-view Stereo with Late Cost Aggregation

• arxiv url: http://arxiv.org/abs/2401.11751v1
• Date: Mon, 22 Jan 2024 08:23:52 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-23 14:44:50.777934
• Title: Boosting Multi-view Stereo with Late Cost Aggregation
• Title（参考訳）: 遅延コスト集約によるマルチビューステレオの強化
• Authors: Jiang Wu, Rui Li, Yu Zhu, Wenxun Zhao, Jinqiu Sun, Yanning Zhang
• Abstract要約: Pairwise matching cost aggregate is a important step for modern learning-based Multi-view Stereo (MVS) compute。 我々は、ネットワークフィードフォワードプロセス全体を通して、ペアワイズコストを集約できる遅延集約アプローチを提案する。 これにより、後続の深度ネットワークは、コストの忠実さを損なうことなく、重要な幾何学的手がかりを完全に活用することができる。
• 参考スコア（独自算出の注目度）: 47.59150287682573
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Pairwise matching cost aggregation is a crucial step for modern learning-based Multi-view Stereo (MVS). Prior works adopt an early aggregation scheme, which adds up pairwise costs into an intermediate cost. However, we analyze that this process can degrade informative pairwise matchings, thereby blocking the depth network from fully utilizing the original geometric matching cues.To address this challenge, we present a late aggregation approach that allows for aggregating pairwise costs throughout the network feed-forward process, achieving accurate estimations with only minor changes of the plain CasMVSNet.Instead of building an intermediate cost by weighted sum, late aggregation preserves all pairwise costs along a distinct view channel. This enables the succeeding depth network to fully utilize the crucial geometric cues without loss of cost fidelity. Grounded in the new aggregation scheme, we propose further techniques addressing view order dependence inside the preserved cost, handling flexible testing views, and improving the depth filtering process. Despite its technical simplicity, our method improves significantly upon the baseline cascade-based approach, achieving comparable results with state-of-the-art methods with favorable computation overhead.
• Abstract（参考訳）: ペアワイズマッチングコストアグリゲーションは、現代の学習ベースのマルチビューステレオ(mvs)にとって重要なステップである。 以前の作業では初期集約方式を採用しており、中間コストに対価を加算する。 However, we analyze that this process can degrade informative pairwise matchings, thereby blocking the depth network from fully utilizing the original geometric matching cues.To address this challenge, we present a late aggregation approach that allows for aggregating pairwise costs throughout the network feed-forward process, achieving accurate estimations with only minor changes of the plain CasMVSNet.Instead of building an intermediate cost by weighted sum, late aggregation preserves all pairwise costs along a distinct view channel. これにより、後続の深度ネットワークは、コストの忠実さを失うことなく重要な幾何学的手がかりを完全に活用することができる。 新たなアグリゲーション方式を基礎として,保存コスト内でのビューオーダー依存性の解決,フレキシブルなテストビューの処理,深度フィルタリングプロセスの改善などを提案する。 その技術的単純さにもかかわらず、本手法はベースラインのカスケードベースアプローチにより大幅に改善され、計算オーバーヘッドが良好な最先端メソッドと同等の結果が得られる。

関連論文リスト

• Network reconstruction via the minimum description length principle [0.0]
  階層的ベイズ推定と重み量子化に基づく別の非パラメトリック正則化スキームを提案する。 提案手法は最小記述長 (MDL) の原理に従い, データの最大圧縮を可能にする重み分布を明らかにする。 提案手法は, 人工ネットワークと経験ネットワークの再構築において, 体系的に精度を向上することを示した。
  論文  参考訳（メタデータ） (2024-05-02T05:35:09Z)
• Unifying Feature and Cost Aggregation with Transformers for Semantic and Visual Correspondence [51.54175067684008]
  本稿では,高密度マッチングタスク用に設計されたTransformerベースの積分機能とコスト集約ネットワークを提案する。 まず, 特徴集約とコスト集約が異なる特徴を示し, 双方の集約プロセスの司法的利用から生じる実質的な利益の可能性を明らかにした。 本フレームワークは意味マッチングのための標準ベンチマークで評価され,また幾何マッチングにも適用された。
  論文  参考訳（メタデータ） (2024-03-17T07:02:55Z)
• TrackFlow: Multi-Object Tracking with Normalizing Flows [36.86830078167583]
  トラッキング・バイ・ディテクトをマルチモーダル・セッティングに拡張することを目的としている。 3D情報の大まかな見積も利用可能であり、他の伝統的なメトリクスとマージする必要がある。 提案手法は,複数のトラッキング・バイ・検出アルゴリズムの性能を継続的に向上させる。
  論文  参考訳（メタデータ） (2023-08-22T15:40:03Z)
• Stereo Matching with Cost Volume based Sparse Disparity Propagation [27.74131924190943]
  本稿では,コストの一致量とスパースマッチング特徴点に基づく一般的なステレオマッチングを改善するための,シンプルながら斬新な手法を提案する。 提案手法は,最先端手法に匹敵する有望な性能を実現する。
  論文  参考訳（メタデータ） (2022-01-28T05:20:41Z)
• Multi-View Stereo Network with attention thin volume [0.0]
  複数のRGB画像から深度値を推定するための効率的なマルチビューステレオ(MVS)ネットワークを提案する。 入力画像から支配的な情報を完全に集約する自己認識機構を導入する。 また,特徴集約に対するグループワイド相関を導入し,メモリと計算負荷を大幅に削減する。
  論文  参考訳（メタデータ） (2021-10-16T11:51:23Z)
• Correlate-and-Excite: Real-Time Stereo Matching via Guided Cost Volume Excitation [65.83008812026635]
  本稿では,GCE ( Guided Cost Volume Excitation) を構築し,画像によって誘導されるコストボリュームの簡単なチャネル励磁により,性能が大幅に向上することを示す。 我々はCorrelate-and-Excite(CoEx)と呼ぶエンドツーエンドネットワークを提案する。
  論文  参考訳（メタデータ） (2021-08-12T14:32:26Z)
• Semantic Correspondence with Transformers [68.37049687360705]
  本稿では,変換器を用いたコストアグリゲーション(CAT)を提案し,意味論的に類似した画像間の密接な対応を見出す。 初期相関マップと多レベルアグリゲーションを曖昧にするための外観親和性モデリングを含む。 提案手法の有効性を示す実験を行い,広範囲にわたるアブレーション研究を行った。
  論文  参考訳（メタデータ） (2021-06-04T14:39:03Z)
• Manifold Regularized Dynamic Network Pruning [102.24146031250034]
  本稿では,全インスタンスの多様体情報をプルーンドネットワークの空間に埋め込むことにより,冗長フィルタを動的に除去する新しいパラダイムを提案する。 提案手法の有効性をいくつかのベンチマークで検証し,精度と計算コストの両面で優れた性能を示す。
  論文  参考訳（メタデータ） (2021-03-10T03:59:03Z)
• Deep Shells: Unsupervised Shape Correspondence with Optimal Transport [52.646396621449]
  本稿では,3次元形状対応のための教師なし学習手法を提案する。 提案手法は,複数のデータセット上での最先端技術よりも大幅に改善されていることを示す。
  論文  参考訳（メタデータ） (2020-10-28T22:24:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。