論文の概要: Playing to Vision Foundation Model's Strengths in Stereo Matching
- arxiv url: http://arxiv.org/abs/2404.06261v1
- Date: Tue, 9 Apr 2024 12:34:28 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-10 14:50:18.997150
- Title: Playing to Vision Foundation Model's Strengths in Stereo Matching
- Title（参考訳）: ステレオマッチングにおけるビジョンファウンデーションモデルの効果
- Authors: Chuang-Wei Liu, Qijun Chen, Rui Fan,
- Abstract要約: 本研究は,視覚基礎モデル(VFM)をステレオマッチングに適用するための有効なアプローチを初めて探求した。
当社のViTアダプタは,空間微分,パッチアテンション融合,クロスアテンションの3種類のモジュール上に構築されている。
ViTAStereoは、エラーピクセルのパーセンテージで2番目に高いネットワークであるStereoBaseを約7.9%上回り、耐性は3ピクセルである。
- 参考スコア（独自算出の注目度）: 13.887661472501618
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Stereo matching has become a key technique for 3D environment perception in intelligent vehicles. For a considerable time, convolutional neural networks (CNNs) have remained the mainstream choice for feature extraction in this domain. Nonetheless, there is a growing consensus that the existing paradigm should evolve towards vision foundation models (VFM), particularly those developed based on vision Transformers (ViTs) and pre-trained through self-supervision on extensive, unlabeled datasets. While VFMs are adept at extracting informative, general-purpose visual features, specifically for dense prediction tasks, their performance often lacks in geometric vision tasks. This study serves as the first exploration of a viable approach for adapting VFMs to stereo matching. Our ViT adapter, referred to as ViTAS, is constructed upon three types of modules: spatial differentiation, patch attention fusion, and cross-attention. The first module initializes feature pyramids, while the latter two aggregate stereo and multi-scale contextual information into fine-grained features, respectively. ViTAStereo, which combines ViTAS with cost volume-based stereo matching back-end processes, achieves the top rank on the KITTI Stereo 2012 dataset and outperforms the second-best network StereoBase by approximately 7.9% in terms of the percentage of error pixels, with a tolerance of 3 pixels. Additional experiments across diverse scenarios further demonstrate its superior generalizability compared to all other state-of-the-art approaches. We believe this new paradigm will pave the way for the next generation of stereo matching networks.
- Abstract（参考訳）: ステレオマッチングは、インテリジェントな車両における3次元環境認識の鍵となる技術となっている。
長い間、畳み込みニューラルネットワーク(CNN)がこの領域の機能抽出の主要な選択肢であり続けている。
にもかかわらず、既存のパラダイムはビジョン基盤モデル(VFM)、特にビジョントランスフォーマー(ViT)に基づいて開発され、広範囲でラベルのないデータセットの自己スーパービジョンを通じて事前訓練されるモデルへと進化するべきだという意見の一致はますます高まっている。
VFMは、特に高密度な予測タスクのために、情報的で汎用的な視覚特徴の抽出に長けているが、その性能は幾何学的な視覚タスクに欠けることが多い。
この研究は、VFMをステレオマッチングに適応するための有効なアプローチの最初の調査となる。
当社のViTアダプタは,空間微分,パッチアテンション融合,クロスアテンションの3種類のモジュール上に構築されている。
最初のモジュールは特徴ピラミッドを初期化し、後者の2つのアグリゲートステレオとマルチスケールコンテキスト情報をそれぞれ細かな特徴に分割する。
ViTAStereoは、ViTASとコストボリュームベースのステレオマッチングバックエンドプロセスを組み合わせて、KITTI Stereo 2012データセットのトップランクを獲得し、エラー画素の割合で2番目に高いネットワークであるStereoBaseを約7.9%上回る3ピクセルの耐性を実現している。
様々なシナリオにまたがる追加の実験は、他の最先端の手法と比較して、より優れた一般化性を示す。
我々は、この新しいパラダイムが次世代のステレオマッチングネットワークの道を開くと信じている。
関連論文リスト
- Rethinking the Key Factors for the Generalization of Remote Sensing Stereo Matching Networks [15.456986824737067]
ステレオマッチングタスクは高価な空中LiDARデータに依存している。
本稿では,3つの視点から重要なトレーニング要因について検討する。
一般化性能のよい教師なしステレオマッチングネットワークを提案する。
論文 参考訳（メタデータ） (2024-08-14T15:26:10Z) - Global-Local Progressive Integration Network for Blind Image Quality Assessment [6.095342999639137]
視覚変換器(ViT)は、長期依存をモデル化するためのコンピュータビジョンに優れているが、画像品質評価(IQA)には2つの重要な課題に直面している。
本稿では,GlintIQAと呼ばれるIQAのグローバルローカルプログレッシブインテグレーションネットワークを提案し,これらの課題を3つのキーコンポーネントを通して解決する。
論文 参考訳（メタデータ） (2024-08-07T16:34:32Z) - MsSVT++: Mixed-scale Sparse Voxel Transformer with Center Voting for 3D
Object Detection [19.8309983660935]
MsSVT++は、Mixed-scale Sparse Voxel Transformerである。
両タイプの情報を、分割・コンカレントアプローチで同時にキャプチャする。
MsSVT++は、さまざまなデータセット間で一貫して例外的なパフォーマンスを提供する。
論文 参考訳（メタデータ） (2024-01-22T06:42:23Z) - Generalized Face Forgery Detection via Adaptive Learning for Pre-trained Vision Transformer [54.32283739486781]
適応学習パラダイムの下で,textbfForgery-aware textbfAdaptive textbfVision textbfTransformer(FA-ViT)を提案する。
FA-ViTは、クロスデータセット評価において、Celeb-DFおよびDFDCデータセット上で93.83%と78.32%のAUCスコアを達成する。
論文 参考訳（メタデータ） (2023-09-20T06:51:11Z) - Multi-scale Alternated Attention Transformer for Generalized Stereo
Matching [7.493797166406228]
両視野および単一視野におけるエピポーラ線の影響のバランスをとるために,Alternated Attention U-shaped Transformer (AAUformer) と呼ばれる簡易かつ高効率なネットワークを提案する。
他のモデルと比較して、我々のモデルはいくつかの主要な設計を持っている。
我々はいくつかの主流ステレオマッチングデータセットについて比較研究とアブレーション研究を行った。
論文 参考訳（メタデータ） (2023-08-06T08:22:39Z) - Unifying Flow, Stereo and Depth Estimation [121.54066319299261]
本稿では3つの動作と3次元知覚タスクのための統一的な定式化とモデルを提案する。
これら3つのタスクを、統一された高密度対応マッチング問題として定式化する。
我々のモデルは、モデルアーキテクチャとパラメータがタスク間で共有されているため、自然にクロスタスク転送を可能にします。
論文 参考訳（メタデータ） (2022-11-10T18:59:54Z) - Bridging the Gap Between Vision Transformers and Convolutional Neural
Networks on Small Datasets [91.25055890980084]
小さなデータセットでスクラッチからトレーニングする場合、ビジョントランスフォーマー(ViT)と畳み込みニューラルネットワーク(CNN)の間には、依然として極端なパフォーマンスギャップがある。
本稿では2つの帰納バイアスを緩和する解として動的ハイブリッドビジョン変換器(DHVT)を提案する。
我々のDHVTは、CIFAR-100が85.68%、22.8Mパラメータが82.3%、ImageNet-1Kが24.0Mパラメータが82.3%の軽量モデルで、最先端のパフォーマンスを実現している。
論文 参考訳（メタデータ） (2022-10-12T06:54:39Z) - Unleashing Vanilla Vision Transformer with Masked Image Modeling for
Object Detection [39.37861288287621]
MIMで事前訓練されたバニラViTは、難しいオブジェクトレベルの認識シナリオで驚くほどうまく機能する。
ランダムなコンパクトなコンボリューションステムは、事前訓練された大きなカーネルのパッチフィケーションステムに取って代わる。
提案された検出器はMIMDetと呼ばれ、MIMで事前訓練されたバニラVITが2.3ボックスAPと2.5マスクAPで階層スウィントランスより優れた性能を発揮する。
論文 参考訳（メタデータ） (2022-04-06T17:59:04Z) - Revisiting Domain Generalized Stereo Matching Networks from a Feature
Consistency Perspective [65.37571681370096]
両視点にまたがる単純な画素単位のコントラスト学習を提案する。
ドメイン間の立体的特徴一貫性をよりよく維持するために、立体選択的白化損失を導入する。
提案手法は,複数の最先端ネットワークよりも優れた性能を実現する。
論文 参考訳（メタデータ） (2022-03-21T11:21:41Z) - ViTAEv2: Vision Transformer Advanced by Exploring Inductive Bias for
Image Recognition and Beyond [76.35955924137986]
我々は、内在性IBを畳み込み、すなわちViTAEから探索するビジョントランスフォーマーを提案する。
ViTAEはいくつかの空間ピラミッド縮小モジュールを備えており、入力イメージをリッチなマルチスケールコンテキストでトークンに埋め込む。
我々は、ImageNet検証セット上で88.5%のTop-1分類精度と、ImageNet実検証セット上で最高の91.2%のTop-1分類精度を得る。
論文 参考訳（メタデータ） (2022-02-21T10:40:05Z) - SMD-Nets: Stereo Mixture Density Networks [68.56947049719936]
SMD-Nets(Stereo Mixture Density Networks)は、幅広い2Dおよび3Dアーキテクチャに対応したシンプルで効果的な学習フレームワークです。
具体的には,バイモーダル混合密度を出力表現として活用し,不連続近傍の鋭く正確な不一致推定を可能にすることを示す。
我々は8Mpx解像度のステレオペアと現実世界のステレオデータセットからなる、新しい高解像度でリアルな合成ステレオデータセットに関する包括的な実験を行う。
論文 参考訳（メタデータ） (2021-04-08T16:15:46Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。