論文の概要: Fully Exploiting Vision Foundation Model's Profound Prior Knowledge for Generalizable RGB-Depth Driving Scene Parsing

• arxiv url: http://arxiv.org/abs/2502.06219v1
• Date: Mon, 10 Feb 2025 07:50:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-11 14:31:46.323837
• Title: Fully Exploiting Vision Foundation Model's Profound Prior Knowledge for Generalizable RGB-Depth Driving Scene Parsing
• Title（参考訳）: 一般化可能なRGB深度運転シーン解析のための完全爆発型ビジョンファウンデーションモデルの事前知識
• Authors: Sicen Guo, Tianyou Wen, Chuang-Wei Liu, Qijun Chen, Rui Fan,
• Abstract要約: ビジョン基礎モデル(VFM)は多くのコンピュータビジョンタスクを進歩させた。 一般化可能なRGB深度運転シーン解析のためのVFMを完全に活用する手法を提案する。 HFITサイドアダプタの入力として使用されるVFMの相対的な深さ予測結果は、深さマップへの依存の限界を克服する。
• 参考スコア（独自算出の注目度）: 11.849468396262983
• License:
• Abstract: Recent vision foundation models (VFMs), typically based on Vision Transformer (ViT), have significantly advanced numerous computer vision tasks. Despite their success in tasks focused solely on RGB images, the potential of VFMs in RGB-depth driving scene parsing remains largely under-explored. In this article, we take one step toward this emerging research area by investigating a feasible technique to fully exploit VFMs for generalizable RGB-depth driving scene parsing. Specifically, we explore the inherent characteristics of RGB and depth data, thereby presenting a Heterogeneous Feature Integration Transformer (HFIT). This network enables the efficient extraction and integration of comprehensive heterogeneous features without re-training ViTs. Relative depth prediction results from VFMs, used as inputs to the HFIT side adapter, overcome the limitations of the dependence on depth maps. Our proposed HFIT demonstrates superior performance compared to all other traditional single-modal and data-fusion scene parsing networks, pre-trained VFMs, and ViT adapters on the Cityscapes and KITTI Semantics datasets. We believe this novel strategy paves the way for future innovations in VFM-based data-fusion techniques for driving scene parsing. Our source code is publicly available at https://mias.group/HFIT.
• Abstract（参考訳）: 近年の視覚基礎モデル(VFM)はビジョントランスフォーマー(ViT)をベースとしており、多くのコンピュータビジョンタスクが大幅に進歩している。 RGB画像のみに焦点を絞ったタスクの成功にもかかわらず、RGB深度運転シーン解析におけるVFMの可能性はほとんど調査されていない。 本稿では,本研究分野への一歩として,汎用化可能なRGB深度運転シーン解析のために,VFMをフル活用する実現可能な技術について検討する。 具体的には,RGBと深度データの性質を考察し,HFIT(Heterogeneous Feature Integration Transformer)を提案する。 このネットワークは、ViTを再訓練することなく、包括的ヘテロジニアス機能の効率的な抽出と統合を可能にする。 HFITサイドアダプタの入力として使用されるVFMの相対的な深さ予測結果は、深さマップへの依存の限界を克服する。 提案するHFITは,CityscapesおよびKITTIセマンティックスデータセット上の従来の単一モーダルおよびデータ融合シーン解析ネットワーク,事前訓練されたVFM,およびViTアダプタと比較して,優れた性能を示す。 我々は、この新たな戦略が、シーン解析を駆動するためのVFMベースのデータ融合技術における将来のイノベーションの道を開くと信じている。 ソースコードはhttps://mias.group/HFIT.comで公開されています。

関連論文リスト

• HAPNet: Toward Superior RGB-Thermal Scene Parsing via Hybrid, Asymmetric, and Progressive Heterogeneous Feature Fusion [15.538174593176166]
  本研究では,RGB熱水シーン解析のためのVFM機能をフル活用するための実現可能な戦略について検討する。 具体的には、VFMと畳み込みニューラルネットワークの両方を組み込んだハイブリッド非対称エンコーダを設計する。 この設計により、相補的な異種特徴のより効果的な抽出が可能となり、後に二重経路の進行的な方法で融合される。
  論文  参考訳（メタデータ） (2024-04-04T15:31:11Z)
• Salient Object Detection in RGB-D Videos [11.805682025734551]
  本稿では,データセットとモデルという2つの主要なコントリビューションについて述べる。 現実的な深度を持つ新しいRGB-D VSODデータセットであるRDVSデータセットを構築した。 RGB-D VSODに適した3ストリームネットワークであるDCTNet+を紹介する。
  論文  参考訳（メタデータ） (2023-10-24T03:18:07Z)
• Cross-modal Orthogonal High-rank Augmentation for RGB-Event Transformer-trackers [58.802352477207094]
  本研究では,2つのモード間の分布ギャップを埋めるために,事前学習された視覚変換器(ViT)の潜在可能性を探る。 本研究では,いくつかのトークンの特定のモダリティをランダムにマスキングし,異なるモダリティのトークン間の相互作用を積極的に行うマスクモデリング戦略を提案する。 実験により,我々のプラグアンドプレイトレーニング強化技術は,追跡精度と成功率の両方の観点から,最先端のワンストリームと2つのトラッカーストリームを大幅に向上させることができることが示された。
  論文  参考訳（メタデータ） (2023-07-09T08:58:47Z)
• MIPI 2023 Challenge on RGB+ToF Depth Completion: Methods and Results [76.77266693620425]
  深層学習により、RGB画像からの深度マップのより正確で効率的な完成と、粗いToF測定が可能になった。 異なる深度補完法の性能を評価するため,RGB+スパースToF深度補完コンペティションを組織した。 本稿では,競争の結果を提示し,トップパフォーマンス手法の長所と短所を解析する。
  論文  参考訳（メタデータ） (2023-04-27T02:00:04Z)
• A Strong Transfer Baseline for RGB-D Fusion in Vision Transformers [0.0]
  単視点3Dオブジェクト認識のためのRGB-Dドメインで事前学習したViTを転送するためのレシピを提案する。 我々の適応したViTsは、ワシントン州で95.1%の精度で評価され、このベンチマークで新しい最先端の結果が得られた。
  論文  参考訳（メタデータ） (2022-10-03T12:08:09Z)
• Dual Swin-Transformer based Mutual Interactive Network for RGB-D Salient Object Detection [67.33924278729903]
  本研究では,Dual Swin-Transformerを用いたMutual Interactive Networkを提案する。 視覚入力における長距離依存をモデル化するために,RGBと奥行きモードの両方の機能抽出器としてSwin-Transformerを採用している。 5つの標準RGB-D SODベンチマークデータセットに関する総合的な実験は、提案手法の優位性を実証している。
  論文  参考訳（メタデータ） (2022-06-07T08:35:41Z)
• Joint Learning of Salient Object Detection, Depth Estimation and Contour Extraction [91.43066633305662]
  RGB-D Salient Object Detection (SOD) のための新しいマルチタスク・マルチモーダルフィルタトランス (MMFT) ネットワークを提案する。 具体的には、深度推定、健全な物体検出、輪郭推定の3つの相補的なタスクを統合する。マルチタスク機構は、タスク認識の特徴を補助タスクから学習するためのモデルを促進する。 実験の結果、複数のデータセット上での深度に基づくRGB-D SOD法をはるかに上回るだけでなく、高品質の深度マップと塩分濃度を同時に正確に予測できることがわかった。
  論文  参考訳（メタデータ） (2022-03-09T17:20:18Z)
• MTFNet: Mutual-Transformer Fusion Network for RGB-D Salient Object Detection [15.371153771528093]
  RGB-D SODのためのMTFNet(Mutual-Transformer Fusion Network)を提案する。 MTFNet には $i.e.$, Focal Feature Extractor (FFE) と Mutual-Transformer Fusion (MTF) という2つの主要なモジュールが含まれている。 6つの公開ベンチマークの総合的な実験結果から,提案したMTFNetの優位性を示す。
  論文  参考訳（メタデータ） (2021-12-02T12:48:37Z)
• Sparse Auxiliary Networks for Unified Monocular Depth Prediction and Completion [56.85837052421469]
  コスト効率のよいセンサで得られたデータからシーン形状を推定することは、ロボットや自動運転車にとって鍵となる。 本稿では,1枚のRGB画像から,低コストな能動深度センサによるスパース計測により,深度を推定する問題について検討する。 sparse networks (sans) は,深さ予測と完了という2つのタスクをmonodepthネットワークで実行可能にする,新しいモジュールである。
  論文  参考訳（メタデータ） (2021-03-30T21:22:26Z)
• Accurate RGB-D Salient Object Detection via Collaborative Learning [101.82654054191443]
  RGB-Dサリエンシ検出は、いくつかの課題シナリオにおいて素晴らしい能力を示している。 本稿では,エッジ,深度,塩分濃度をより効率的に活用する新しい協調学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-07-23T04:33:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。