Fugu-MT 論文翻訳(概要): HTMNet: A Hybrid Network with Transformer-Mamba Bottleneck Multimodal Fusion for Transparent and Reflective Objects Depth Completion

論文の概要: HTMNet: A Hybrid Network with Transformer-Mamba Bottleneck Multimodal Fusion for Transparent and Reflective Objects Depth Completion

arxiv url: http://arxiv.org/abs/2505.20904v2
Date: Wed, 28 May 2025 08:36:38 GMT
ステータス: 翻訳完了
システム内更新日: 2025-05-29 12:33:41.779866
Title: HTMNet: A Hybrid Network with Transformer-Mamba Bottleneck Multimodal Fusion for Transparent and Reflective Objects Depth Completion
Title（参考訳）: HTMNet:透過的および反射的物体深度補完のためのトランスフォーマー・マンバ・ボツネック多モード核融合を用いたハイブリッドネットワーク
Authors: Guanghu Xie, Yonglong Zhang, Zhiduo Jiang, Yang Liu, Zongwu Xie, Baoshi Cao, Hong Liu,
Abstract要約: 透明で反射的な物体は深度センサーに重大な課題をもたらす。本稿では,Transformer,CNN,Mambaアーキテクチャを統合した新しいハイブリッドモデルであるHTMNetを提案する。本稿では,自己アテンション機構と状態空間モデルに基づく新しいマルチモーダル融合モジュールを提案する。
参考スコア（独自算出の注目度）: 9.235004977824026
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Transparent and reflective objects pose significant challenges for depth sensors, resulting in incomplete depth information that adversely affects downstream robotic perception and manipulation tasks. To address this issue, we propose HTMNet, a novel hybrid model integrating Transformer, CNN, and Mamba architectures. The encoder is based on a dual-branch CNN-Transformer framework, the bottleneck fusion module adopts a Transformer-Mamba architecture, and the decoder is built upon a multi-scale fusion module. We introduce a novel multimodal fusion module grounded in self-attention mechanisms and state space models, marking the first application of the Mamba architecture in the field of transparent object depth completion and revealing its promising potential. Additionally, we design an innovative multi-scale fusion module for the decoder that combines channel attention, spatial attention, and multi-scale feature extraction techniques to effectively integrate multi-scale features through a down-fusion strategy. Extensive evaluations on multiple public datasets demonstrate that our model achieves state-of-the-art(SOTA) performance, validating the effectiveness of our approach.
Abstract（参考訳）: 透明で反射的な物体は深度センサーに重大な課題をもたらし、下流のロボットの知覚や操作に悪影響を及ぼす不完全な深度情報をもたらす。そこで本研究では,Transformer,CNN,Mambaアーキテクチャを統合した新しいハイブリッドモデルであるHTMNetを提案する。エンコーダはデュアルブランチCNN-Transformerフレームワークに基づいており、ボトルネック融合モジュールはTransformer-Mambaアーキテクチャを採用し、デコーダはマルチスケール融合モジュール上に構築されている。自己保持機構と状態空間モデルに基づく新しい多モード融合モジュールを導入し、透明物体深度補完の分野におけるMambaアーキテクチャの最初の応用と、その有望なポテンシャルを明らかにした。さらに,チャネルアテンション,空間アテンション,マルチスケール特徴抽出技術を組み合わせたデコーダ用マルチスケールフュージョンモジュールを設計し,ダウンフュージョン戦略によりマルチスケール特徴を効果的に統合する。複数の公開データセットに対する大規模な評価は、我々のモデルが最先端(SOTA)のパフォーマンスを達成し、我々のアプローチの有効性を検証していることを示している。

関連論文リスト

Unity is Strength: Unifying Convolutional and Transformeral Features for Better Person Re-Identification [60.9670254833103]
人物再識別(ReID)は、重複しないカメラを通して特定の人物を回収することを目的としている。画像に基づく人物ReIDのためのCNNとトランスフォーマーの強みを統合するために,FusionReIDと呼ばれる新しい融合フレームワークを提案する。
論文参考訳（メタデータ） (2024-12-23T03:19:19Z)
SeaDATE: Remedy Dual-Attention Transformer with Semantic Alignment via Contrast Learning for Multimodal Object Detection [18.090706979440334]
マルチモーダルオブジェクト検出は、様々なモーダル情報を活用して、検出器の精度と堅牢性を高める。現在の方法では、トランスフォーマー誘導核融合技術は、ネットワークの様々な深さ層における特徴を抽出する能力を探ることなく、単純にスタック化されている。本論文では,SeaDATEと呼ばれる高精度かつ効率的な物体検出手法を提案する。
論文参考訳（メタデータ） (2024-10-15T07:26:39Z)
A Hybrid Transformer-Mamba Network for Single Image Deraining [70.64069487982916]
既存のデラリング変換器では、固定レンジウィンドウやチャネル次元に沿って自己アテンション機構を採用している。本稿では,多分岐型トランスフォーマー・マンバネットワーク(Transformer-Mamba Network,TransMamba Network,Transformer-Mamba Network)を提案する。
論文参考訳（メタデータ） (2024-08-31T10:03:19Z)
Reliable Object Tracking by Multimodal Hybrid Feature Extraction and Transformer-Based Fusion [18.138433117711177]
本稿では,信頼度の高い単一オブジェクト追跡にフレームイベントベースのデータを利用する新しいマルチモーダルハイブリッドトラッカー(MMHT)を提案する。 MMHTモデルは、人工ニューラルネットワーク(ANN)とスパイクニューラルネットワーク(SNN)からなるハイブリッドバックボーンを使用して、異なる視覚モードから支配的な特徴を抽出する。 MMHTモデルは,他の最先端手法と比較して,競争性能を示すことを示した。
論文参考訳（メタデータ） (2024-05-28T07:24:56Z)
FusionMamba: Efficient Remote Sensing Image Fusion with State Space Model [35.57157248152558]
現在のディープラーニング(DL)手法は、典型的には、特徴抽出と情報統合のために畳み込みニューラルネットワーク(CNN)またはトランスフォーマーを使用する。本研究では,効率的なリモートセンシング画像融合法であるFusionMambaを提案する。
論文参考訳（メタデータ） (2024-04-11T17:29:56Z)
Dual Aggregation Transformer for Image Super-Resolution [92.41781921611646]
画像SRのための新しいトランスモデルDual Aggregation Transformerを提案する。 DATは、ブロック間およびブロック内二重方式で、空間次元とチャネル次元にまたがる特徴を集約する。我々のDATは現在の手法を超越している。
論文参考訳（メタデータ） (2023-08-07T07:39:39Z)
General-Purpose Multimodal Transformer meets Remote Sensing Semantic Segmentation [35.100738362291416]
マルチモーダルAIは、特にセマンティックセグメンテーションのような複雑なタスクのために、補完的なデータソースを活用する。汎用マルチモーダルネットワークの最近のトレンドは、最先端の性能を達成する大きな可能性を示している。本稿では,3次元畳み込みを利用して重要なローカル情報をエンコードし,同時にモーダルな特徴を学習するUNet型モジュールを提案する。
論文参考訳（メタデータ） (2023-07-07T04:58:34Z)
Multimodal Image Fusion based on Hybrid CNN-Transformer and Non-local Cross-modal Attention [12.167049432063132]
本稿では,畳み込みエンコーダとトランスフォーマーベースのデコーダを組み合わせたハイブリッドモデルを提案する。分岐融合モジュールは、2つの枝の特徴を適応的に融合させるように設計されている。
論文参考訳（メタデータ） (2022-10-18T13:30:52Z)
DepthFormer: Exploiting Long-Range Correlation and Local Information for Accurate Monocular Depth Estimation [50.08080424613603]
高精度な単分子深度推定には長距離相関が不可欠である。我々は,このグローバルコンテキストを効果的な注意機構でモデル化するためにTransformerを活用することを提案する。提案したモデルであるDepthFormerは、最先端のモノクル深度推定手法をはるかに超えている。
論文参考訳（メタデータ） (2022-03-27T05:03:56Z)
Multi-Scale Boosted Dehazing Network with Dense Feature Fusion [92.92572594942071]
U-Netアーキテクチャに基づくDense Feature Fusionを用いたマルチスケールブーストデハージングネットワークを提案する。提案モデルでは,ベンチマークデータセットや実世界のハジー画像に対する最先端のアプローチに対して,好意的に機能することを示す。
論文参考訳（メタデータ） (2020-04-28T09:34:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。