Fugu-MT 論文翻訳(概要): AdaptiveFusion: Adaptive Multi-Modal Multi-View Fusion for 3D Human Body Reconstruction

論文の概要: AdaptiveFusion: Adaptive Multi-Modal Multi-View Fusion for 3D Human Body Reconstruction

arxiv url: http://arxiv.org/abs/2409.04851v1
Date: Sat, 7 Sep 2024 15:06:30 GMT
ステータス: 処理完了
システム内更新日: 2024-09-10 20:20:37.057031
Title: AdaptiveFusion: Adaptive Multi-Modal Multi-View Fusion for 3D Human Body Reconstruction
Title（参考訳）: AdaptiveFusion:3次元人体再構成のための適応型マルチモーダル・マルチビュー・フュージョン
Authors: Anjun Chen, Xiangyu Wang, Zhi Xu, Kun Shi, Yan Qin, Yuchi Huo, Jiming Chen, Qi Ye,
Abstract要約: 本稿では,汎用適応型マルチモーダル・マルチビュー融合フレームワークAdaptiveFusionを提案する。本手法は最先端の核融合法と比較して精度が高い。
参考スコア（独自算出の注目度）: 15.18875378385477
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Recent advancements in sensor technology and deep learning have led to significant progress in 3D human body reconstruction. However, most existing approaches rely on data from a specific sensor, which can be unreliable due to the inherent limitations of individual sensing modalities. On the other hand, existing multi-modal fusion methods generally require customized designs based on the specific sensor combinations or setups, which limits the flexibility and generality of these methods. Furthermore, conventional point-image projection-based and Transformer-based fusion networks are susceptible to the influence of noisy modalities and sensor poses. To address these limitations and achieve robust 3D human body reconstruction in various conditions, we propose AdaptiveFusion, a generic adaptive multi-modal multi-view fusion framework that can effectively incorporate arbitrary combinations of uncalibrated sensor inputs. By treating different modalities from various viewpoints as equal tokens, and our handcrafted modality sampling module by leveraging the inherent flexibility of Transformer models, AdaptiveFusion is able to cope with arbitrary numbers of inputs and accommodate noisy modalities with only a single training network. Extensive experiments on large-scale human datasets demonstrate the effectiveness of AdaptiveFusion in achieving high-quality 3D human body reconstruction in various environments. In addition, our method achieves superior accuracy compared to state-of-the-art fusion methods.
Abstract（参考訳）: 近年のセンサ技術と深層学習の進歩は、3次元の人体再構築に大きな進歩をもたらした。しかし、既存のほとんどのアプローチは特定のセンサーのデータに依存しており、個々の知覚モーダルに固有の制限があるため信頼性が低い。一方、既存のマルチモーダル融合法は、一般的に特定のセンサーの組み合わせや設定に基づいてカスタマイズされた設計を必要とするため、これらの手法の柔軟性と汎用性は制限される。さらに,従来の点像投影型およびトランスフォーマー型核融合ネットワークは,ノイズモードやセンサポーズの影響を受けやすい。これらの制約に対処し、様々な条件下で堅牢な3次元人体再構築を実現するために、センサ入力の任意の組み合わせを効果的に活用できる汎用適応型マルチモーダル・マルチビュー融合フレームワークAdaptiveFusionを提案する。様々な視点から異なるモダリティを等価なトークンとして扱い、トランスフォーマーモデル固有の柔軟性を活用して手作りのモダリティサンプリングモジュールにより、AdaptiveFusionは任意の数の入力に対処し、単一のトレーニングネットワークでノイズの多いモダリティに対応することができる。大規模人体データセットの大規模な実験は、様々な環境で高品質な3次元人体再構築を実現する上で、AdaptiveFusionの有効性を示す。また,本手法は最先端の核融合法と比較して精度が高い。

関連論文リスト

Condition-Aware Multimodal Fusion for Robust Semantic Perception of Driving Scenes [56.52618054240197]
本研究では,運転シーンのロバストな意味認識のための条件対応型マルチモーダル融合手法を提案する。 CAFuserは、RGBカメラ入力を用いて環境条件を分類し、複数のセンサの融合を誘導するコンディショントークンを生成する。 MUSESデータセットでは,マルチモーダルパノプティクスセグメンテーションの59.7 PQ,セマンティックセグメンテーションの78.2 mIoU,公開ベンチマークの1位にランクインした。
論文参考訳（メタデータ） (2024-10-14T17:56:20Z)
X-Fi: A Modality-Invariant Foundation Model for Multimodal Human Sensing [14.549639729808717]
現在の人間の感覚は主にカメラとLiDARに依存しており、それぞれに独自の強度と限界がある。既存のマルチモーダル・フュージョン・ソリューションは、一般に固定されたモダリティの組み合わせのために設計されている。この問題に対処するために、すべてのモダリティ(X-Fi)に対するモダリティ不変基盤モデルを提案する。
論文参考訳（メタデータ） (2024-10-14T05:23:12Z)
Progressive Multi-Modal Fusion for Robust 3D Object Detection [12.048303829428452]
既存の方法は、バードアイビュー(BEV)とパースペクティブビュー(PV)の両方のモードから特徴を投影することで、単一ビューでセンサフュージョンを実行する。本稿では,中間クエリレベルとオブジェクトクエリレベルの両方で,BEVとPVの両方の機能を組み合わせたプログレッシブフュージョンフレームワークProFusion3Dを提案する。我々のアーキテクチャは、局所的およびグローバルな特徴を融合させ、3次元オブジェクト検出の堅牢性を高める。
論文参考訳（メタデータ） (2024-10-09T22:57:47Z)
Explore the LiDAR-Camera Dynamic Adjustment Fusion for 3D Object Detection [38.809645060899065]
カメラとLiDARは、正確で堅牢な自動運転システムの情報センサーとして機能する。これらのセンサーは、しばしば異質な性質を示し、分布のモダリティギャップをもたらす。モーダル分布の整合と効果的なモーダル表現の学習を目的とした動的調整技術を導入する。
論文参考訳（メタデータ） (2024-07-22T02:42:15Z)
SMPLer: Taming Transformers for Monocular 3D Human Shape and Pose Estimation [74.07836010698801]
この問題に対処するために,SMPLベースのトランスフォーマーフレームワーク(SMPLer)を提案する。 SMPLerは、切り離された注意操作とSMPLベースのターゲット表現の2つの重要な要素を組み込んでいる。 SMPLerの既存の3次元人体形状に対する効果とポーズ推定方法の実証実験を行った。
論文参考訳（メタデータ） (2024-04-23T17:59:59Z)
FusionFormer: A Multi-sensory Fusion in Bird's-Eye-View and Temporal Consistent Transformer for 3D Object Detection [14.457844173630667]
本稿では,FusionFormerと呼ばれる,エンドツーエンドのマルチモーダル・フュージョン・トランスフォーマーベースのフレームワークを提案する。均一なサンプリング戦略を開発することにより,2次元画像と3次元ボクセルの特徴を自発的に抽出することができる。テスト時間増強を伴わない3次元物体検出タスクにおいて,72.6% mAP と 75.1% NDS の最先端シングルモデル性能を実現する。
論文参考訳（メタデータ） (2023-09-11T06:27:25Z)
Learning Modulated Transformation in GANs [69.95217723100413]
生成逆数ネットワーク(GAN)のジェネレータに、変調変換モジュール(Modulated transformation module, MTM)と呼ばれるプラグアンドプレイモジュールを装備する。 MTMは、可変位置で畳み込み操作を適用可能な潜在符号の制御下で空間オフセットを予測する。挑戦的なTaiChiデータセット上での人為的な生成に向けて、StyleGAN3のFIDを21.36から13.60に改善し、変調幾何変換の学習の有効性を実証した。
論文参考訳（メタデータ） (2023-08-29T17:51:22Z)
Equivariant Multi-Modality Image Fusion [124.11300001864579]
エンドツーエンドの自己教師型学習のための同変多モードImAge融合パラダイムを提案する。我々のアプローチは、自然画像応答が特定の変換に等しくなるという以前の知識に根ざしている。実験により、EMMAは赤外線可視画像と医用画像に高品質な融合結果をもたらすことが確認された。
論文参考訳（メタデータ） (2023-05-19T05:50:24Z)
Multimodal Token Fusion for Vision Transformers [54.81107795090239]
変換器を用いた視覚タスクのためのマルチモーダルトークン融合法(TokenFusion)を提案する。複数のモダリティを効果的に融合させるために、TokenFusionは動的に非形式的トークンを検出し、これらのトークンを投影および集約されたモジュール間特徴に置き換える。 TokenFusionの設計により、トランスフォーマーはマルチモーダル特徴間の相関を学習できるが、シングルモーダルトランスアーキテクチャはほとんど無傷である。
論文参考訳（メタデータ） (2022-04-19T07:47:50Z)
Learning Online Multi-Sensor Depth Fusion [100.84519175539378]
SenFuNetは、センサ固有のノイズと外れ値統計を学習するディープフュージョンアプローチである。実世界のCoRBSとScene3Dデータセットで様々なセンサーの組み合わせで実験を行う。
論文参考訳（メタデータ） (2022-04-07T10:45:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。