論文の概要: Do Pretrained Backbones Transfer to Physical Sensors? A Systematic Study of Multimodal Initialization Across the Sensor Stack

• arxiv url: http://arxiv.org/abs/2611.04034v1
• Date: Mon, 02 Nov 2026 22:29:36 GMT
• ステータス: 情報取得中
• システム内更新日: 2026-11-04 17:56:08.356083
• Title: Do Pretrained Backbones Transfer to Physical Sensors? A Systematic Study of Multimodal Initialization Across the Sensor Stack
• Title（参考訳）: 事前拘束された背骨は物理的センサーに伝達されるか? : センサスタック全体でのマルチモーダル初期化の系統的研究
• Abstract要約: MultiMAEは驚くほど強力なアウト・オブ・ザ・ボックスベースラインであり、これまで見たことのないモダリティに効果的に転送する。 我々は、スパースサンプルに対応するため、MultiMAEの損失に適応し、モダリティアライメントに対する強制エンコーダボトルネックの効果について検討する。 MultiMAEは驚くほど強力なアウト・オブ・ザ・ボックスベースラインであり、これまで見たことのないモダリティに効果的に移行しています。
• 参考スコア（独自算出の注目度）: 2.1427692215471263
• License:
• Abstract: Transfer learning from pretrained backbones has become standard practice in multi-sensor computer vision---yet two questions remain open: which pretrained weights transfer best to multi-sensor setups, and can in-domain pretraining outperform off-the-shelf solutions? Frameworks like MultiMAE demonstrate the utility of masked autoencoding in a multi-modal context, but rely entirely on dense, model-derived modalities. It is unclear how robustly these methods translate to real-world applications that use physical sensors, where the aggregation of diverse public datasets for large-scale pretraining inherently introduces modality sparsity. To investigate this systematically, we curate a multi-sensor autonomous driving collection of $2.82M$ images from 16 publicly available datasets, incorporating both physical hardware modalities (RGB, LWIR, NIR, Event) and model-derived modalities (Stereo Depth, Segmentation). We use this collection for in-domain pretraining based on the MultiMAE approach. We adapt MultiMAE's loss formulation to accommodate sparse samples, and study the effect of an enforced encoder bottleneck for modality alignment and of additional losses specific to dense reconstruction (SSIM and FFT). We then systematically compare against common pretrained backbones (ViT, MAE, DINO and MultiMAE) across downstream sensor fusion tasks. We find that MultiMAE is a surprisingly strong out-of-the-box baseline, transferring effectively even to modalities it has never seen, while our targeted modifications yield incremental but consistent improvements on multi-sensor transfer and overall robustness.
• Abstract（参考訳）: 事前学習されたバックボーンからの移動学習は、マルチセンサーコンピュータビジョンにおいて標準的な実践となっている。 MultiMAEのようなフレームワークは、マルチモーダルコンテキストにおけるマスク付きオートエンコーディングの有用性を示しているが、完全に密集したモデル由来のモダリティに依存している。 これらの手法が物理的なセンサーを使用する現実世界のアプリケーションにどの程度頑丈であるかは定かではない。 これをシステマティックに調査するため、我々は16の公開データセットから2.82億ドルのイメージを多センサで収集し、物理ハードウェアのモダリティ(RGB、LWIR、NIR、イベント)とモデル由来のモダリティ(Stereo Depth、Segmentation)の両方を取り入れた。 このコレクションは、MultiMAEアプローチに基づいたドメイン内事前トレーニングに使用します。 我々は, スパースサンプルに対応するためにMultiMAEの損失定式化を適応し, 強制エンコーダボトルネックが高密度再構成(SSIM, FFT)に特異的な損失に与える影響について検討した。 次に、下流センサー融合タスクにおいて、トレーニング済みの一般的なバックボーン(ViT、MAE、DINO、MultiMAE)と体系的に比較する。 我々は、MultiMAEは驚くほど強力なアウト・オブ・ザ・ボックスのベースラインであり、これまで見たことのないモダリティに効果的に転送する一方で、ターゲットとする変更は、マルチセンサーの転送と全体的なロバスト性に対して漸進的に改善する。

関連論文リスト

• TokaMind: A Multi-Modal Transformer Foundation Model for Tokamak Plasma Dynamics [56.073642366268764]
  TokaMindは、核融合プラズマモデリングのためのオープンソースの基礎モデルフレームワークである。 公開されているMASTデータセットから、異種トカマク診断をトレーニングする。 我々は最近発表されたMASTベンチマークのTokaMarkでTokaMindを評価した。
  論文  参考訳（メタデータ） (2026-02-16T12:26:07Z)
• UniMPR: A Unified Framework for Multimodal Place Recognition with Heterogeneous Sensor Configurations [14.975915291012983]
  マルチモーダル位置認識のための統合フレームワークUniMPRを提案する。 訓練された1つのモデルのみを使用して、共通の知覚的モダリティの組み合わせにシームレスに適応することができる。 7つのデータセットの実験は、UniMPRが最先端のパフォーマンスを達成することを示す。
  論文  参考訳（メタデータ） (2025-12-20T09:01:18Z)
• OmniGen: Unified Multimodal Sensor Generation for Autonomous Driving [58.693329943871355]
  我々は,一貫したフレームワークでアライメントされたマルチモーダルセンサデータを生成するOminiGenを提案する。 このアプローチでは、共有のBirdu 2019s Eye View(BEV)スペースを活用して、マルチモーダル機能を統合する。 UAEはボリュームレンダリングによるマルチモーダルセンサデコーディングを実現し、正確で柔軟な再構築を可能にする。
  論文  参考訳（メタデータ） (2025-12-16T09:18:15Z)
• A Tri-Modal Dataset and a Baseline System for Tracking Unmanned Aerial Vehicles [74.8162337823142]
  MM-UAVはMulti-Modal UAV Trackingの最初の大規模ベンチマークである。 データセットは30以上の挑戦的なシナリオにまたがっており、1,321の同期マルチモーダルシーケンスと280万以上の注釈付きフレームがある。 データセットを伴って、我々は新しいマルチモーダルマルチUAV追跡フレームワークを提供する。
  論文  参考訳（メタデータ） (2025-11-23T08:42:17Z)
• Rethinking Efficient Mixture-of-Experts for Remote Sensing Modality-Missing Classification [33.302856478333524]
  リモートセンシングにおけるマルチモーダル分類は、環境干渉、センサーの故障、大気の影響によって生じるモダリティの欠如に悩まされることが多い。 既存の2段階適応法は計算コストが高く、訓練中に完全なマルチモーダルデータを仮定し、その一般化を実世界の不完全性に制限する。 マルチタスク学習問題として欠落したモダリティを再構成するMissing-Aware Mixture-of-Lorasフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-11-14T16:31:37Z)
• CAFuser: Condition-Aware Multimodal Fusion for Robust Semantic Perception of Driving Scenes [56.52618054240197]
  本研究では,運転シーンのロバストな意味認識のための条件対応型マルチモーダル融合手法を提案する。 CAFuserは、RGBカメラ入力を用いて環境条件を分類し、コンディショントークンを生成する。 我々のモデルは、特に悪条件シナリオにおいて、ロバスト性と精度を著しく向上させる。
  論文  参考訳（メタデータ） (2024-10-14T17:56:20Z)
• Learning Shared RGB-D Fields: Unified Self-supervised Pre-training for Label-efficient LiDAR-Camera 3D Perception [17.11366229887873]
  我々は、統合事前訓練戦略、NeRF-Supervised Masked Auto(NS-MAE)を導入する。 NS-MAEは、外観と幾何学の両方を符号化するNeRFの能力を利用して、マルチモーダルデータの効率的なマスク付き再構築を可能にする。 結果: NS-MAE は SOTA 事前学習法よりも優れており,各モードに対して個別の戦略を用いる。
  論文  参考訳（メタデータ） (2024-05-28T08:13:49Z)
• AMFD: Distillation via Adaptive Multimodal Fusion for Multispectral Pedestrian Detection [23.91870504363899]
  マルチスペクトル検出におけるダブルストリームネットワークは、マルチモーダルデータに2つの異なる特徴抽出枝を用いる。 これにより、組み込みデバイスにおける多スペクトル歩行者検出が自律システムに広く採用されるのを妨げている。 本稿では,教師ネットワークの本来のモーダル特徴を完全に活用できる適応型モーダル核融合蒸留(AMFD)フレームワークについて紹介する。
  論文  参考訳（メタデータ） (2024-05-21T17:17:17Z)
• Bi-directional Adapter for Multi-modal Tracking [67.01179868400229]
  汎用の双方向アダプタを用いたマルチモーダル視覚プロンプト追跡モデルを提案する。 我々は、モーダリティ固有の情報をあるモーダリティから別のモーダリティへ転送するための、シンプルだが効果的なライト・フィーチャー・アダプタを開発した。 本モデルでは,完全微調整法と素早い学習法の両方と比較して,追跡性能が優れている。
  論文  参考訳（メタデータ） (2023-12-17T05:27:31Z)
• Multi-scale Transformer Network with Edge-aware Pre-training for Cross-Modality MR Image Synthesis [52.41439725865149]
  クロスモダリティ磁気共鳴(MR)画像合成は、与えられたモダリティから欠落するモダリティを生成するために用いられる。 既存の(教師付き学習)手法は、効果的な合成モデルを訓練するために、多くのペア化されたマルチモーダルデータを必要とすることが多い。 マルチスケールトランスフォーマーネットワーク(MT-Net)を提案する。
  論文  参考訳（メタデータ） (2022-12-02T11:40:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。