論文の概要: DenseTwins: Dense Modality Decoupling for Multimodal Self-Supervision
- arxiv url: http://arxiv.org/abs/2611.04710v1
- Date: Tue, 03 Nov 2026 11:31:33 GMT
- ステータス: 情報取得中
- システム内更新日: 2026-11-04 17:21:58.906291
- Title: DenseTwins: Dense Modality Decoupling for Multimodal Self-Supervision
- Title（参考訳）: DenseTwins: マルチモーダルなセルフスーパービジョンのためのDense Modality Decoupling
- Abstract要約: 自己教師付き学習は、大量のラベルのないマルチモーダルデータを活用するためのスケーラブルなソリューションを提供する。
DenseTwinsは、高密度な特徴空間を共有およびモダリティ固有のコンポーネントに明示的に分離することで、高密度な表現を学習するフレームワークである。
- 参考スコア（独自算出の注目度）: 9.437206078675692
- License:
- Abstract: Multimodal perception is central to many computer vision applications, including robotics and autonomous driving, where different sensing modalities provide complementary cues. Self-supervised learning offers a scalable solution for exploiting large amounts of unlabeled multimodal data. However, existing methods either neglect modality-specific information by enforcing feature-space alignment between modalities or learn only global representations without preserving spatial structure. We propose DenseTwins, a multimodal self-supervised framework that learns dense representations by explicitly decoupling the dense feature space into shared and modality-specific components. The proposed approach combines dense cross-modal correspondences with redundancy-reduction objectives, enabling the model to capture both shared semantics and modality-specific cues within a structured dense embedding space. DenseTwins jointly optimizes an intra-modal objective across augmented views and a cross-modal objective that aligns shared features while decorrelating modality-specific information. We evaluate DenseTwins across multiple multimodal benchmarks and sensing setups, achieving state-of-the-art or competitive performance across multimodal self-supervised baselines. Code available at: https://github.com/CarloSgaravatti/DenseTwins.
- Abstract（参考訳）: マルチモーダル認識は、ロボット工学や自律運転など、多くのコンピュータビジョンアプリケーションの中心であり、様々な感覚モーダルが補完的な手段を提供する。
自己教師付き学習は、大量のラベルのないマルチモーダルデータを活用するためのスケーラブルなソリューションを提供する。
しかし、既存の手法は、モダリティ間の特徴空間アライメントを強制することによって、モダリティ固有の情報を無視するか、空間構造を保たずにグローバル表現のみを学ぶかのいずれかである。
DenseTwinsは,高次特徴空間を共有成分とモダリティ固有成分に明示的に分離することにより,高次表現を学習するマルチモーダルな自己教師型フレームワークである。
提案手法は, 密接な相互モーダル対応と冗長性推論の目的を組み合わせ, 構造された密接な埋め込み空間内での共有意味論とモダリティ特異的な手がかりの両方を捉えることができる。
DenseTwinsは、拡張ビューにまたがるモーダル内目的と、モダリティ固有の情報をデコレーションしながら共有特徴を整列するモーダル横断目標を共同で最適化する。
我々はDenseTwinsを複数のマルチモーダルベンチマークとセンシング設定で評価し、マルチモーダルな自己管理ベースラインをまたいだ最先端または競争性能を達成する。
コードは、https://github.com/CarloSgaravatti/DenseTwins.comで入手できる。
関連論文リスト
- MultiLoReFT: Decoupling Shared and Modality-Specific Subspaces in Multimodal Learning via Low-Rank Representation Fine-Tuning [13.327494159383356]
MultiLoReFTはマルチモーダル学習のための効率的でスケーラブルな低ランク表現フレームワークである。
共有情報とモダリティ固有情報を分離する解釈可能な射影部分空間を学習する。
シミュレーションと実世界のベンチマークでマルチモーダル予測をサポートする表現を生成する。
論文 参考訳（メタデータ） (2026-07-18T11:53:22Z) - NExT-OMNI: Towards Any-to-Any Omnimodal Foundation Models with Discrete Flow Matching [64.10695425442164]
NExT-OMNI(英語版)は、離散フローパラダイムによる統一モデリングを実現するオープンソース・オムニモーダル・ファンデーション・モデルである。
NExT-OMNIは、大規模なインターリーブ付きテキスト、画像、ビデオ、オーディオデータに基づいて訓練され、マルチモーダル生成および理解ベンチマーク上で競合するパフォーマンスを提供する。
さらなる研究を進めるために、トレーニングの詳細、データプロトコル、およびコードとモデルチェックポイントの両方をオープンソース化する。
論文 参考訳（メタデータ） (2025-10-15T16:25:18Z) - DeepInteraction++: Multi-Modality Interaction for Autonomous Driving [80.8837864849534]
我々は,モダリティごとの個別表現を学習し,維持することのできる,新しいモダリティインタラクション戦略を導入する。
DeepInteraction++はマルチモーダルなインタラクション・フレームワークであり、マルチモーダルな表現型インタラクション・エンコーダとマルチモーダルな予測型インタラクション・デコーダを特徴とする。
実験では,3次元物体検出とエンドツーエンドの自律走行の両方において,提案手法の優れた性能を示す。
論文 参考訳（メタデータ） (2024-08-09T14:04:21Z) - U3M: Unbiased Multiscale Modal Fusion Model for Multimodal Semantic Segmentation [63.31007867379312]
U3M: An Unbiased Multiscale Modal Fusion Model for Multimodal Semanticsを紹介する。
我々は,グローバルな特徴とローカルな特徴の効果的な抽出と統合を保証するために,複数のスケールで機能融合を採用している。
実験により,本手法は複数のデータセットにまたがって優れた性能を発揮することが示された。
論文 参考訳（メタデータ） (2024-05-24T08:58:48Z) - Multi-modal Semantic Understanding with Contrastive Cross-modal Feature
Alignment [11.897888221717245]
マルチモーダルな特徴アライメントを実現するためのCLIP誘導型コントラスト学習型アーキテクチャを提案する。
我々のモデルはタスク固有の外部知識を使わずに実装が簡単であり、そのため、他のマルチモーダルタスクに容易に移行できる。
論文 参考訳（メタデータ） (2024-03-11T01:07:36Z) - Multimodal Learning Without Labeled Multimodal Data: Guarantees and Applications [90.6849884683226]
ラベル付き単調データのみを用いた半教師付き環境における相互作用定量化の課題について検討する。
相互作用の正確な情報理論的定義を用いて、我々の重要な貢献は下界と上界の導出である。
本稿では、これらの理論結果を用いてマルチモーダルモデルの性能を推定し、データ収集をガイドし、様々なタスクに対して適切なマルチモーダルモデルを選択する方法について述べる。
論文 参考訳（メタデータ） (2023-06-07T15:44:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。