論文の概要: MATS: A novel multi-modality multi-task learning framework for 3D perception in autonomous driving

• arxiv url: http://arxiv.org/abs/2607.24224v1
• Date: Mon, 27 Jul 2026 09:57:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-28 22:34:15.379853
• Title: MATS: A novel multi-modality multi-task learning framework for 3D perception in autonomous driving
• Title（参考訳）: MATS:自律運転における3次元知覚のための新しいマルチモーダルマルチタスク学習フレームワーク
• Abstract要約: 異なるセンサからのマルチモーダリティデータは、3D知覚のための豊富な補完情報を提供する。 現在の研究では、複数の知覚タスクを共同学習するための統合された鳥眼視(BEV)特徴マップ上のマルチモーダルデータからの情報を統合するための複雑で複雑な融合戦略を設計している。 モーダル適応型BEV融合とタスク固有のMixture-of-Experts(MoE)を用いたマルチモーダルマルチタスク学習手法MATSを提案する。
• 参考スコア（独自算出の注目度）: 15.741413844473795
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Multi-modality data from different sensors provides rich complementary information for 3D perception, becoming an essential component in reliable autonomous driving systems. Current research typically designs intricate and complex fusion strategies to integrate information from multimodal data on a unified bird's-eye-view (BEV) feature map for the joint learning of multiple perception tasks. However, such a single feature map hardly carries sufficient information to simultaneously meet the requirements of various perception tasks, leading to a very limited perception performance. To mitigate this limitation, this paper proposes MATS, a novel multi-modality multi-task learning approach with modality-adaptive BEV fusion and task-specific Mixture-of-Experts (MoE) for 3D perception. Specifically, a simple modality-adaptive BEV fusion module is designed to adaptively recalibrate the BEV features by modeling the global cross-modality dependencies, generating diverse BEV feature maps for various perception tasks. For joint multi-task learning, this paper proposes a task-specific MoE module to decouple the tasks and enable the network to automatically choose the appropriate BEV feature candidates for each specific task. To validate the effectiveness of the proposed approach, we conduct extensive experiments on the large-scale benchmark nuScenes. With the camera- and LiDAR-modality input data, the proposed approach outperforms the state-of-the-art (SOTA) by a significant margin. Furthermore, the experimental results on the single tasks show that the proposed approach significantly outperforms the baselines. The code and trained models will be available upon publication.
• Abstract（参考訳）: 異なるセンサからのマルチモダリティデータは、3D知覚のための豊富な補完情報を提供し、信頼性の高い自律運転システムにおいて不可欠なコンポーネントとなる。 現在の研究では、複数の知覚タスクを共同学習するための統合された鳥眼視(BEV)特徴マップ上のマルチモーダルデータからの情報を統合するための複雑で複雑な融合戦略を設計している。 しかし、このような単一特徴写像は、様々な知覚課題の要件を同時に満たすのに十分な情報をほとんど持たず、非常に限られた知覚性能をもたらす。 この制限を緩和するため,本論文では,モダリティ適応型BEV融合とタスク固有のMixture-of-Experts(MoE)を用いたマルチモーダルマルチタスク学習手法であるMATSを提案する。 具体的には、グローバルなモダリティ依存性をモデル化し、多様な知覚タスクのための多様なBEV特徴マップを生成することで、BEV機能を適応的に再調整するシンプルなモダリティ適応型BEV融合モジュールを設計する。 共同マルチタスク学習において,タスクを分離し,特定のタスク毎に適切なBEV特徴候補を自動的に選択できるタスク固有MoEモジュールを提案する。 提案手法の有効性を検証するため,大規模なベンチマーク nuScenes について広範な実験を行った。 カメラとLiDARのモダリティ入力データにより、提案手法は最先端のSOTA(State-of-the-art)よりも大幅に優れる。 さらに,1つのタスクに対する実験結果から,提案手法がベースラインを著しく上回ることを示す。 コードとトレーニングされたモデルは、公開時に利用可能になる。

関連論文リスト

• UV-M3TL: A Unified and Versatile Multimodal Multi-Task Learning Framework for Assistive Driving Perception [71.19234323863314]
  運転者の行動、運転者の感情、車両の行動、交通状況を同時に認識する枠組みを提案する。 本フレームワークは,デュアルブランチ空間チャネルのマルチモーダル埋め込みと適応的特徴分離型マルチタスク損失の2つのコアコンポーネントを組み込んでいる。 提案手法をAIDEデータセット上で評価し,UV-M3TLが4つのタスクすべてにおいて最先端の性能を達成することを示す実験結果を得た。
  論文  参考訳（メタデータ） (2026-02-02T03:35:24Z)
• Multi-Modal Multi-Task (M3T) Federated Foundation Models for Embodied AI: Potentials and Challenges for Edge Integration [19.990075206917904]
  組込みAIのためのマルチモーダル多タスクフェデレーションモデル(M3T-FFM)を導入する。 我々は、統合されたフレームワークの下で、具体化されたAIエコシステムにおけるM3T-FFMの重要なデプロイメント次元を収集する。 本稿では,M3T-FFMの試作実装について述べる。
  論文  参考訳（メタデータ） (2025-05-16T12:49:36Z)
• M3Net: Multimodal Multi-task Learning for 3D Detection, Segmentation, and Occupancy Prediction in Autonomous Driving [48.17490295484055]
  M3Netは、自動運転の検知、セグメンテーション、および3D占有率予測に同時に取り組む新しいネットワークである。 M3NetはnuScenesベンチマークで最先端のマルチタスク学習性能を達成する。
  論文  参考訳（メタデータ） (2025-03-23T15:08:09Z)
• SM3Det: A Unified Model for Multi-Modal Remote Sensing Object Detection [79.58755811919366]
  本稿では,リモートセンシングのためのマルチモーダルデータセットとマルチタスクオブジェクト検出(M2Det)という新しいタスクを提案する。 水平方向または指向方向の物体を、あらゆるセンサーから正確に検出するように設計されている。 この課題は、1)マルチモーダルモデリングの管理に関わるトレードオフ、2)マルチタスク最適化の複雑さに起因する。
  論文  参考訳（メタデータ） (2024-12-30T02:47:51Z)
• MaskBEV: Towards A Unified Framework for BEV Detection and Map Segmentation [14.67253585778639]
  MaskBEVは、マスキングによるマルチタスク学習パラダイムである。 3Dオブジェクトの検出と鳥の目視(BEV)マップのセグメンテーションを統一する。 3Dオブジェクト検出の1.3 NDS改善とBEVマップセグメンテーションの2.7 mIoU改善を実現している。
  論文  参考訳（メタデータ） (2024-08-17T07:11:38Z)
• DeepInteraction++: Multi-Modality Interaction for Autonomous Driving [80.8837864849534]
  我々は,モダリティごとの個別表現を学習し,維持することのできる,新しいモダリティインタラクション戦略を導入する。 DeepInteraction++はマルチモーダルなインタラクション・フレームワークであり、マルチモーダルな表現型インタラクション・エンコーダとマルチモーダルな予測型インタラクション・デコーダを特徴とする。 実験では,3次元物体検出とエンドツーエンドの自律走行の両方において,提案手法の優れた性能を示す。
  論文  参考訳（メタデータ） (2024-08-09T14:04:21Z)
• AdapMTL: Adaptive Pruning Framework for Multitask Learning Model [5.643658120200373]
  AdapMTLはマルチタスクモデルのための適応型プルーニングフレームワークである。 複数のタスクにまたがって、空間割り当てと精度のパフォーマンスのバランスをとる。 最先端の刈り取り法に比べて優れた性能を示す。
  論文  参考訳（メタデータ） (2024-08-07T17:19:15Z)
• RepVF: A Unified Vector Fields Representation for Multi-task 3D Perception [64.80760846124858]
  本稿では,様々な知覚タスクの表現を調和させる新しい統一表現RepVFを提案する。 RepVFは、ベクトル場を通じてシーン内の異なるターゲットの構造を特徴付け、シングルヘッドでマルチタスクの学習モデルを可能にする。 RepVF 上に構築された RFTR は,タスク間の固有性を利用したネットワークである。
  論文  参考訳（メタデータ） (2024-07-15T16:25:07Z)
• Learning Shared RGB-D Fields: Unified Self-supervised Pre-training for Label-efficient LiDAR-Camera 3D Perception [17.11366229887873]
  我々は、統合事前訓練戦略、NeRF-Supervised Masked Auto(NS-MAE)を導入する。 NS-MAEは、外観と幾何学の両方を符号化するNeRFの能力を利用して、マルチモーダルデータの効率的なマスク付き再構築を可能にする。 結果: NS-MAE は SOTA 事前学習法よりも優れており,各モードに対して個別の戦略を用いる。
  論文  参考訳（メタデータ） (2024-05-28T08:13:49Z)
• Single-Modal Entropy based Active Learning for Visual Question Answering [75.1682163844354]
  視覚質問応答(VQA)のマルチモーダル設定におけるアクティブラーニングに対処する マルチモーダルな入力,画像,質問を考慮し,有効サンプル取得のための新しい手法を提案する。 私たちの新しいアイデアは、実装が簡単で、コスト効率が高く、他のマルチモーダルタスクにも容易に適応できます。
  論文  参考訳（メタデータ） (2021-10-21T05:38:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。