論文の概要: UBD-Bench: Benchmarking and Analyzing Unimodal Branch Degradation in Multimodal Perception for Autonomous Driving

• arxiv url: http://arxiv.org/abs/2610.25448v1
• Date: Sun, 18 Oct 2026 18:11:32 GMT
• ステータス: 情報取得中
• システム内更新日: 2026-10-20 22:22:00.231193
• Title: UBD-Bench: Benchmarking and Analyzing Unimodal Branch Degradation in Multimodal Perception for Autonomous Driving
• Title（参考訳）: UBD-Bench: 自律運転のためのマルチモーダル知覚における一様分岐劣化のベンチマークと解析
• Abstract要約: UBDベンチ(UBD-Bench)は,マルチモーダル知覚における一様分岐分解(UBD)の研究のためのベンチマークである。 一方、LiDARブランチは、より弱く、よりモデル依存的な変化を示す。 カメラ・ブランチ・プローブ性能とフルモデル性能を両立させるため, 劣化表現における単調-マルチモーダル蒸留を導入する。
• 参考スコア（独自算出の注目度）: 26.126116619780376
• License:
• Abstract: Multimodal perception improves autonomous-driving performance by combining complementary sensor information. However, stronger multimodal predictions do not necessarily imply stronger representations in each modality-specific branch. Such branch-level weaknesses can remain hidden in conventional output-level evaluation. We introduce UBD-Bench, a systematic benchmark for studying unimodal branch degradation (UBD) in multimodal perception. UBD-Bench uses a Paired Frozen-Branch Probe to compare the task-relevant representation quality of the same modality after independent unimodal training and multimodal joint training under matched decoding conditions. Across four autonomous-driving perception tasks and 10 models, we find that Camera branches consistently degrade after multimodal joint training, whereas LiDAR branches exhibit weaker and more model-dependent changes, revealing a pronounced modality asymmetry. Hierarchical probing further shows that Camera-branch degradation extends from the visual backbone through the Camera-to-BEV pathway and is most severe at the pre-fusion Camera BEV representation. Guided by this diagnosis, we introduce unimodal-to-multimodal distillation at the degraded representation. This intervention consistently improves both Camera-branch Probe performance and full-model performance across all four tasks. These results show that multimodal gains can coexist with degraded unimodal representations, highlighting branch-level representation quality as an important dimension for evaluating and improving multimodal perception.
• Abstract（参考訳）: 多モード認識は、相補的なセンサ情報を組み合わせることにより、自律走行性能を向上させる。 しかし、より強いマルチモーダル予想は、必ずしも各モダリティ固有の分岐においてより強い表現を暗示しない。 このような分岐レベルの弱点は、従来の出力レベルの評価には隠される可能性がある。 UBDベンチ(UBD-Bench)は,マルチモーダル知覚における一助分解(UBD)の系統的評価指標である。 UBD-Bench は Paired Frozen-Branch Probe を用いて、同一モードのタスク関連表現品質を、一致した復号条件下での独立単調トレーニングとマルチモーダルジョイントトレーニング後に比較する。 4つの自律走行認識タスクと10つのモデルにおいて、カメラブランチはマルチモーダルジョイントトレーニング後に一貫して劣化し、LiDARブランチはより弱くモデル依存的な変化を示し、顕著なモダリティ非対称性を示す。 階層的探索により、カメラ・ブランチ劣化は、カメラ・ツー・BEV経路を介して視覚的バックボーンから拡張され、カメラBEVのプリフュージョン表現において最も深刻であることが示された。 この診断に導かれ, 劣化した表現に一過性から多モーダルの蒸留を導入する。 この介入は、カメラブランチプローブのパフォーマンスと4つのタスクのフルモデルパフォーマンスの両方を継続的に改善する。 これらの結果から,マルチモーダル・ゲインは劣化した単モーダル表現と共存し,分岐レベル表現の質をマルチモーダル知覚の評価と改善の重要な次元として強調できることがわかった。

関連論文リスト

• ReDiS: Reasoning-Diagnosis Self-Evolution for Multimodal Reasoning in Remote Sensing [53.65780048695954]
  我々は、推論探索と候補評価を分離するフレームワークである textbfReasoning-Diagnosis-Self-Evolution (ReDiS) を導入する。 多様な視覚的証拠を探索するtextbfReasoner と、完全な候補セットを共同で評価する textbfDiagnoser である。 LHRS-Bench, MME-RS, CHOICEの実験では、Qwen3.5バックボーンを0.8B, 2B, 4Bスケールで一貫した改善が見られた。
  論文  参考訳（メタデータ） (2026-10-13T13:38:02Z)
• OmniRSI: Taming Latent Diffusion for Unified Multimodal Remote Sensing Image Generation [57.95351922560686]
  我々は,マルチモーダルリモートセンシング画像生成モデルOmniRSIを提案する。 具体的には,マルチモーダル先行情報をキャプチャするリモートセンシング特異的変分オートエンコーダを開発する。 また,複数モーダル情報を生成することで,不完全な視覚条件を反復的に強化する学習自由巡回潜時アライメント機構を考案した。
  論文  参考訳（メタデータ） (2026-10-11T07:32:15Z)
• DBMF: A Dual-Branch Multimodal Framework for Out-of-Distribution Detection [5.2188002190037315]
  アウト・オブ・ディストリビューション(OOD)検出は、ディープラーニングモデルの信頼性と一般化性を高める上で重要な役割を果たす。 本稿では,テキストイメージブランチとビジョンブランチを導入することで,新しいデュアルブランチマルチモーダルフレームワークを提案する。 この2つの相補的な枝を通してOODサンプルを同定するために,本フレームワークはマルチモーダル表現を完全に活用する。
  論文  参考訳（メタデータ） (2026-04-09T13:48:38Z)
• Rethinking Token-Level Policy Optimization for Multimodal Chain-of-Thought [73.39221516441624]
  マルチモーダル・チェーン・オブ・ソート(CoT)推論は、推論軌道を構築するために大きな視覚言語モデルを必要とする。 既存のReinforcement Learning with Verifiable Rewards (RLVR) 法は、様々な視覚的接地度を区別することなく、CoTを均一に扱う。 本稿では,隠れ状態の類似性に先立って認識を導き,トークンのエントロピーと統合する知覚探索ポリシー最適化(PEPO)を提案する。
  論文  参考訳（メタデータ） (2026-03-24T06:38:00Z)
• OneVAE: Joint Discrete and Continuous Optimization Helps Discrete Video VAE Train Better [75.24657690640525]
  FSQは、他の量子化法と比較して、実効的に事前学習された連続VAE前処理を行えることを示す。 トークン圧縮比を損なうことなくPSNR次元を約1倍改善するマルチトークン量子化機構を提案する。 本稿では,この2つのパラダイムを統一した離散連続最適化手法を提案する。
  論文  参考訳（メタデータ） (2025-08-13T14:49:54Z)
• MoCa: Modality-aware Continual Pre-training Makes Better Bidirectional Multimodal Embeddings [75.0617088717528]
  MoCaは、トレーニング済みのVLMバックボーンを効果的な双方向埋め込みモデルに変換するためのフレームワークである。 MoCaは、MMEBとViDoRe-v2ベンチマークのパフォーマンスを継続的に改善し、新しい最先端の結果を達成する。
  論文  参考訳（メタデータ） (2025-06-29T06:41:00Z)
• CL-MVSNet: Unsupervised Multi-view Stereo with Dual-level Contrastive Learning [32.65909515998849]
  CL-MVSNetという2段階のコントラスト学習手法を提案する。 具体的には、2つの対照的な分岐を教師なしMVSフレームワークに統合し、追加の監視信号を構築する。 提案手法は,すべてのエンドツーエンドのMVSフレームワークの最先端性能を達成し,微調整を行なわずに教師付きフレームワークをかなりの差で上回っている。
  論文  参考訳（メタデータ） (2025-03-11T09:39:06Z)
• Improving Unimodal Inference with Multimodal Transformers [88.83765002648833]
  提案手法は,マルチモーダルトランスフォーマーをベースとした単一モーダルモデルを組み込んだマルチブランチアーキテクチャである。 これらの枝を共に訓練することにより、より強いマルチモーダル枝は、その知識をより弱いユニモーダル枝にマルチタスクの目的を通して移すことができる。 本稿では,RGBとDepthに基づく動的手動作認識,音声・顔画像に基づく音声視覚的感情認識,音声・音声音声による感情分析の課題について検討する。
  論文  参考訳（メタデータ） (2023-11-16T19:53:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。