論文の概要: Multi-Modality Cascaded Fusion Technology for Autonomous Driving

• arxiv url: http://arxiv.org/abs/2002.03138v1
• Date: Sat, 8 Feb 2020 10:59:18 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-02 22:55:49.526016
• Title: Multi-Modality Cascaded Fusion Technology for Autonomous Driving
• Title（参考訳）: 自律運転のためのマルチモダリティカスケード融合技術
• Authors: Hongwu Kuang, Xiaodong Liu, Jingwei Zhang, Zicheng Fang
• Abstract要約: 本稿では,決定レベルと特徴レベルの融合の利点を生かした,汎用的なマルチモーダリティ・カスケード融合フレームワークを提案する。 融合過程において、異なるモードからセンサ間の誤差を低減するために動的座標アライメント(DCA)を行う。 提案手法は, エンド・ツー・エンド・フュージョン法に比べ, より解釈しやすく, 柔軟である。
• 参考スコア（独自算出の注目度）: 18.93984652806857
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Multi-modality fusion is the guarantee of the stability of autonomous driving systems. In this paper, we propose a general multi-modality cascaded fusion framework, exploiting the advantages of decision-level and feature-level fusion, utilizing target position, size, velocity, appearance and confidence to achieve accurate fusion results. In the fusion process, dynamic coordinate alignment(DCA) is conducted to reduce the error between sensors from different modalities. In addition, the calculation of affinity matrix is the core module of sensor fusion, we propose an affinity loss that improves the performance of deep affinity network(DAN). Last, the proposed step-by-step cascaded fusion framework is more interpretable and flexible compared to the end-toend fusion methods. Extensive experiments on Nuscenes [2] dataset show that our approach achieves the state-of-theart performance.dataset show that our approach achieves the state-of-the-art performance.
• Abstract（参考訳）: マルチモダリティ融合は、自律運転システムの安定性を保証する。 本稿では, 目標位置, サイズ, 速度, 外観, 信頼性を利用して, 精度の高い核融合を実現するための, 決定レベルおよび特徴レベル融合の利点を生かした汎用多モード融合フレームワークを提案する。 融合過程において、異なるモードからセンサ間の誤差を低減するために動的座標アライメント(DCA)を行う。 さらに,センサ融合のコアモジュールである親和性行列の計算を行い,深部親和性ネットワーク(DAN)の性能を向上させる親和性損失を提案する。 最後に、提案するステップバイステップの融合フレームワークは、エンドツーエンドの融合法よりも解釈可能で柔軟である。 ヌッセンテ [2] データセットに関する広範な実験は、我々のアプローチが最先端のパフォーマンスを達成していることを示している。

関連論文リスト

• MMLF: Multi-modal Multi-class Late Fusion for Object Detection with Uncertainty Estimation [13.624431305114564]
  本稿では,マルチクラス検出が可能なレイトフュージョンのための先駆的マルチモーダル・マルチクラスレイトフュージョン法を提案する。 KITTI検証と公式テストデータセットで実施された実験は、大幅なパフォーマンス改善を示している。 我々のアプローチでは、不確実性分析を分類融合プロセスに組み込んで、モデルをより透明で信頼性の高いものにします。
  論文  参考訳（メタデータ） (2024-10-11T11:58:35Z)
• Progressively Modality Freezing for Multi-Modal Entity Alignment [27.77877721548588]
  本稿では,アライメント関連特徴に焦点をあてた,PMFと呼ばれる進行モード凍結の新たな戦略を提案する。 特に,本手法では,モーダル整合性を高めるために,クロスモーダルなアソシエーション損失を先駆的に導入する。 9つのデータセットの実証的な評価により、PMFの優位性が確認された。
  論文  参考訳（メタデータ） (2024-07-23T04:22:30Z)
• How Intermodal Interaction Affects the Performance of Deep Multimodal Fusion for Mixed-Type Time Series [3.6958071416494414]
  MTTS(Mixed-type Time Series)は、医療、金融、環境モニタリング、ソーシャルメディアなど、多くの分野で一般的なバイモーダルデータである。 マルチモーダル融合による両モードの統合はMTTSの処理において有望なアプローチである。 MTTS予測のための深層多モード融合手法の総合評価を行った。
  論文  参考訳（メタデータ） (2024-06-21T12:26:48Z)
• E2E-MFD: Towards End-to-End Synchronous Multimodal Fusion Detection [21.185032466325737]
  マルチモーダル核融合検出のための新しいエンドツーエンドアルゴリズムであるE2E-MFDを紹介する。 E2E-MFDはプロセスの合理化を図り、単一のトレーニングフェーズで高いパフォーマンスを達成する。 複数の公開データセットに対する広範なテストは、E2E-MFDの優れた機能を明らかにします。
  論文  参考訳（メタデータ） (2024-03-14T12:12:17Z)
• MLF-DET: Multi-Level Fusion for Cross-Modal 3D Object Detection [54.52102265418295]
  MLF-DETと呼ばれる,高性能なクロスモーダル3DオブジェクトDrectionのための,新規かつ効果的なマルチレベルフュージョンネットワークを提案する。 特徴レベルの融合では、マルチスケールのボクセル特徴と画像の特徴を密集したマルチスケールのボクセル画像融合(MVI)モジュールを提示する。 本稿では,画像のセマンティクスを利用して検出候補の信頼度を補正するFCR(Feature-cued Confidence Rectification)モジュールを提案する。
  論文  参考訳（メタデータ） (2023-07-18T11:26:02Z)
• Deep Equilibrium Multimodal Fusion [88.04713412107947]
  多重モーダル融合は、複数のモーダルに存在する相補的な情報を統合し、近年多くの注目を集めている。 本稿では,動的多モード核融合プロセスの固定点を求めることにより,多モード核融合に対する新しいDeep equilibrium (DEQ)法を提案する。 BRCA,MM-IMDB,CMU-MOSI,SUN RGB-D,VQA-v2の実験により,DEC融合の優位性が示された。
  論文  参考訳（メタデータ） (2023-06-29T03:02:20Z)
• Provable Dynamic Fusion for Low-Quality Multimodal Data [94.39538027450948]
  動的マルチモーダル融合は、有望な学習パラダイムとして現れる。 広く使われているにもかかわらず、この分野の理論的正当化は依然として顕著に欠落している。 本稿では、一般化の観点から最もポピュラーなマルチモーダル融合フレームワークの下で、この問題に答える理論的理解を提供する。 QMF(Quality-Aware Multimodal Fusion)と呼ばれる新しいマルチモーダル融合フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-06-03T08:32:35Z)
• Equivariant Multi-Modality Image Fusion [124.11300001864579]
  エンドツーエンドの自己教師型学習のための同変多モードImAge融合パラダイムを提案する。 我々のアプローチは、自然画像応答が特定の変換に等しくなるという以前の知識に根ざしている。 実験により、EMMAは赤外線可視画像と医用画像に高品質な融合結果をもたらすことが確認された。
  論文  参考訳（メタデータ） (2023-05-19T05:50:24Z)
• MMLatch: Bottom-up Top-down Fusion for Multimodal Sentiment Analysis [84.7287684402508]
  マルチモーダル融合に対する最近のディープラーニングアプローチは、ハイレベルおよびミドルレベルの潜在モダリティ表現のボトムアップ融合に依存している。 人間の知覚モデルでは、高レベルの表現が感覚入力の知覚に影響を及ぼすトップダウン融合の重要性を強調している。 本稿では,ネットワークトレーニング中のフォワードパスにおけるフィードバック機構を用いて,トップダウンのクロスモーダルインタラクションをキャプチャするニューラルネットワークを提案する。
  論文  参考訳（メタデータ） (2022-01-24T17:48:04Z)
• Bi-Bimodal Modality Fusion for Correlation-Controlled Multimodal Sentiment Analysis [96.46952672172021]
  Bi-Bimodal Fusion Network (BBFN) は、2対のモダリティ表現で融合を行う新しいエンドツーエンドネットワークである。 モデルは、モダリティ間の既知の情報不均衡により、2つのバイモーダルペアを入力として取る。
  論文  参考訳（メタデータ） (2021-07-28T23:33:42Z)
• Memory based fusion for multi-modal deep learning [39.29589204750581]
  メモリベースのAttentive Fusionレイヤは、現在の機能と長期依存の両方をデータに組み込むことで、モードをフューズする。 データに現在の特徴と長期的依存関係の両方を組み込むことで、モデムを融合するメモリベースのアテンティブフュージョン層を新たに提案する。
  論文  参考訳（メタデータ） (2020-07-16T02:05:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。