論文の概要: Multi-modal Crowd Counting via Modal Emulation

• arxiv url: http://arxiv.org/abs/2407.19491v1
• Date: Sun, 28 Jul 2024 13:14:57 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-30 17:52:40.902674
• Title: Multi-modal Crowd Counting via Modal Emulation
• Title（参考訳）: モーダルエミュレーションによるマルチモーダル群カウント
• Authors: Chenhao Wang, Xiaopeng Hong, Zhiheng Ma, Yupeng Wei, Yabin Wang, Xiaopeng Fan,
• Abstract要約: モーダルエミュレーションに基づくマルチモーダルクラウドカウントフレームワークを提案する。 フレームワークは、Emphmulti-modal推論パスとEmphcross-modalエミュレーションパスの2つの重要なコンポーネントで構成されている。 RGB-ThermalとRGB-Depthの計数データセットの実験は、従来の手法と比較して優れた性能を示した。
• 参考スコア（独自算出の注目度）: 41.959740205234446
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Multi-modal crowd counting is a crucial task that uses multi-modal cues to estimate the number of people in crowded scenes. To overcome the gap between different modalities, we propose a modal emulation-based two-pass multi-modal crowd-counting framework that enables efficient modal emulation, alignment, and fusion. The framework consists of two key components: a \emph{multi-modal inference} pass and a \emph{cross-modal emulation} pass. The former utilizes a hybrid cross-modal attention module to extract global and local information and achieve efficient multi-modal fusion. The latter uses attention prompting to coordinate different modalities and enhance multi-modal alignment. We also introduce a modality alignment module that uses an efficient modal consistency loss to align the outputs of the two passes and bridge the semantic gap between modalities. Extensive experiments on both RGB-Thermal and RGB-Depth counting datasets demonstrate its superior performance compared to previous methods. Code available at https://github.com/Mr-Monday/Multi-modal-Crowd-Counting-via-Modal-Emulation.
• Abstract（参考訳）: マルチモーダル・クラウドカウントは,混み合ったシーンの人数を推定するために,マルチモーダル・キューを使用する重要なタスクである。 異なるモード間のギャップを克服するために,効率的なモーダルエミュレーション,アライメント,融合を可能にするモーダルエミュレーションに基づくマルチモーダルクラウドカウントフレームワークを提案する。 フレームワークは2つのキーコンポーネントで構成されている: \emph{multi-modal inference} パスと \emph{cross-modal emulation} パス。 前者は、ハイブリッドマルチモーダルアテンションモジュールを使用して、グローバルおよびローカル情報を抽出し、効率的なマルチモーダル融合を実現する。 後者はアテンションプロンプトを使用して、異なるモダリティを調整し、マルチモーダルアライメントを強化する。 また、2つのパスの出力を整列させ、モダリティ間の意味的ギャップを埋めるために、効率的なモダリティ整合損失を用いるモダリティ整合モジュールも導入する。 RGB-ThermalとRGB-Depthの計数データセットの大規模な実験は、従来の手法に比べて優れた性能を示している。 コードはhttps://github.com/Mr-Monday/Multi-modal-Crowd-Counting-via-Modal-Emulationで公開されている。

関連論文リスト

• Part-Whole Relational Fusion Towards Multi-Modal Scene Understanding [51.96911650437978]
  マルチモーダル融合はマルチモーダルシーン理解において重要な役割を担っている。 既存のほとんどの手法は、2つのモダリティを含むクロスモーダル融合に焦点を当てており、しばしばより複雑なマルチモーダル融合を見落としている。 マルチモーダルシーン理解のためのPWRF(Relational Part-Whole Fusion)フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-10-19T02:27:30Z)
• DepMamba: Progressive Fusion Mamba for Multimodal Depression Detection [37.701518424351505]
  うつ病は世界中で何百万人もの人に影響を及ぼす一般的な精神疾患である。 DepMambaと呼ばれるマルチモーダル抑うつ検出のための音声-視覚的プログレッシブ・フュージョン・マンバを提案する。
  論文  参考訳（メタデータ） (2024-09-24T09:58:07Z)
• Turbo your multi-modal classification with contrastive learning [17.983460380784337]
  本稿では,マルチモーダル理解を促進するために,$Turbo$と呼ばれる新しいコントラスト学習戦略を提案する。 具体的には、マルチモーダルデータペアは、異なる隠されたドロップアウトマスクでフォワードパスを2回送って、各モダリティに対して2つの異なる表現を得る。 これらの表現により、トレーニングのための複数のインモーダルおよびクロスモーダルのコントラスト目的が得られる。
  論文  参考訳（メタデータ） (2024-09-14T03:15:34Z)
• Multi-modal Crowd Counting via a Broker Modality [64.5356816448361]
  マルチモーダルな群衆カウントは、視覚画像と熱/深度画像の両方から群衆密度を推定する。 本稿では,補助的ブローカーのモダリティを導入し,そのタスクを3つのモーダル学習問題とする新しい手法を提案する。 我々はこのブローカーのモダリティを生成するための融合法を考案し、近代的な拡散に基づく核融合モデルの非拡散的軽量化を生かした。
  論文  参考訳（メタデータ） (2024-07-10T10:13:11Z)
• U3M: Unbiased Multiscale Modal Fusion Model for Multimodal Semantic Segmentation [63.31007867379312]
  U3M: An Unbiased Multiscale Modal Fusion Model for Multimodal Semanticsを紹介する。 我々は,グローバルな特徴とローカルな特徴の効果的な抽出と統合を保証するために,複数のスケールで機能融合を採用している。 実験により,本手法は複数のデータセットにまたがって優れた性能を発揮することが示された。
  論文  参考訳（メタデータ） (2024-05-24T08:58:48Z)
• Align and Attend: Multimodal Summarization with Dual Contrastive Losses [57.83012574678091]
  マルチモーダル要約の目標は、異なるモーダルから最も重要な情報を抽出し、出力要約を形成することである。 既存の手法では、異なるモダリティ間の時間的対応の活用に失敗し、異なるサンプル間の本質的な相関を無視する。 A2Summ(Align and Attend Multimodal Summarization)は、マルチモーダル入力を効果的に整列し、参加できる統一型マルチモーダルトランスフォーマーモデルである。
  論文  参考訳（メタデータ） (2023-03-13T17:01:42Z)
• Multi-scale Cooperative Multimodal Transformers for Multimodal Sentiment Analysis in Videos [58.93586436289648]
  マルチモーダル感情分析のためのマルチスケール協調型マルチモーダルトランス (MCMulT) アーキテクチャを提案する。 本モデルは,非整合型マルチモーダル列に対する既存手法よりも優れ,整合型マルチモーダル列に対する強い性能を有する。
  論文  参考訳（メタデータ） (2022-06-16T07:47:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。