論文の概要: Co-AttenDWG: Co-Attentive Dimension-Wise Gating and Expert Fusion for Multi-Modal Offensive Content Detection

• arxiv url: http://arxiv.org/abs/2505.19010v1
• Date: Sun, 25 May 2025 07:26:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-27 16:58:42.834132
• Title: Co-AttenDWG: Co-Attentive Dimension-Wise Gating and Expert Fusion for Multi-Modal Offensive Content Detection
• Title（参考訳）: Co-AttenDWG:マルチモーダル攻撃コンテンツ検出のためのコ・アテンティブディメンションワイズゲーティングとエキスパートフュージョン
• Authors: Md. Mithun Hossain, Md. Shakil Hossain, Sudipto Chaki, M. F. Mridha,
• Abstract要約: 本稿では,マルチモーダルなCo-AttenDWGアーキテクチャを提案する。 我々はMIMICとSemEval Memotion 1.0に対するアプローチを検証した。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Multi-modal learning has become a critical research area because integrating text and image data can significantly improve performance in tasks such as classification, retrieval, and scene understanding. However, despite progress with pre-trained models, current approaches are limited by inadequate cross-modal interactions and static fusion strategies that do not fully exploit the complementary nature of different modalities. To address these shortcomings, we introduce a novel multi-modal Co-AttenDWG architecture that leverages dual-path encoding, co-attention with dimension-wise gating, and advanced expert fusion. Our approach begins by projecting text and image features into a common embedding space, where a dedicated co-attention mechanism enables simultaneous, fine-grained interactions between modalities. This mechanism is further enhanced by a dimension-wise gating network that adaptively regulates the feature contributions at the channel level, ensuring that only the most relevant information is emphasized. In parallel, dual-path encoders refine the representations by processing cross-modal information separately before an additional cross-attention layer further aligns modalities. The refined features are then aggregated via an expert fusion module that combines learned gating and self-attention to produce a robust, unified representation. We validate our approach on the MIMIC and SemEval Memotion 1.0, where experimental results demonstrate significant improvements in cross-modal alignment and state-of-the-art performance, underscoring the potential of our model for a wide range of multi-modal applications.
• Abstract（参考訳）: テキストと画像データを統合することで、分類、検索、シーン理解といったタスクのパフォーマンスを大幅に向上させることができるため、マルチモーダル学習は重要な研究領域となっている。 しかし、事前訓練されたモデルの進歩にもかかわらず、現在のアプローチは、異なるモダリティの相補的な性質を完全に活用しない、不適切なクロスモーダル相互作用と静的融合戦略によって制限されている。 これらの欠点に対処するために、デュアルパス符号化、次元ワイドゲーティングによるコアテンション、高度なエキスパート融合を利用した新しいマルチモーダルCo-AttenDWGアーキテクチャを導入する。 我々のアプローチは、テキストと画像の特徴を共通の埋め込み空間に投影することから始まる。 このメカニズムは、チャネルレベルでの機能コントリビューションを適応的に規制する次元ワイドゲーティングネットワークによってさらに強化され、最も関連性の高い情報のみを強調する。 平行して、デュアルパスエンコーダは、追加のクロスアテンション層がさらにモダリティを整列する前に、クロスアテンション情報を別々に処理することで表現を洗練する。 洗練された特徴は、学習したゲーティングと自己アテンションを組み合わせて、堅牢で統一された表現を生成する専門家の融合モジュールを介して集約される。 我々はMIMICとSemEval Memotion 1.0のアプローチを検証し、クロスモーダルアライメントと最先端性能の大幅な改善を実証し、広範囲のマルチモーダルアプリケーションに対する我々のモデルの可能性を明らかにする。

関連論文リスト

• M$^3$amba: CLIP-driven Mamba Model for Multi-modal Remote Sensing Classification [23.322598623627222]
  M$3$ambaは、マルチモーダル融合のための新しいエンドツーエンドのCLIP駆動のMambaモデルである。 異なるモダリティの包括的セマンティック理解を実現するために,CLIP駆動型モダリティ固有アダプタを提案する。 実験の結果、M$3$ambaは最先端の手法と比較して平均5.98%の性能向上が見られた。
  論文  参考訳（メタデータ） (2025-03-09T05:06:47Z)
• DeepInteraction++: Multi-Modality Interaction for Autonomous Driving [80.8837864849534]
  我々は,モダリティごとの個別表現を学習し,維持することのできる,新しいモダリティインタラクション戦略を導入する。 DeepInteraction++はマルチモーダルなインタラクション・フレームワークであり、マルチモーダルな表現型インタラクション・エンコーダとマルチモーダルな予測型インタラクション・デコーダを特徴とする。 実験では,3次元物体検出とエンドツーエンドの自律走行の両方において,提案手法の優れた性能を示す。
  論文  参考訳（メタデータ） (2024-08-09T14:04:21Z)
• Asynchronous Multimodal Video Sequence Fusion via Learning Modality-Exclusive and -Agnostic Representations [19.731611716111566]
  本稿では,モダリティ学習のためのマルチモーダル融合手法を提案する。 我々は、モーダル内の信頼性のあるコンテキストダイナミクスをキャプチャする予測的自己アテンションモジュールを導入する。 階層的クロスモーダルアテンションモジュールは、モダリティ間の価値ある要素相関を探索するために設計されている。 両識別器戦略が提示され、異なる表現を敵対的に生成することを保証する。
  論文  参考訳（メタデータ） (2024-07-06T04:36:48Z)
• Recursive Joint Cross-Modal Attention for Multimodal Fusion in Dimensional Emotion Recognition [3.5803801804085347]
  本稿では,RJCMA(Recursive Joint Cross-Modal Attention)を導入し,音声,視覚,テキストの両モード間の相互関係を次元的感情認識のために捉える。 特に,共同音声・視覚・テキスト特徴表現と個々のモーダルの特徴表現との相互相関に基づく注目重みの計算を行う。 Affwild2データセット上で提案した核融合モデルの性能を評価するために大規模な実験を行った。
  論文  参考訳（メタデータ） (2024-03-20T15:08:43Z)
• Exploiting Modality-Specific Features For Multi-Modal Manipulation Detection And Grounding [54.49214267905562]
  マルチモーダルな操作検出とグラウンド処理のためのトランスフォーマーベースのフレームワークを構築する。 本フレームワークは,マルチモーダルアライメントの能力を維持しながら,モダリティ特有の特徴を同時に探求する。 本稿では,グローバルな文脈的キューを各モーダル内に適応的に集約する暗黙的操作クエリ(IMQ)を提案する。
  論文  参考訳（メタデータ） (2023-09-22T06:55:41Z)
• Alternative Telescopic Displacement: An Efficient Multimodal Alignment Method [3.0903319879656084]
  本稿では,マルチモーダル情報の融合に革命をもたらす機能アライメントに対する革新的なアプローチを提案する。 提案手法では,異なるモードをまたいだ特徴表現の遠隔的変位と拡張の新たな反復的プロセスを用いて,共有特徴空間内の一貫性のある統一表現を導出する。
  論文  参考訳（メタデータ） (2023-06-29T13:49:06Z)
• Bi-level Dynamic Learning for Jointly Multi-modality Image Fusion and Beyond [50.556961575275345]
  補完特性とカスケード二重タスク関連モジュールを融合する画像融合モジュールを構築した。 本研究では, 高速な1次近似により対応する勾配を計算し, 融合学習のための勾配のバランスをとるための動的重み付けアグリゲーションを提案する。
  論文  参考訳（メタデータ） (2023-05-11T10:55:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。