論文の概要: A Multimodal-Multitask Framework with Cross-modal Relation and Hierarchical Interactive Attention for Semantic Comprehension

• arxiv url: http://arxiv.org/abs/2508.16300v1
• Date: Fri, 22 Aug 2025 11:10:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-25 16:42:36.365747
• Title: A Multimodal-Multitask Framework with Cross-modal Relation and Hierarchical Interactive Attention for Semantic Comprehension
• Title（参考訳）: 意味的理解のためのクロスモーダル関係と階層的対話性を考慮したマルチモーダル・マルチタスク・フレームワーク
• Authors: Mohammad Zia Ur Rehman, Devraj Raghuvanshi, Umang Jain, Shubhi Bansal, Nagendra Kumar,
• Abstract要約: マルチモーダル学習における大きな課題は、個々のモーダル内のノイズの存在である。 crOss-modal RelationとhIErarchical iNteractive attention (MM-ORIENT)を用いたマルチモーダル・マルチタスクフレームワークを提案する。 提案手法は、異なるモダリティ間の明示的な相互作用を伴わずに、マルチモーダル表現をクロスモーダルに取得する。
• 参考スコア（独自算出の注目度）: 6.829129246811412
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: A major challenge in multimodal learning is the presence of noise within individual modalities. This noise inherently affects the resulting multimodal representations, especially when these representations are obtained through explicit interactions between different modalities. Moreover, the multimodal fusion techniques while aiming to achieve a strong joint representation, can neglect valuable discriminative information within the individual modalities. To this end, we propose a Multimodal-Multitask framework with crOss-modal Relation and hIErarchical iNteractive aTtention (MM-ORIENT) that is effective for multiple tasks. The proposed approach acquires multimodal representations cross-modally without explicit interaction between different modalities, reducing the noise effect at the latent stage. To achieve this, we propose cross-modal relation graphs that reconstruct monomodal features to acquire multimodal representations. The features are reconstructed based on the node neighborhood, where the neighborhood is decided by the features of a different modality. We also propose Hierarchical Interactive Monomadal Attention (HIMA) to focus on pertinent information within a modality. While cross-modal relation graphs help comprehend high-order relationships between two modalities, HIMA helps in multitasking by learning discriminative features of individual modalities before late-fusing them. Finally, extensive experimental evaluation on three datasets demonstrates that the proposed approach effectively comprehends multimodal content for multiple tasks.
• Abstract（参考訳）: マルチモーダル学習における大きな課題は、個々のモーダル内のノイズの存在である。 このノイズは結果の多重モーダル表現に本質的に影響を与え、特にこれらの表現が異なるモーダル間の明示的な相互作用によって得られる場合である。 さらに,強い関節表現の実現を目標としたマルチモーダル融合技術は,各モーダル内の貴重な識別情報を無視することができる。 そこで本研究では, crOss-modal RelationとhIErarchical iNteractive aTtention (MM-ORIENT)を用いたマルチモーダル・マルチタスクフレームワークを提案する。 提案手法は,異なるモード間の明示的な相互作用を伴わずに,マルチモーダル表現をクロスモーダルに取得し,潜在段階における雑音効果を低減させる。 そこで本研究では,モノモーダル特徴を再構成してマルチモーダル表現を得るクロスモーダル関係グラフを提案する。 特徴はノード近傍に基づいて再構成され、その近傍は異なるモダリティの特徴によって決定される。 また,階層型対話型モノマダル注意(HIMA)を提案する。 クロスモーダル関係グラフは2つのモダリティ間の高次関係を理解するのに役立つが、HIMAは2つのモダリティを遅くする前に個々のモダリティの識別的特徴を学習することでマルチタスクを支援する。 最後に、3つのデータセットに対する広範な実験的評価により、提案手法が複数のタスクに対するマルチモーダルコンテンツを効果的に理解していることが示されている。

関連論文リスト

• Turbo your multi-modal classification with contrastive learning [17.983460380784337]
  本稿では,マルチモーダル理解を促進するために,$Turbo$と呼ばれる新しいコントラスト学習戦略を提案する。 具体的には、マルチモーダルデータペアは、異なる隠されたドロップアウトマスクでフォワードパスを2回送って、各モダリティに対して2つの異なる表現を得る。 これらの表現により、トレーニングのための複数のインモーダルおよびクロスモーダルのコントラスト目的が得られる。
  論文  参考訳（メタデータ） (2024-09-14T03:15:34Z)
• Multi-modal Crowd Counting via a Broker Modality [64.5356816448361]
  マルチモーダルな群衆カウントは、視覚画像と熱/深度画像の両方から群衆密度を推定する。 本稿では,補助的ブローカーのモダリティを導入し,そのタスクを3つのモーダル学習問題とする新しい手法を提案する。 我々はこのブローカーのモダリティを生成するための融合法を考案し、近代的な拡散に基づく核融合モデルの非拡散的軽量化を生かした。
  論文  参考訳（メタデータ） (2024-07-10T10:13:11Z)
• Asynchronous Multimodal Video Sequence Fusion via Learning Modality-Exclusive and -Agnostic Representations [19.731611716111566]
  本稿では,モダリティ学習のためのマルチモーダル融合手法を提案する。 我々は、モーダル内の信頼性のあるコンテキストダイナミクスをキャプチャする予測的自己アテンションモジュールを導入する。 階層的クロスモーダルアテンションモジュールは、モダリティ間の価値ある要素相関を探索するために設計されている。 両識別器戦略が提示され、異なる表現を敵対的に生成することを保証する。
  論文  参考訳（メタデータ） (2024-07-06T04:36:48Z)
• Joint Multimodal Transformer for Emotion Recognition in the Wild [49.735299182004404]
  マルチモーダル感情認識(MMER)システムは、通常、単調なシステムよりも優れている。 本稿では,キーベースのクロスアテンションと融合するために,ジョイントマルチモーダルトランス (JMT) を利用するMMER法を提案する。
  論文  参考訳（メタデータ） (2024-03-15T17:23:38Z)
• Unified Multi-modal Unsupervised Representation Learning for Skeleton-based Action Understanding [62.70450216120704]
  教師なしの事前訓練は骨格に基づく行動理解において大きな成功を収めた。 我々はUmURLと呼ばれる統一マルチモーダル非教師なし表現学習フレームワークを提案する。 UmURLは効率的な早期融合戦略を利用して、マルチモーダル機能を単一ストリームで共同でエンコードする。
  論文  参考訳（メタデータ） (2023-11-06T13:56:57Z)
• Multimodal Learning Without Labeled Multimodal Data: Guarantees and Applications [90.6849884683226]
  ラベル付き単調データのみを用いた半教師付き環境における相互作用定量化の課題について検討する。 相互作用の正確な情報理論的定義を用いて、我々の重要な貢献は下界と上界の導出である。 本稿では、これらの理論結果を用いてマルチモーダルモデルの性能を推定し、データ収集をガイドし、様々なタスクに対して適切なマルチモーダルモデルを選択する方法について述べる。
  論文  参考訳（メタデータ） (2023-06-07T15:44:53Z)
• Unified Discrete Diffusion for Simultaneous Vision-Language Generation [78.21352271140472]
  本稿では,「モダリティ変換」タスクと「マルチモダリティ生成」タスクの両方を実行することができる統一型マルチモーダル生成モデルを提案する。 具体的には,マルチモーダル信号の離散拡散過程を統一遷移行列を用いて統一する。 提案手法は, 様々な生成タスクにおいて, 最先端のソリューションと同等に動作可能である。
  論文  参考訳（メタデータ） (2022-11-27T14:46:01Z)
• Multimodal Contrastive Learning via Uni-Modal Coding and Cross-Modal Prediction for Multimodal Sentiment Analysis [19.07020276666615]
  本稿では,マルチモーダル表現のためのMMCL(MultiModal Contrastive Learning)というフレームワークを提案する。 また、予測のプロセスを促進し、感情に関連するよりインタラクティブな情報を学ぶために、事例ベースと感情ベースのコントラスト学習という2つのコントラスト学習タスクを設計する。
  論文  参考訳（メタデータ） (2022-10-26T08:24:15Z)
• Multi-modal Contrastive Representation Learning for Entity Alignment [57.92705405276161]
  マルチモーダルなエンティティアライメントは、2つの異なるマルチモーダルな知識グラフ間で等価なエンティティを識別することを目的としている。 マルチモーダルコントラスト学習に基づくエンティティアライメントモデルであるMCLEAを提案する。 特に、MCLEAはまず複数のモダリティから複数の個別表現を学習し、その後、モダリティ内およびモダリティ間相互作用を共同でモデル化するコントラスト学習を行う。
  論文  参考訳（メタデータ） (2022-09-02T08:59:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。