論文の概要: WDMIR: Wavelet-Driven Multimodal Intent Recognition

• arxiv url: http://arxiv.org/abs/2506.10011v1
• Date: Tue, 27 May 2025 03:32:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-16 03:13:19.088365
• Title: WDMIR: Wavelet-Driven Multimodal Intent Recognition
• Title（参考訳）: WDMIR:ウェーブレット駆動型マルチモーダルインテント認識
• Authors: Weiyin Gong, Kai Zhang, Yanghai Zhang, Qi Liu, Xinjie Sun, Junyu Lu, Linbo Zhu,
• Abstract要約: 本稿では,ウェーブレット駆動型マルチモーダルインテント認識フレームワークを提案する。 非言語情報の周波数領域解析を通じて意図理解を強化する。 提案手法は,従来の手法を1.13%の精度で上回り,最先端性能を実現する。
• 参考スコア（独自算出の注目度）: 11.292250176088276
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Multimodal intent recognition (MIR) seeks to accurately interpret user intentions by integrating verbal and non-verbal information across video, audio and text modalities. While existing approaches prioritize text analysis, they often overlook the rich semantic content embedded in non-verbal cues. This paper presents a novel Wavelet-Driven Multimodal Intent Recognition(WDMIR) framework that enhances intent understanding through frequency-domain analysis of non-verbal information. To be more specific, we propose: (1) a wavelet-driven fusion module that performs synchronized decomposition and integration of video-audio features in the frequency domain, enabling fine-grained analysis of temporal dynamics; (2) a cross-modal interaction mechanism that facilitates progressive feature enhancement from bimodal to trimodal integration, effectively bridging the semantic gap between verbal and non-verbal information. Extensive experiments on MIntRec demonstrate that our approach achieves state-of-the-art performance, surpassing previous methods by 1.13% on accuracy. Ablation studies further verify that the wavelet-driven fusion module significantly improves the extraction of semantic information from non-verbal sources, with a 0.41% increase in recognition accuracy when analyzing subtle emotional cues.
• Abstract（参考訳）: マルチモーダルインテント認識(MIR)は、ビデオ、オーディオ、テキストのモダリティにまたがる言語情報と非言語情報を統合することで、ユーザの意図を正確に解釈することを目指している。 既存のアプローチはテキスト分析を優先するが、非言語的な手がかりに埋め込まれたリッチなセマンティックコンテンツを見落としてしまうことが多い。 本稿では,ウェーブレット駆動型マルチモーダルインテント認識(WDMIR)フレームワークを提案する。 より具体的には、(1)周波数領域における音声特徴の同期分解と統合を行い、時間的ダイナミクスのきめ細かい解析を可能にするウェーブレット駆動融合モジュール、(2)バイモーダルからトリモーダルへのプログレッシブな特徴強調を促進する相互相互作用機構、および、言語情報と非言語情報のセマンティックギャップを効果的にブリッジする。 MIntRecの大規模実験により,従来の手法を1.13%の精度で上回り,最先端性能を実現することができた。 アブレーション研究では、ウェーブレット駆動の融合モジュールは、微妙な感情的な手がかりを分析する際に、認識精度が0.41%向上し、非言語ソースからの意味情報の抽出を著しく改善することを確認した。

関連論文リスト

• AVadCLIP: Audio-Visual Collaboration for Robust Video Anomaly Detection [57.649223695021114]
  本稿では,ロバストなビデオ異常検出に音声と視覚の協調を利用する,弱教師付きフレームワークを提案する。 本フレームワークは,複数のベンチマークにおいて優れた性能を示し,オーディオ統合により異常検出精度が大幅に向上する。
  論文  参考訳（メタデータ） (2025-04-06T13:59:16Z)
• Multi-modal Speech Transformer Decoders: When Do Multiple Modalities Improve Accuracy? [12.662031101992968]
  合成および実世界の両方のデータセットにおける認識精度に対する多重モーダル性の影響について検討する。 音声認識のための補足的モダリティとしてのイメージは、中等度雑音レベルにおいて最大の利益をもたらす。 最も関連性の高い視覚情報が前処理ステップとしてフィルタリングされる場合、合成データセットと実世界のデータセットの両方のパフォーマンスが向上する。
  論文  参考訳（メタデータ） (2024-09-13T22:18:45Z)
• AUD-TGN: Advancing Action Unit Detection with Temporal Convolution and GPT-2 in Wild Audiovisual Contexts [8.809586885539002]
  音声・視覚的マルチモーダルデータを利用した新しい手法を提案する。 本手法は,Mel Frequency Cepstral Coefficients (MFCC) とLog-Mel Spectrogram を,事前学習したVGGishネットワークと共に利用することにより,音声特徴抽出を強化する。 本手法は,データの時間的・文脈的ニュアンスを理解することにより,AU検出の精度を著しく向上させ,複雑なシナリオの理解における重要な進歩を示す。
  論文  参考訳（メタデータ） (2024-03-20T15:37:19Z)
• Multi-Grained Multimodal Interaction Network for Entity Linking [65.30260033700338]
  マルチモーダルエンティティリンクタスクは、マルチモーダル知識グラフへの曖昧な言及を解決することを目的としている。 MELタスクを解決するための新しいMulti-Grained Multimodal InteraCtion Network $textbf(MIMIC)$ frameworkを提案する。
  論文  参考訳（メタデータ） (2023-07-19T02:11:19Z)
• Audio-visual multi-channel speech separation, dereverberation and recognition [70.34433820322323]
  本稿では,音声-視覚的多チャンネル音声分離,デバーベレーション,認識手法を提案する。 音声を用いた場合の視覚的モダリティの利点は、2つのニューラルデバーベレーションアプローチでのみ示される。 LRS2データセットを用いて行った実験から,提案手法がベースラインよりも優れていたことが示唆された。
  論文  参考訳（メタデータ） (2022-04-05T04:16:03Z)
• End-to-End Active Speaker Detection [58.7097258722291]
  本稿では,特徴学習と文脈予測を共同で学習するエンド・ツー・エンドのトレーニングネットワークを提案する。 また、時間間グラフニューラルネットワーク(iGNN)ブロックを導入し、ASD問題における主要なコンテキストのソースに応じてメッセージパッシングを分割する。 実験により、iGNNブロックからの集約された特徴はASDにより適しており、その結果、最先端のアートパフォーマンスが得られることが示された。
  論文  参考訳（メタデータ） (2022-03-27T08:55:28Z)
• High-Modality Multimodal Transformer: Quantifying Modality & Interaction Heterogeneity for High-Modality Representation Learning [112.51498431119616]
  本稿では,多種多様なモダリティを含む高モダリティシナリオに対する効率的な表現学習について検討する。 単一のモデルであるHighMMTは、テキスト、画像、オーディオ、ビデオ、センサー、プロプレセプション、スピーチ、時系列、セット、テーブル)と5つの研究領域から15のタスクをスケールする。
  論文  参考訳（メタデータ） (2022-03-02T18:56:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。