論文の概要: Token-Level Contrastive Learning with Modality-Aware Prompting for Multimodal Intent Recognition

• arxiv url: http://arxiv.org/abs/2312.14667v1
• Date: Fri, 22 Dec 2023 13:03:23 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-25 15:07:13.610622
• Title: Token-Level Contrastive Learning with Modality-Aware Prompting for Multimodal Intent Recognition
• Title（参考訳）: モダリティを考慮したマルチモーダルインテント認識のためのトーケンレベルコントラスト学習
• Authors: Qianrui Zhou, Hua Xu, Hao Li, Hanlei Zhang, Xiaohan Zhang, Yifan Wang, Kai Gao
• Abstract要約: マルチモーダルな意図認識の課題に対処するために,TCL-MAP(Modality-Aware prompting)を用いたトークンレベルのコントラスト学習手法を提案する。 提案したTCLは,モダリティを意識したプロンプトとグラウンドの真理ラベルに基づいて,拡張サンプルを構築し,NT-Xent損失をラベルトークンに用いた。 本手法は最先端の手法と比較して顕著な改善を実現している。
• 参考スコア（独自算出の注目度）: 31.00387807558969
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Multimodal intent recognition aims to leverage diverse modalities such as expressions, body movements and tone of speech to comprehend user's intent, constituting a critical task for understanding human language and behavior in real-world multimodal scenarios. Nevertheless, the majority of existing methods ignore potential correlations among different modalities and own limitations in effectively learning semantic features from nonverbal modalities. In this paper, we introduce a token-level contrastive learning method with modality-aware prompting (TCL-MAP) to address the above challenges. To establish an optimal multimodal semantic environment for text modality, we develop a modality-aware prompting module (MAP), which effectively aligns and fuses features from text, video and audio modalities with similarity-based modality alignment and cross-modality attention mechanism. Based on the modality-aware prompt and ground truth labels, the proposed token-level contrastive learning framework (TCL) constructs augmented samples and employs NT-Xent loss on the label token. Specifically, TCL capitalizes on the optimal textual semantic insights derived from intent labels to guide the learning processes of other modalities in return. Extensive experiments show that our method achieves remarkable improvements compared to state-of-the-art methods. Additionally, ablation analyses demonstrate the superiority of the modality-aware prompt over the handcrafted prompt, which holds substantial significance for multimodal prompt learning. The codes are released at https://github.com/thuiar/TCL-MAP.
• Abstract（参考訳）: マルチモーダルな意図認識は,実世界のマルチモーダルなシナリオにおいて,人間の言語や行動を理解する上で重要なタスクを構成する,ユーザの意図を理解するために,表現,身体の動き,発話のトーンといった多様なモダリティを活用することを目的としている。 しかしながら、既存の手法の大半は、異なるモダリティ間の潜在的な相関や、非言語的モダリティから意味的特徴を効果的に学習する際の独自の制限を無視している。 本稿では,モダリティ・アウェア・プロンプト(tcl-map)を用いたトークンレベルのコントラスト学習手法を提案する。 テキストモダリティのための最適なマルチモーダルセマンティクス環境を確立するために、類似性に基づくモダリティアライメントとクロスモダリティアライメントアライメント機構を備えたテキスト、ビデオ、オーディオモダリティの機能を効果的に調整・融合するモダリティ・アウェア・プロンプト・モジュール(map)を開発した。 提案するトークンレベルコントラスト学習フレームワーク(TCL)は,モダリティ対応のプロンプトと基底真理ラベルに基づいて,拡張サンプルを構築し,NT-Xent損失をラベルトークンに適用する。 特に、TCLは、目的ラベルから導かれる最適なテキスト意味的洞察を利用して、他のモダリティの学習プロセスを導出する。 広範な実験により,本手法は最先端手法と比較して著しく改善が得られた。 さらに, アブレーション解析により, マルチモーダルプロンプト学習において有意な重要性を持つ手作りプロンプトよりも, モダリティ認識プロンプトが優れていることが示された。 コードはhttps://github.com/thuiar/TCL-MAPで公開されている。

関連論文リスト

• Enhancing Instruction-Following Capability of Visual-Language Models by Reducing Image Redundancy [37.471419716572086]
  LLM(Large Language Model)とMLLM(Multimodal Large Language Model)の命令追従能力には大きなギャップがある。 本稿では,このギャップを軽減するために,VMTC(Visual-Modality Token Compression)とCMAI(Cross-Modality Attention Inhibition)戦略を提案する。
  論文  参考訳（メタデータ） (2024-11-23T05:03:32Z)
• LLMs Can Evolve Continually on Modality for X-Modal Reasoning [62.2874638875554]
  既存の手法は、モーダル固有の事前訓練とジョイント・モーダルチューニングに大きく依存しており、新しいモーダルへと拡張する際の計算上の負担が大きくなった。 PathWeaveは、Modal-Path sWitchingとExpAnsion機能を備えた柔軟でスケーラブルなフレームワークである。 PathWeaveは最先端のMLLMと互換性があり、パラメータトレーニングの負担を98.73%削減する。
  論文  参考訳（メタデータ） (2024-10-26T13:19:57Z)
• Fine-tuning Multimodal Large Language Models for Product Bundling [53.01642741096356]
  Bundle-MLLMは,大規模言語モデル(LLM)をハイブリットアイテムトークン化アプローチにより微調整する新しいフレームワークである。 具体的には、テキスト、メディア、およびリレーショナルデータを統一トークン化に統合し、テキストトークンと非テキストトークンを区別するソフトな分離トークンを導入する。 1)バンドルパターンを学習し,2)製品バンドル固有のマルチモーダルセマンティック理解の強化を行う。
  論文  参考訳（メタデータ） (2024-07-16T13:30:14Z)
• Text-Video Retrieval with Global-Local Semantic Consistent Learning [122.15339128463715]
  我々は,シンプルで効果的なグローバル局所意味的一貫性学習(GLSCL)を提案する。 GLSCLは、テキストビデオ検索のためのモダリティをまたいだ潜在共有セマンティクスを活用する。 本手法はSOTAと同等の性能を実現し,計算コストの約220倍の高速化を実現している。
  論文  参考訳（メタデータ） (2024-05-21T11:59:36Z)
• SignVTCL: Multi-Modal Continuous Sign Language Recognition Enhanced by Visual-Textual Contrastive Learning [51.800031281177105]
  SignVTCLは、視覚・テキストのコントラスト学習によって強化された連続手話認識フレームワークである。 マルチモーダルデータ(ビデオ、キーポイント、光学フロー)を同時に統合し、統一された視覚バックボーンをトレーニングする。 従来の方法と比較して最先端の結果が得られます。
  論文  参考訳（メタデータ） (2024-01-22T11:04:55Z)
• DPL: Decoupled Prompt Learning for Vision-Language Models [41.90997623029582]
  本稿では,この問題を緩和するために,学習者の注意を再構築する新しい手法,Decoupled Prompt Learningを提案する。 我々のアプローチは、視覚的・テキスト的モダリティの両方に柔軟であり、マルチモーダル・プロンプト・ラーニングに容易に拡張できる。
  論文  参考訳（メタデータ） (2023-08-19T15:48:38Z)
• Revisiting Multimodal Representation in Contrastive Learning: From Patch and Token Embeddings to Finite Discrete Tokens [76.40196364163663]
  本稿では,CLIPのような学習型視覚言語事前学習手法を提案する。 提案手法は,より包括的な表現を学習し,意味のある相互対応を捉えることができることを示す。
  論文  参考訳（メタデータ） (2023-03-27T00:58:39Z)
• MaPLe: Multi-modal Prompt Learning [54.96069171726668]
  本稿では,視覚と言語分岐の両方を対象としたマルチモーダル・プロンプト・ラーニング(MaPLe)を提案し,視覚と言語表現の整合性を改善する。 最先端のCo-CoOpと比較すると、MaPLeは優れた性能を示し、新規クラスでは3.45%の絶対的な向上を達成している。
  論文  参考訳（メタデータ） (2022-10-06T17:59:56Z)
• Making Pre-trained Language Models End-to-end Few-shot Learners with Contrastive Prompt Tuning [41.15017636192417]
  CP-Tuning(CP-Tuning)は、言語モデルのための最初のエンドツーエンドのPrompt Tuningフレームワークである。 完全にトレーニング可能なプロンプトパラメータを持つタスク不変の連続プロンプトエンコーディング技術と統合されている。 IRシステムや異なるPLMで使用される様々な言語理解タスクの実験は、CP-Tuningが最先端の手法より優れていることを示している。
  論文  参考訳（メタデータ） (2022-04-01T02:24:24Z)
• Robust Latent Representations via Cross-Modal Translation and Alignment [36.67937514793215]
  ほとんどのマルチモーダル機械学習手法では、トレーニングに使用されるすべてのモダリティをテストに利用する必要がある。 この制限に対処するため、トレーニング中のみに複数のモーダルを用いてユニモーダルシステムのテスト性能を向上させることを目的としている。 提案するマルチモーダルトレーニングフレームワークは、クロスモーダル変換と相関に基づく潜在空間アライメントを用いる。
  論文  参考訳（メタデータ） (2020-11-03T11:18:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。