論文の概要: Beyond Words: Enhancing Desire, Emotion, and Sentiment Recognition with Non-Verbal Cues

• arxiv url: http://arxiv.org/abs/2509.15540v1
• Date: Fri, 19 Sep 2025 02:49:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-22 18:18:10.964783
• Title: Beyond Words: Enhancing Desire, Emotion, and Sentiment Recognition with Non-Verbal Cues
• Title（参考訳）: 単語を超えて:非言語的クイズによる欲求、感情、感覚認識を促進する
• Authors: Wei Chen, Tongguan Wang, Feiyue Xue, Junkai Li, Hui Liu, Ying Sha,
• Abstract要約: 人間の行動を促進する意図としての絶望は、感情と感情の両方に密接に関係している。 目的,感情,感覚認識のための対称バイモーダル・マルチモーダル学習フレームワークを提案する。 低解像度画像は、クロスモーダルアライメントのための大域的な視覚的表現を得るために使用される。 高解像度画像をサブイメージに分割し、マスク画像モデリングでモデル化する。
• 参考スコア（独自算出の注目度）: 13.756325086005369
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Desire, as an intention that drives human behavior, is closely related to both emotion and sentiment. Multimodal learning has advanced sentiment and emotion recognition, but multimodal approaches specially targeting human desire understanding remain underexplored. And existing methods in sentiment analysis predominantly emphasize verbal cues and overlook images as complementary non-verbal cues. To address these gaps, we propose a Symmetrical Bidirectional Multimodal Learning Framework for Desire, Emotion, and Sentiment Recognition, which enforces mutual guidance between text and image modalities to effectively capture intention-related representations in the image. Specifically, low-resolution images are used to obtain global visual representations for cross-modal alignment, while high resolution images are partitioned into sub-images and modeled with masked image modeling to enhance the ability to capture fine-grained local features. A text-guided image decoder and an image-guided text decoder are introduced to facilitate deep cross-modal interaction at both local and global representations of image information. Additionally, to balance perceptual gains with computation cost, a mixed-scale image strategy is adopted, where high-resolution images are cropped into sub-images for masked modeling. The proposed approach is evaluated on MSED, a multimodal dataset that includes a desire understanding benchmark, as well as emotion and sentiment recognition. Experimental results indicate consistent improvements over other state-of-the-art methods, validating the effectiveness of our proposed method. Specifically, our method outperforms existing approaches, achieving F1-score improvements of 1.1% in desire understanding, 0.6% in emotion recognition, and 0.9% in sentiment analysis. Our code is available at: https://github.com/especiallyW/SyDES.
• Abstract（参考訳）: 人間の行動を促進する意図としての絶望は、感情と感情の両方に密接に関係している。 マルチモーダル学習には先進的な感情認識と感情認識があるが、人間の欲求理解を特別にターゲットとするマルチモーダルアプローチはいまだ未熟である。 感情分析における既存の手法は、主に言語的手がかりと、補完的な非言語的手がかりとしてのイメージの見落としを強調している。 これらのギャップに対処するために、テキストと画像のモダリティ間の相互指導を強制し、画像内の意図的表現を効果的に捉えるための対称双方向多モーダル学習フレームワークを提案する。 具体的には、低解像度画像を用いて、クロスモーダルアライメントのためのグローバルな視覚表現を得る一方、高解像度画像はサブイメージに分割され、マスク画像モデリングでモデル化され、きめ細かい局所的な特徴を捉える能力を高める。 テキスト誘導画像デコーダと画像誘導画像デコーダを導入し、画像情報の局所的およびグローバル的表現において、深い相互モーダル相互作用を容易にする。 さらに、知覚的ゲインと計算コストのバランスをとるために、高解像度画像をマスキングのサブイメージに分解する混合画像戦略が採用されている。 提案手法は、欲求理解ベンチマークや感情認識、感情認識を含むマルチモーダルデータセットであるMSEDで評価される。 実験の結果,他の最先端手法に比べて一貫した改善が見られ,提案手法の有効性が検証された。 具体的には、従来の手法よりも優れており、欲求理解におけるF1スコアの改善は1.1%、感情認識では0.6%、感情分析では0.9%である。 私たちのコードは、https://github.com/ particularlyW/SyDES.comで利用可能です。

関連論文リスト

• A Cross-Modal Rumor Detection Scheme via Contrastive Learning by Exploring Text and Image internal Correlations [15.703292627605304]
  コントラスト学習に基づくクロスモーダルなうわさ検出手法を提案する。 スケールアウェア・フュージョンネットワークは,高精細なマルチスケール画像機能とグローバルテキスト機能を統合するように設計されている。 実験結果から,噂検出における既存の最先端手法よりも大幅な性能向上が得られた。
  論文  参考訳（メタデータ） (2025-08-15T01:13:50Z)
• Embedding and Enriching Explicit Semantics for Visible-Infrared Person Re-Identification [31.011118085494942]
  Visible-infrared person re-identification (VIReID)は、異なるモードで同じ同一の歩行者画像を取得する。 既存の方法は画像のみから視覚的コンテンツを学習するが、高レベルの意味を感知する能力は欠如している。 本稿では,意味的にリッチな横断歩行者表現を学習するための埋め込み・拡張型明示的意味論フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-12-11T14:27:30Z)
• From Text to Pixels: A Context-Aware Semantic Synergy Solution for Infrared and Visible Image Fusion [66.33467192279514]
  我々は、テキスト記述から高レベルなセマンティクスを活用し、赤外線と可視画像のセマンティクスを統合するテキスト誘導多モード画像融合法を提案する。 本手法は,視覚的に優れた融合結果を生成するだけでなく,既存の手法よりも高い検出mAPを達成し,最先端の結果を得る。
  論文  参考訳（メタデータ） (2023-12-31T08:13:47Z)
• StyleEDL: Style-Guided High-order Attention Network for Image Emotion Distribution Learning [69.06749934902464]
  StyleEDLと呼ばれる画像感情分布学習のためのスタイル誘導型高次アテンションネットワークを提案する。 StyleEDLは視覚内容の階層的スタイリスティック情報を探索することにより、画像のスタイリスティックな表現を対話的に学習する。 さらに、コンテンツ依存の感情表現を動的に生成するスタイリスティックなグラフ畳み込みネットワークを導入する。
  論文  参考訳（メタデータ） (2023-08-06T03:22:46Z)
• Improving Human-Object Interaction Detection via Virtual Image Learning [68.56682347374422]
  人間-物体相互作用(Human-Object Interaction、HOI)は、人間と物体の相互作用を理解することを目的としている。 本稿では,仮想画像学習(Virtual Image Leaning, VIL)による不均衡分布の影響を軽減することを提案する。 ラベルからイメージへの新たなアプローチであるMultiple Steps Image Creation (MUSIC)が提案され、実際の画像と一貫した分布を持つ高品質なデータセットを作成する。
  論文  参考訳（メタデータ） (2023-08-04T10:28:48Z)
• High-Level Context Representation for Emotion Recognition in Images [4.987022981158291]
  画像から高レベルな文脈表現を抽出する手法を提案する。 このモデルは、この表現と感情を関連付けるために、1つのキューと1つのエンコードストリームに依存している。 我々のアプローチは従来のモデルよりも効率的であり、感情認識に関連する現実の問題に対処するために容易に展開できる。
  論文  参考訳（メタデータ） (2023-05-05T13:20:41Z)
• Interpretable Multimodal Emotion Recognition using Hybrid Fusion of Speech and Image Data [15.676632465869346]
  特定の感情のクラスの予測に繋がる重要な音声・画像の特徴を識別する新しい解釈可能性技術を開発した。 提案システムは感情認識の精度を83.29%向上させた。
  論文  参考訳（メタデータ） (2022-08-25T04:43:34Z)
• ViCE: Self-Supervised Visual Concept Embeddings as Contextual and Pixel Appearance Invariant Semantic Representations [77.3590853897664]
  本研究は,NLPにおける単語埋め込みの学習方法に着想を得た画像に対して,意味論的にリッチな視覚埋め込みを学習するための自己指導的手法を提案する。
  論文  参考訳（メタデータ） (2021-11-24T12:27:30Z)
• Learning Contrastive Representation for Semantic Correspondence [150.29135856909477]
  セマンティックマッチングのためのマルチレベルコントラスト学習手法を提案する。 画像レベルのコントラスト学習は、畳み込み特徴が類似したオブジェクト間の対応を見出すための鍵となる要素であることを示す。
  論文  参考訳（メタデータ） (2021-09-22T18:34:14Z)
• Leveraging Semantic Scene Characteristics and Multi-Stream Convolutional Architectures in a Contextual Approach for Video-Based Visual Emotion Recognition in the Wild [31.40575057347465]
  私たちは、野生のビデオベースの視覚感情認識のタスクに取り組みます。 身体および顔の特徴の抽出のみに依存する標準的な方法論は、しばしば正確な感情予測に欠ける。 我々は、シーンの特徴や属性の形で視覚的コンテキストを活用することで、この問題を軽減することを目指している。
  論文  参考訳（メタデータ） (2021-05-16T17:31:59Z)
• Rethinking of the Image Salient Object Detection: Object-level Semantic Saliency Re-ranking First, Pixel-wise Saliency Refinement Latter [62.26677215668959]
  本稿では,意味的に有意な領域を粗い位置で特定する,軽量で教師付きの深層ネットワークを提案する。 次に,これらセマンティック・サリエント領域の深層モデルを画素ワイド・サリエンシ改善として融合する。 提案手法は単純だが有効であり,本手法は主眼をオブジェクトレベルのセマンティック・リグレード問題とみなすための最初の試みである。
  論文  参考訳（メタデータ） (2020-08-10T07:12:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。