論文の概要: DGC-Net: Cross-Modal Dynamic Routing with Global-Guided Compensation in Multimodal Sentiment Analysis
- arxiv url: http://arxiv.org/abs/2611.04841v1
- Date: Tue, 03 Nov 2026 13:07:03 GMT
- ステータス: 情報取得中
- システム内更新日: 2026-11-04 17:50:15.323463
- Title: DGC-Net: Cross-Modal Dynamic Routing with Global-Guided Compensation in Multimodal Sentiment Analysis
- Title(参考訳): DGC-Net:マルチモーダル感性解析におけるグローバルガイド補償を用いたクロスモーダル動的ルーティング
- Abstract要約: 感情分析のための動的ゲーティング・グローバルガイド補償ネットワークDGC-Netを提案する。
DGC-Netは、クロスモーダルなコントリビューションを意識した動的エキスパートルーティングを通じて、クロスモーダルな感情的キューの不整合を緩和する。
- 参考スコア(独自算出の注目度): 8.181866988776417
- License:
- Abstract: User-generated videos, including opinion vlogs and video reviews, provide a rich source of people's attitudes toward products, services, and social topics. Understanding the sentiment expressed by speakers is important for analyzing online opinions, as transcripts alone may not capture the attitude and intensity conveyed through vocal tone and facial expressions. Multimodal sentiment analysis (MSA) addresses this need by integrating textual, acoustic, and visual cues. However, these cues are often subtle, noisy, and inconsistent across modalities. Existing local affective cue modeling methods typically operate within individual modalities and overlook global contexts from other modalities. This may cause cross-modal affective cue inconsistency. Hierarchical global-local fusion methods integrate global semantics with fine-grained local affective cues. However, they commonly determine the relative contributions of the two representations implicitly, preventing the global-local contributions from adapting to the sample-dependent reliability of local cues and resulting in either insufficient use of informative local cues or excessive interference from unreliable ones. To address these issues, we propose DGC-Net, a Dynamic Gating and Global-Guided Compensation Network for MSA. DGC-Net mitigates cross-modal affective cue inconsistency through cross-modal contribution-aware dynamic expert routing. This mechanism uses auxiliary global contexts to guide local expert selection. Moreover, global-guided dynamic compensation fusion alleviates sample-dependent global-local contribution imbalance while preserving global semantic as the primary anchor and adaptively incorporating expert-refined local cues. Experiments on five multimodal benchmark datasets demonstrate the effectiveness and general applicability of DGC-Net, and ablation studies verify the contribution of each proposed component.
- Abstract(参考訳): 意見書やビデオレビューを含むユーザ生成ビデオは、製品、サービス、ソーシャルトピックに対する人々の態度の豊富な情報源を提供する。
話者が表現する感情を理解することはオンラインの意見を分析する上で重要である。
マルチモーダル感情分析(MSA)は、テキスト、音響、視覚的手がかりを統合することで、このニーズに対処する。
しかし、これらの手がかりは、しばしば微妙で、うるさく、不整合である。
既存の局所的情緒的キューモデリング手法は、通常、個々のモダリティ内で動作し、他のモダリティからグローバルなコンテキストを見渡す。
これは、モダクティブな感情的キューの不整合を引き起こす可能性がある。
階層的グローバル局所融合法は、大域的意味論ときめ細かい局所的感情的手がかりを統合する。
しかし、一般的に2つの表現の相対的な寄与を暗黙的に決定し、グローバルな局所的な貢献が局所的な手がかりのサンプル依存的な信頼性に適応することを防ぎ、情報的局所的な手がかりの使用が不十分であるか、信頼できないものからの過剰な干渉が生じる。
そこで本稿では,MSAのための動的ゲーティング・グローバルガイド補償ネットワークであるDGC-Netを提案する。
DGC-Netは、クロスモーダルなコントリビューションを意識した動的エキスパートルーティングを通じて、クロスモーダルな感情的キューの不整合を緩和する。
このメカニズムは、局所的な専門家の選択をガイドするために、補助的なグローバルコンテキストを使用する。
さらに、グローバル誘導動的補償融合は、グローバルセマンティックを一次アンカーとして保存し、専門家強化ローカルキューを適応的に取り入れながら、サンプル依存のグローバルローカルコントリビューションの不均衡を緩和する。
5つのマルチモーダルベンチマークデータセットの実験は、DGC-Netの有効性と一般的な適用性を示し、アブレーション研究は、提案した各コンポーネントの寄与を検証する。
関連論文リスト
- Rethinking Multi-View Fusion for Urban Representation Learning [24.168230882915253]
都市域表現学習は、下流タスクのための統合埋め込みに異質な都市信号を符号化する。
既存のアプローチは、グローバルな共有融合と共同最適化に依存している。
適応型多視点学習のための自己調整フレームワークであるPRISMを提案する。
論文 参考訳(メタデータ) (2026-10-22T19:32:45Z) - Multi-Modal Object Re-Identification with Dual Semantic Guidance and Global-Local Mutual Modulation [43.18497349594355]
マルチモーダルオブジェクト再識別(ReID)は、モダリティ間の相補的な情報を活用することで、ターゲットインスタンスを検索することを目的としている。
既存のメソッドは、整合性があり信頼性の高いセマンティックプリミティブを利用できないため、バックグラウンドの乱雑さやモーダル間のミスアライメントに弱い。
本稿では,マルチモーダルなReIDフレームワークを提案する。
論文 参考訳(メタデータ) (2026-07-31T09:27:10Z) - Inference-Time Steering for Cross-Lingual Factual Consistency in LLMs [51.56484100374058]
大規模言語モデル(LLM)は目覚ましい多言語流布を示すが、その内部知識表現はハイリソース言語に対して不均等に偏っている。
我々は,これらのバイアスを推論時に緩和できるかどうかを考察し,対象言語でクエリされたかのように,英語の確率モデルに答えるように強制する。
Gemma 3 12Bの実験では、最も強い全体的な介入、効率性のバランス、安全性、ドメイン外の一般化を促すペルソナが明らかにされている。
論文 参考訳(メタデータ) (2026-07-21T16:15:05Z) - Dynamic Spectral Denoising with Global-Context Attention for Multi-Behavior Recommendation [58.33732779555114]
重要なボトルネックは、2つの結合した不均一性によって引き起こされる表現レベルの失敗である、と我々は主張する。
マルチビヘイビアレコメンデーション(SpectraMB)のためのグローバルコンテキストを考慮した動的スペクトルデノベーションを提案する。
SpectraMBは、ほとんどの評価設定で最高の結果を達成し、ノイズのある相互作用下での堅牢性の向上を示す。
論文 参考訳(メタデータ) (2026-06-01T15:58:13Z) - Multi-modal Video Representation Alignment for Robust Self-supervised Driver Distraction Detection [23.160444017943473]
本研究では,マルチモーダルなグローバルアライメントのための新しいフレームワークを提案する。
サイクル整合性スコアから導かれるソフトターゲットを導入し、ハードネガティブな仮定を緩和する。
提案手法をDrive&Actデータセット上で評価し、ペアワイドと既存のグローバルアライメントベースラインを一貫して上回ることを示す。
論文 参考訳(メタデータ) (2026-06-01T15:01:17Z) - Zero-Shot Chinese Character Recognition via Global-Local Dual-Branch Alignment and Hierarchical Inference [15.854290215907179]
漢字のカテゴリーは非常に大きく、未確認の文字はオープンワールドのシナリオでしばしば現れる。
既存のIDSベースの検索手法は通常、文字画像とそのイデオロギー記述シーケンスを1つのグローバルベクトルに符号化してマッチングする。
文字画像とIDSシーケンスのグローバルおよびローカル表現を共同で学習するグローバルローカル階層知覚ネットワーク(GL-HPN)を提案する。
論文 参考訳(メタデータ) (2026-05-09T09:05:59Z) - UAGLNet: Uncertainty-Aggregated Global-Local Fusion Network with Cooperative CNN-Transformer for Building Extraction [83.48950950780554]
リモートセンシング画像からの抽出は、複雑な構造変化のために難しい課題である。
既存の方法は、セグメンテーションモデルにおけるマルチスケール特徴をキャプチャするために、畳み込みブロックまたは自己アテンションブロックを使用する。
高品質なグローバルローカルなビジュアルセマンティクスを活用するために,不確実性集約型グローバルローカルフュージョンネットワーク(UAGLNet)を提案する。
論文 参考訳(メタデータ) (2025-12-15T02:59:16Z) - HarmoCLIP: Harmonizing Global and Regional Representations in Contrastive Vision-Language Models [63.87966115136411]
HarmoCLIPはContrastive Language-Image Pre-training内のグローバルおよびリージョン表現を調和させるように設計された新しいフレームワークである。
本研究では,地域レベルでの表現能力を高めるために,地域調整管理戦略を導入する。
論文 参考訳(メタデータ) (2025-11-27T16:24:53Z) - Adaptive Global-Local Representation Learning and Selection for
Cross-Domain Facial Expression Recognition [54.334773598942775]
ドメインシフトは、クロスドメイン顔表情認識(CD-FER)において重要な課題となる
適応的グローバルローカル表現学習・選択フレームワークを提案する。
論文 参考訳(メタデータ) (2024-01-20T02:21:41Z) - Multimodal Routing: Improving Local and Global Interpretability of
Multimodal Language Analysis [103.69656907534456]
人間中心のタスクに強いパフォーマンスを持つ最近のマルチモーダル学習は、しばしばブラックボックスである。
本稿では,各入力サンプルに対して,入力モダリティと出力表現の重み付けを異なる方法で調整するマルチモーダルルーティングを提案する。
論文 参考訳(メタデータ) (2020-04-29T13:42:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。