論文の概要: Robust Multimodal Sentiment Analysis with Distribution-Based Feature Recovery and Fusion

• arxiv url: http://arxiv.org/abs/2511.18751v2
• Date: Sat, 29 Nov 2025 10:36:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-02 13:32:07.420915
• Title: Robust Multimodal Sentiment Analysis with Distribution-Based Feature Recovery and Fusion
• Title（参考訳）: 分布型特徴回復と融合によるロバストマルチモーダル感性解析
• Abstract要約: 画像・テキスト・ペアの頑健なマルチモーダル感情分析のための分布型特徴回復・融合(DRF)手法を提案する。 具体的には,各モダリティの特徴分布を近似するために,低品質なモダリティと欠落したモダリティを同時に処理できる機能キューをメンテナンスする。 実験では、低品質なモダリティと欠落したモダリティを模倣するために、サンプルのいくつかのモダリティを破壊・破棄する2つの破壊戦略が採用された。
• 参考スコア（独自算出の注目度）: 16.56946059161466
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: As posts on social media increase rapidly, analyzing the sentiments embedded in image-text pairs has become a popular research topic in recent years. Although existing works achieve impressive accomplishments in simultaneously harnessing image and text information, they lack the considerations of possible low-quality and missing modalities. In real-world applications, these issues might frequently occur, leading to urgent needs for models capable of predicting sentiment robustly. Therefore, we propose a Distribution-based feature Recovery and Fusion (DRF) method for robust multimodal sentiment analysis of image-text pairs. Specifically, we maintain a feature queue for each modality to approximate their feature distributions, through which we can simultaneously handle low-quality and missing modalities in a unified framework. For low-quality modalities, we reduce their contributions to the fusion by quantitatively estimating modality qualities based on the distributions. For missing modalities, we build inter-modal mapping relationships supervised by samples and distributions, thereby recovering the missing modalities from available ones. In experiments, two disruption strategies that corrupt and discard some modalities in samples are adopted to mimic the low-quality and missing modalities in various real-world scenarios. Through comprehensive experiments on three publicly available image-text datasets, we demonstrate the universal improvements of DRF compared to SOTA methods under both two strategies, validating its effectiveness in robust multimodal sentiment analysis.
• Abstract（参考訳）: 近年,ソーシャルメディアへの投稿が急速に増加し,画像とテキストのペアに埋め込まれた感情の分析が盛んに行われている。 既存の研究は、画像とテキスト情報を同時に活用することで、目覚ましい成果を達成するが、低品質かつ欠落したモダリティの考慮が欠如している。 現実世界のアプリケーションでは、これらの問題が頻繁に発生し、感情を強く予測できるモデルに対する緊急の要求につながります。 そこで本稿では,画像・テキスト・ペアのマルチモーダル感情分析のための分布型特徴回復・融合法を提案する。 具体的には、各モダリティの特徴分布を近似するために、各モダリティのフィーチャキューを保持し、それによって、統一されたフレームワークにおいて、低品質なモダリティと欠落したモダリティを同時に処理できる。 低品質なモダリティに対しては、分布に基づいてモダリティの質を定量的に推定することにより、融合への貢献を減らす。 モダリティの欠如に対して、サンプルや分布によって管理されるモダリティ間マッピング関係を構築し、利用可能なモダリティからモダリティの欠如を回復する。 実験では、様々な現実世界のシナリオにおいて、低品質なモダリティと欠落したモダリティを模倣するために、サンプルのいくつかのモダリティを破壊・破棄する2つの破壊戦略が採用されている。 一般に公開されている3つの画像テキストデータセットに関する総合的な実験を通じて、両戦略のSOTA法と比較して、DRFの普遍的な改善を実証し、堅牢なマルチモーダル感情分析の有効性を検証した。

関連論文リスト

• Team RAS in 11th ABAW Competition: Multimodal Ambivalence Recognition Approach [52.92973028971813]
  ビデオレベルのアンビバレンスとヘシタシー認識のための単一のテキスト中心マルチモーダルアプローチを提案する。 提案手法は,テキスト中心のマルチモーダル融合モデルを用いて,言語的,音響的,顔的,シーン的特徴を組み合わせたものである。 行動共生/衛生(BAH)コーパスの実験は、テキストが最強の単調なモダリティであることを確認した。
  論文  参考訳（メタデータ） (2026-07-16T08:04:23Z)
• Latent World Recovery for Multimodal Learning with Missing Modalities [8.259600986515979]
  我々は、欠落したモダリティの下でマルチモーダル学習を研究するためのフレームワークとして、LWR(Latent World Recovery)を提案する。 LWRは、各モダリティを下層の潜在状態の部分的知覚として扱い、観測されたモダリティから直接可利用性を考慮した表現学習を行う。 提案手法を実世界の不完全なマルチオミクスベンチマークで評価し,がんの表現型分類や生存予測などの下流タスクに有効なアプローチを提供することを示す。
  論文  参考訳（メタデータ） (2026-06-10T17:31:34Z)
• Controlling Decision Drift in Multimodal Sentiment Analysis with Missing Modalities [20.8430910234166]
  本稿では,モダリティの欠如によるロバスト性向上のための2レベル参照アライメントフレームワークを提案する。 第一レベルの参照アライメントは、完全なモダリティサンプルを利用して表現を制約し、異なるモダリティの組み合わせを共有の感情空間に整合させる。 第2レベルの参照アライメントは、プロトタイプ検索と投票を通じて信頼性の低いモダリティを抑えることで、決定レベルでの相互整合性を強制する。
  論文  参考訳（メタデータ） (2026-05-16T09:03:31Z)
• MMEB-V3: Measuring the Performance Gaps of Omni-Modality Embedding Models [70.34265674686516]
  マルチモーダル埋め込みモデルは、テキスト、画像、ビデオ、オーディオなどの異種入力を共有意味空間にマッピングすることを目的としている。 本稿では,テキスト,画像,ビデオ,オーディオ,エージェント中心のシナリオにまたがる埋め込みを評価するベンチマークであるMMEB-V3を紹介する。 本研究は, 完全モダリティ埋め込みの系統的解析を行い, 3つの重要な知見を同定する。
  論文  参考訳（メタデータ） (2026-04-25T14:15:05Z)
• Modest-Align: Data-Efficient Alignment for Vision-Language Models [67.48633659305592]
  クロスモーダルアライメントモデルは、リソース制約のある環境での運用において、過信と劣化したパフォーマンスに悩まされることが多い。 我々は,ロバスト性と効率性に配慮した軽量アライメントフレームワークであるModest-Alignを提案する。 本手法は,実世界の低リソースシナリオにおけるクロスモーダルアライメントを実現するための,実用的でスケーラブルなソリューションを提供する。
  論文  参考訳（メタデータ） (2025-10-24T16:11:10Z)
• Compose and Fuse: Revisiting the Foundational Bottlenecks in Multimodal Reasoning [49.17801010041155]
  MLLM(Multimodal large language model)は、テキスト、ビジョン、オーディオなどの多様な入力を統合することで推論を強化することを約束する。 しかし、追加のモダリティがパフォーマンスを損なうかどうかについての報告は相反する。 我々は、多モーダル推論を6つの相互作用パターンに分類し、事実がどのようにモダリティに分散され、論理的に組み合わせられるかを決定する。
  論文  参考訳（メタデータ） (2025-09-28T08:46:11Z)
• How Far Are We from Generating Missing Modalities with Foundation Models? [49.425856207329524]
  欠落したモダリティの再構築に適したエージェントフレームワークを提案する。 本手法は, 画像再構成に要するFIDを少なくとも14%, MERを少なくとも10%削減する。
  論文  参考訳（メタデータ） (2025-06-04T03:22:44Z)
• Confidence-Aware Self-Distillation for Multimodal Sentiment Analysis with Incomplete Modalities [15.205192581534973]
  マルチモーダル感情分析は、マルチモーダルデータを通して人間の感情を理解することを目的としている。 既存のモダリティの欠如を扱う方法は、データ再構成や共通部分空間投影に基づいている。 マルチモーダルな確率的埋め込みを効果的に組み込んだ信頼性認識型自己蒸留(CASD)戦略を提案する。
  論文  参考訳（メタデータ） (2025-06-02T09:48:41Z)
• So-Fake: Benchmarking and Explaining Social Media Image Forgery Detection [75.79507634008631]
  So-Fake-Setは、200万以上の高品質な画像、多様な生成源、35の最先端生成モデルを用いて合成された画像を備えたソーシャルメディア指向のデータセットである。 本稿では,高精度な偽造検出,高精度な位置推定,解釈可能な視覚論理による説明可能な推論に強化学習を利用する高度な視覚言語フレームワークであるSo-Fake-R1を提案する。
  論文  参考訳（メタデータ） (2025-05-24T11:53:35Z)
• GMM-Based Comprehensive Feature Extraction and Relative Distance Preservation For Few-Shot Cross-Modal Retrieval [13.928213494843744]
  クロスモーダル検索は、限られたトレーニングサンプルを用いたクロスモーダル表現の学習に焦点を当てている。 既存の手法では、数発のクロスモーダルデータのマルチピーク分布を適切にモデル化できない場合が多い。 画像特徴量とテキスト特徴量との相対的距離を制約するクロスモーダルなセマンティックアライメントのための新しい戦略を導入する。
  論文  参考訳（メタデータ） (2025-05-19T16:25:55Z)
• The Multimodal Paradox: How Added and Missing Modalities Shape Bias and Performance in Multimodal AI [0.0]
  マルチモーダル学習は、高い意思決定において、単調な学習よりも優れていることが証明されている。 パフォーマンス向上は、マルチモーダルシステムを評価するためのゴールドスタンダードのままだが、バイアスやロバスト性に関する懸念はしばしば見過ごされている。
  論文  参考訳（メタデータ） (2025-05-05T20:42:44Z)
• Multimodal Sentiment Analysis Based on Causal Reasoning [6.610016449061257]
  本稿では,因果的因果的因果的因果的因果的因果的因果的因果的因果的因果的因果的因果的因果的因果的因果的因果的因果的因果的因果的因果的因果的因果的因果的因果的因果的因果的因果的因果的因果的因果的因果的因果的因果的因果的因果的因果的因果的因果的因果的因果的因果的因果的因果的因果的因果的因果的因果的因果的因果的因果的因果的因果的因果的因果的因果的因 MVSA-SingleとMVSA-Multipleの2つの公開データセットの実験結果は、提案したCF-MSAがより優れた劣化能力を有し、新しい最先端のパフォーマンスを実現することを実証している。
  論文  参考訳（メタデータ） (2024-12-10T08:21:19Z)
• Toward Robust Incomplete Multimodal Sentiment Analysis via Hierarchical Representation Learning [21.127950337002776]
  マルチモーダル・センティメント・アナリティクス(MSA)は、複数のモーダルを通して人間の感情を理解し、認識することを目的とした重要な研究分野である。 本稿では,不確実なモダリティの下でのタスクのための階層表現学習フレームワーク(HRLF)を提案する。 HRLFは、不確実なモダリティ欠失例において、MSA性能を著しく改善することを示した。
  論文  参考訳（メタデータ） (2024-11-05T04:04:41Z)
• Exploiting modality-invariant feature for robust multimodal emotion recognition with missing modalities [76.08541852988536]
  我々は、欠落したモダリティ・イマジネーション・ネットワーク(IF-MMIN)に不変な特徴を用いることを提案する。 提案モデルは,不確実なモダリティ条件下で,すべてのベースラインを上回り,全体の感情認識性能を不変に向上することを示す。
  論文  参考訳（メタデータ） (2022-10-27T12:16:25Z)
• Improving Multimodal fusion via Mutual Dependency Maximisation [5.73995120847626]
  マルチモーダル・感情分析は研究のトレンドとなっている分野であり、マルチモーダル・フュージョンは最も活発なトピックの1つである。 本研究では,未探索の罰則を調査し,モダリティ間の依存性を測定するための新たな目的セットを提案する。 我々は、我々の新しい罰則が様々な最先端モデルに対して一貫した改善(正確性で最大4.3ドル)をもたらすことを示した。
  論文  参考訳（メタデータ） (2021-08-31T06:26:26Z)
• Bi-Bimodal Modality Fusion for Correlation-Controlled Multimodal Sentiment Analysis [96.46952672172021]
  Bi-Bimodal Fusion Network (BBFN) は、2対のモダリティ表現で融合を行う新しいエンドツーエンドネットワークである。 モデルは、モダリティ間の既知の情報不均衡により、2つのバイモーダルペアを入力として取る。
  論文  参考訳（メタデータ） (2021-07-28T23:33:42Z)
• Multimodal Categorization of Crisis Events in Social Media [81.07061295887172]
  本稿では,画像とテキストの両方を入力として利用するマルチモーダル融合法を提案する。 特に、弱モダリティから非形式的および誤解を招くコンポーネントをフィルタリングできるクロスアテンションモジュールを導入する。 本手法は,3つの危機関連タスクにおいて,一様アプローチと強いマルチモーダルベースラインを大きなマージンで上回ることを示す。
  論文  参考訳（メタデータ） (2020-04-10T06:31:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。