論文の概要: Rethinking Modality Reliability in Multimodal Sentiment Analysis with Incomplete Observations

• arxiv url: http://arxiv.org/abs/2608.03611v1
• Date: Tue, 04 Aug 2026 13:02:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-05 15:30:23.19731
• Title: Rethinking Modality Reliability in Multimodal Sentiment Analysis with Incomplete Observations
• Title（参考訳）: 不完全観測によるマルチモーダル感度解析におけるモダリティ信頼性の再考
• Abstract要約: 不完全観測設定において、モダリティの信頼性は中心的な変数であり、モデル化に失敗すると2つの問題が発生する。 不完全な観察を伴うマルチモーダル感性分析のためのモダリティ信頼性校正フレームワークを提案する。 MRCFにはReliability-Aware Branchが含まれており、モジュール内の品質基準とモジュール間のセマンティック一貫性からサンプル固有のモダリティの信頼性を推定する。 CMU-MOSI、CMU-MOSEI、CH-SIMSの実験により、MRCFは標準的な不完全観測プロトコルで高い性能を発揮することが示された。
• 参考スコア（独自算出の注目度）: 9.993152436695421
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Multimodal Sentiment Analysis (MSA) integrates text, audio, and vision to infer human affect, yet real-world multimodal observations are often incomplete. Existing methods for incomplete-observation MSA mainly follow two paradigms. Reconstruction-based methods recover missing information from observed modalities, while joint-representation methods learn directly from incomplete inputs. Although effective, these methods usually treat modality reliability only implicitly within representation learning or fusion design rather than modeling it explicitly. We argue that modality reliability is a central variable in incomplete-observation settings. Failure to model it explicitly gives rise to two related issues. The first is reliability mismatch, in which the affective evidence retained by each modality varies across samples and missing rates. The second is reliability propagation bias, in which messages from degraded modalities may adversely affect cross-modal interaction and predictive performance. To address these issues, we propose MRCF, a Modality Reliability-Calibrated Framework for MSA with incomplete observations. MRCF contains a Reliability-Aware Branch that estimates sample-specific modality reliability from intramodal quality cues and cross-modal semantic consistency, a Reliability-Guided Interaction Branch that uses the estimated scores to modulate cross-modal information flow, and a Reliability-Calibrated Fusion Module that integrates reliability and semantic cues for final prediction. Experiments on CMU-MOSI, CMU-MOSEI, and CH-SIMS show that MRCF achieves strong performance under standard incomplete-observation protocols. Further analyses provide evidence that explicit reliability modeling helps mitigate reliability mismatch and reliability propagation bias during interaction and fusion.
• Abstract（参考訳）: マルチモーダル知覚分析(MSA)は、人間の影響を推測するためにテキスト、オーディオ、ビジョンを統合するが、実世界のマルチモーダル観測はしばしば不完全である。 不完全観測MSAの既存の方法は、主に2つのパラダイムに従う。 レコンストラクションに基づく手法は、観測されたモダリティから欠落した情報を復元するが、ジョイント表現法は不完全入力から直接学習する。 有効ではあるが、これらの手法は通常、モダリティの信頼性を明示的にモデル化するのではなく、表現学習や融合設計において暗黙的にのみ扱う。 我々は、モダリティの信頼性が不完全観測設定における中心的な変数であると主張する。 モデル化に失敗すると、2つの関連する問題が発生する。 1つ目は信頼性のミスマッチであり、各モダリティが保持する感情的な証拠はサンプルと欠落率によって異なる。 2つ目は信頼性の伝搬バイアスであり、劣化したモダリティからのメッセージは、相互モーダル相互作用と予測性能に悪影響を及ぼす可能性がある。 これらの問題に対処するために、不完全な観察を伴うMDAのためのModality Reliability-Calibrated FrameworkであるMRCFを提案する。 MRCFには、モジュール内品質キューとクロスモーダルセマンティック一貫性からサンプル固有のモダリティの信頼性を推定するReliability-Aware Branchと、クロスモーダル情報フローを変調するために推定スコアを使用するReliability-Guided Interaction Branchと、最終的な予測のために信頼性とセマンティックキューを統合するReliability-Calibated Fusion Moduleが含まれている。 CMU-MOSI、CMU-MOSEI、CH-SIMSの実験により、MRCFは標準的な不完全観測プロトコルで高い性能を発揮することが示された。 さらに分析によって、明示的な信頼性モデリングは、相互作用と融合の間の信頼性のミスマッチと信頼性の伝搬バイアスを軽減するのに役立つことが示されている。

関連論文リスト

• Adaptive Modality Reliability Diagnosis and Restoration for Robust Multimodal Intent Recognition [2.2012643583422347]
  マルチモーダルな意図認識は言語的、音響的、視覚的な証拠を組み合わせたものであるが、個々のモダリティはうるさい、欠落、意味的に矛盾する、あるいは不当に支配的である可能性がある。 サンプルレベルでのモダリティ品質の診断,回復,再評価を行うクローズドループ信頼性ガイドフレームワークであるPRIMEを提案する。 マルチモーダルな意図認識ベンチマークの実験では、PRIMEは、欠如、ノイズ、矛盾、モダリティの不均衡条件下で改善しながら、競争力のあるクリーンデータ性能を維持している。
  論文  参考訳（メタデータ） (2026-08-04T11:14:13Z)
• Traits Run Deeper: Trait-Specific Asymmetric Fusion for Personality Assessment [53.50824432699408]
  Traits Run Deeperは、新しいパーソナリティアセスメントフレームワークである。 MFR(Multimodal Foundation Representation)、TSMF(Trit-Specific Modality Fusion)、DCPR(Distributed-Calibrated Personality Regression)の3つのコンポーネントで構成されている。
  論文  参考訳（メタデータ） (2026-06-09T06:38:36Z)
• Towards Trustworthy Depression Estimation via Disentangled Evidential Learning [50.22167852149165]
  EviDepはうつ病の重症度を共同で定量化する明らかな学習フレームワークである。 EviDepは、堅牢な証拠合成を保証するために厳密な情報整合性を強制する。 最先端の予測精度と優れた不確実性校正を実現し、信頼できる臨床スクリーニングのための堅牢なフェールセーフメカニズムを提供する。
  論文  参考訳（メタデータ） (2026-04-17T13:27:11Z)
• URMF: Uncertainty-aware Robust Multimodal Fusion for Multimodal Sarcasm Detection [17.19666367498091]
  マルチモーダルサルカズム検出(MSD)は,テキストと画像間の意味的不一致から皮肉な意図を識別することを目的としている。 本稿では,対話や融合におけるモダリティの信頼性を明示的にモデル化する統一フレームワークであるUncertainty-aware Robust Multimodal Fusion (URMF)を提案する。 URMFは、強い単調、マルチモーダル、MLLMベースのベースラインを一貫して上回る。
  論文  参考訳（メタデータ） (2026-04-08T06:50:43Z)
• QA-MoE: Towards a Continuous Reliability Spectrum with Quality-Aware Mixture of Experts for Robust Multimodal Sentiment Analysis [9.551550608808752]
  欠如と品質劣化をひとつのフレームワークに統合するために、継続的信頼性スペクトラムを導入します。 そこで我々は,自己教師型アレタリック不確実性によってモダリティの信頼性を定量化するQA-MoEを提案する。 大規模な実験により、QA-MoEは様々な劣化シナリオで競争力や最先端のパフォーマンスを達成することが示されている。
  論文  参考訳（メタデータ） (2026-04-07T11:04:23Z)
• Progressive Representation Learning for Multimodal Sentiment Analysis with Incomplete Modalities [26.613566093134065]
  マルチモーダル・センティメント・アナリティクスは、テキスト、音響、視覚的手がかりを統合することで人間の感情を推測する。 既存のアプローチでは、すべてのモダリティが完全であるのに対して、現実のアプリケーションは、ノイズやハードウェアの障害、あるいはモダリティの欠如につながるプライバシー制限にしばしば遭遇する。 我々は、不確実なモダリティ条件下でMSA用に設計されたプログレッシブ表現学習フレームワークPRLFを提案する。
  論文  参考訳（メタデータ） (2026-03-10T02:45:02Z)
• ERA: Evidence-based Reliability Alignment for Honest Retrieval-Augmented Generation [19.616905640490252]
  本稿ではERA(Evidence-based Reliability Alignment)と呼ばれる新しいフレームワークを提案する。 提案手法は, 解答カバレッジと棄却のトレードオフを最適化し, 校正精度を向上し, ベースラインを著しく向上させる。
  論文  参考訳（メタデータ） (2026-02-24T01:45:51Z)
• Evidential Deep Partial Multi-View Classification With Discount Fusion [24.139495744683128]
  Evidential Deep partial Multi-View Classification (EDP-MVC) と呼ばれる新しいフレームワークを提案する。 欠落したビューに対処するためにK-means命令を使用し、マルチビューデータの完全なセットを作成します。 この暗示されたデータ内の潜在的な衝突や不確実性は、下流の推論の信頼性に影響を与える可能性がある。
  論文  参考訳（メタデータ） (2024-08-23T14:50:49Z)
• Confidence-aware multi-modality learning for eye disease screening [58.861421804458395]
  眼疾患スクリーニングのための新しい多モード顕在核融合パイプラインを提案する。 モダリティごとに信頼度を測り、マルチモダリティ情報をエレガントに統合する。 パブリックデータセットと内部データセットの両方の実験結果は、我々のモデルが堅牢性に優れていることを示している。
  論文  参考訳（メタデータ） (2024-05-28T13:27:30Z)
• Reliable Multimodality Eye Disease Screening via Mixture of Student's t Distributions [49.4545260500952]
  眼疾患スクリーニングのための新しい多モード顕在核融合パイプラインEyeMoStについて紹介する。 本モデルでは,一様性に対する局所的不確実性と融合モードに対する大域的不確実性の両方を推定し,信頼性の高い分類結果を生成する。 パブリックデータセットと社内データセットの両方に関する実験結果から、我々のモデルは現在の手法よりも信頼性が高いことが判明した。
  論文  参考訳（メタデータ） (2023-03-17T06:18:16Z)
• Trusted Multi-View Classification with Dynamic Evidential Fusion [73.35990456162745]
  信頼型マルチビュー分類(TMC)と呼ばれる新しいマルチビュー分類アルゴリズムを提案する。 TMCは、様々な視点をエビデンスレベルで動的に統合することで、マルチビュー学習のための新しいパラダイムを提供する。 理論的および実験的結果は、精度、堅牢性、信頼性において提案されたモデルの有効性を検証した。
  論文  参考訳（メタデータ） (2022-04-25T03:48:49Z)
• Trustworthy Multimodal Regression with Mixture of Normal-inverse Gamma Distributions [91.63716984911278]
  このアルゴリズムは、異なるモードの適応的統合の原理における不確かさを効率的に推定し、信頼できる回帰結果を生成する。 実世界のデータと実世界のデータの両方に対する実験結果から,多モード回帰タスクにおける本手法の有効性と信頼性が示された。
  論文  参考訳（メタデータ） (2021-11-11T14:28:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。