論文の概要: Should Missing Modalities Always Be Necessary to Repair for Multi-modal Sentiment Analysis?

• arxiv url: http://arxiv.org/abs/2607.17262v1
• Date: Sun, 19 Jul 2026 14:07:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-21 18:48:37.41302
• Title: Should Missing Modalities Always Be Necessary to Repair for Multi-modal Sentiment Analysis?
• Title（参考訳）: マルチモーダル・センティメント・アナリティクスの修復には, 常に欠落が不可欠か?
• Authors: Yubo Gao, Haotian Wu, Xiaoyu Xu, Yibo Yan, Hong Chen, Ruoshui Peng, Fei Pan, Puay Siew Tan, Zhuoran Gao, Yonghua Hei, Jie Zhang, Xuming Hu,
• Abstract要約: 既存のモダリティの欠如に基づくマルチモーダル感情分析手法は通常、修復第一パラダイムに従う。 textbfSfficiency-textbfInformed textbfEvidential textbfValtextbfvE (textbfSIEVE) を提案する。
• 参考スコア（独自算出の注目度）: 44.69722591655738
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Existing methods for multimodal sentiment analysis (MSA) under missing modalities usually follow a repair-first paradigm. We revisit this assumption and ask: \emph{should every missing modality be repaired?} A per-sample oracle analysis shows the answer is not always: full-modality input is optimal for only a small fraction of samples, and every modality subset is preferred by some samples. These results suggest that adding or repairing modalities may not always improve prediction, and that the utility of each modality is sample-dependent. Building on this finding, we propose \textbf{S}ufficiency-\textbf{I}nformed \textbf{E}vidential \textbf{V}al\textbf{vE} (\textbf{SIEVE}) that turns ``whether to repair'' into an explicit, learnable decision at the sample level. SIEVE compares a direct prediction branch with a repair branch, derives an empirical sufficiency signal from their per-sample loss gap, and routes each input through an evidential gate that jointly models sufficiency and its epistemic uncertainty. SIEVE is repair-agnostic: it operates as a plug-and-play decision on top of any explicit or implicit repair module, without modifying its internal design. Experiments on CMU-MOSI and IEMOCAP show that SIEVE consistently improves representative repair backbones across evaluated missing rates, and approaches the per-sample dual-branch achievable optimum.
• Abstract（参考訳）: 既存のマルチモーダル感情分析(MSA)手法は、通常、修復第一パラダイムに従っている。 私たちはこの仮定を再検討し、次のように尋ねる。 完全なモダリティ入力は少数のサンプルに対してのみ最適であり、全てのモダリティサブセットはいくつかのサンプルで好まれる。 これらの結果から,モダリティの追加や修復は必ずしも予測を改善するものではなく,各モダリティの有効性は標本依存であることが示唆された。 この発見に基づいて, サンプルレベルで「修理するかどうか」を明示的かつ学習可能な決定へと変換する, \textbf{S}ufficiency-\textbf{I}nformed \textbf{E}vidential \textbf{V}al\textbf{vE} (\textbf{SIEVE})を提案する。 SIEVEは、直接予測分岐と修理分岐を比較し、サンプルごとの損失ギャップから経験的な補充シグナルを導出し、各入力を顕在ゲートにルーティングし、補充とてんかんの不確実性を共同でモデル化する。 SIEVEは、内部設計を変更することなく、明示的または暗黙的な修復モジュールの上にプラグアンドプレイの決定として動作する。 CMU-MOSI と IEMOCAP の実験により、SIEVE は、評価された欠落率で代表的修復バックボーンを一貫して改善し、サンプル当たりの2分岐達成可能な最適値に近づいた。

関連論文リスト

• Rethinking Training & Inference for Forecasting: Linking Winner-Take-All back to GMMs [48.245159309501666]
  自律走行のための軌道予測は急速に進歩しているが、代表モデルはしばしば予測モードよりも非形式的な後部を生成する。 我々は、この K-平均的なハード割当 (one-hot) が非形式的モード確率の源であると主張する。 当科では,(1)近隣の候補軌跡を集約するテストタイム後方重み付け,(2)1段階の予測最大化(EM)更新の2つの治療方法を紹介した。
  論文  参考訳（メタデータ） (2026-06-24T22:26:43Z)
• Escaping the Mode Lottery: Multi-Response Training Improves Language Model Generalization [14.039980020878815]
  現代の言語モデルファインチューニングペアは、多くのプロンプトが複数の有効な完了を認めているにもかかわらず、それぞれ1つの応答でプロンプトを発行する。 これにより、マルチモーダルな条件分布をワンサンプルビューに効果的に還元し、トレーニングは可塑性モードのサブセットを強調する。 マルチレスポンス・トレーニング(MRT)について検討し、各プロンプト毎に複数の応答を保ちながら、いつ、なぜそれが役立つのかを原則的に説明する。
  論文  参考訳（メタデータ） (2026-05-30T05:30:39Z)
• Knowing When Not to Answer: Evaluating Abstention in Multimodal Reasoning Systems [52.83669998269706]
  テキストのみの設定で研究されてきたが、まだマルチモーダルに探索されていない。 現在のベンチマークでは、未解決性を無視するか、現実的な障害モードを見逃す粗末なメソッドに依存している。 MM-AQAは、2つの軸に沿った変換によって解答不能なインスタンスを解答可能なインスタンスから構築するベンチマークである。
  論文  参考訳（メタデータ） (2026-04-16T09:23:22Z)
• CUPID: A Plug-in Framework for Joint Aleatoric and Epistemic Uncertainty Estimation with a Single Model [1.6855257501750571]
  CUPID (Comprehensive Uncertainty Plug-in estImation moDel) は、ベースモデルの変更や再訓練なしに、動脈とてんかんの不確実性を共同で推定する汎用モジュールである。 CUPIDは分類,回帰,アウト・オブ・ディストリビューション検出など,様々なタスクで評価される。 その結果、CUPIDは、不確実性の起源に関する階層的な洞察を提供しながら、一貫して競争性能を提供することがわかった。
  論文  参考訳（メタデータ） (2026-03-11T13:18:10Z)
• Nearly Optimal Bayesian Inference for Structural Missingness [23.988531482641307]
  ベイズ的な見方では、後続の予測分布による予測は、完全なモデル後続の不確実性の上に統合される。 このフレームワークは、(II)ラベル予測からモデル内の欠損値後部を学習し、予測後部分布を最適化する。 43の分類と15の計算ベンチマークでSOTAを達成し、ベイズ最適性保証の近くに有限サンプルを持つ。
  論文  参考訳（メタデータ） (2026-01-26T14:03:11Z)
• Revisiting Multivariate Time Series Forecasting with Missing Values [65.30332997607141]
  現実の時系列では欠落値が一般的である。 現在のアプローチでは、計算モジュールを使用して、不足した値を補う、計算済みの予測フレームワークが開発されている。 このフレームワークは、致命的な問題を見落としている: 欠落した値に対して基礎的な真理は存在せず、予測精度を劣化させる可能性のあるエラーの影響を受けやすいようにしている。 本稿では,Information Bottleneck原則に基づく新しいフレームワークであるConsistency-Regularized Information Bottleneck(CRIB)を紹介する。
  論文  参考訳（メタデータ） (2025-09-27T20:57:48Z)
• Detecting Multimodal Situations with Insufficient Context and Abstaining from Baseless Predictions [75.45274978665684]
  VLU(Vision-Language Understanding)ベンチマークには、提供されたコンテキストによってサポートされない仮定に答えが依存するサンプルが含まれている。 サンプル毎にコンテキストデータを収集し,エビデンスに基づくモデル予測を促進するためにコンテキスト選択モジュールをトレーニングする。 我々は,十分なコンテキストを欠いたサンプルを同定し,モデル精度を向上させる汎用なコンテキスト・アワレ認識検出器を開発した。
  論文  参考訳（メタデータ） (2024-05-18T02:21:32Z)
• Regularizing Variational Autoencoder with Diversity and Uncertainty Awareness [61.827054365139645]
  変分オートエンコーダ(VAE)は、償却変分推論に基づいて潜伏変数の後部を近似する。 よりディバースで不確実な潜在空間を学習するための代替モデルDU-VAEを提案する。
  論文  参考訳（メタデータ） (2021-10-24T07:58:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。