論文の概要: Should Missing Modalities Always Be Necessary to Repair for Multi-modal Sentiment Analysis?

• arxiv url: http://arxiv.org/abs/2607.17262v1
• Date: Sun, 19 Jul 2026 14:07:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-21 18:48:37.41302
• Title: Should Missing Modalities Always Be Necessary to Repair for Multi-modal Sentiment Analysis?
• Title（参考訳）: マルチモーダル・センティメント・アナリティクスの修復には, 常に欠落が不可欠か?
• Abstract要約: 既存のモダリティの欠如に基づくマルチモーダル感情分析手法は通常、修復第一パラダイムに従う。 textbfSfficiency-textbfInformed textbfEvidential textbfValtextbfvE (textbfSIEVE) を提案する。
• 参考スコア（独自算出の注目度）: 44.69722591655738
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Existing methods for multimodal sentiment analysis (MSA) under missing modalities usually follow a repair-first paradigm. We revisit this assumption and ask: \emph{should every missing modality be repaired?} A per-sample oracle analysis shows the answer is not always: full-modality input is optimal for only a small fraction of samples, and every modality subset is preferred by some samples. These results suggest that adding or repairing modalities may not always improve prediction, and that the utility of each modality is sample-dependent. Building on this finding, we propose \textbf{S}ufficiency-\textbf{I}nformed \textbf{E}vidential \textbf{V}al\textbf{vE} (\textbf{SIEVE}) that turns ``whether to repair'' into an explicit, learnable decision at the sample level. SIEVE compares a direct prediction branch with a repair branch, derives an empirical sufficiency signal from their per-sample loss gap, and routes each input through an evidential gate that jointly models sufficiency and its epistemic uncertainty. SIEVE is repair-agnostic: it operates as a plug-and-play decision on top of any explicit or implicit repair module, without modifying its internal design. Experiments on CMU-MOSI and IEMOCAP show that SIEVE consistently improves representative repair backbones across evaluated missing rates, and approaches the per-sample dual-branch achievable optimum.
• Abstract（参考訳）: 既存のマルチモーダル感情分析(MSA)手法は、通常、修復第一パラダイムに従っている。 私たちはこの仮定を再検討し、次のように尋ねる。 完全なモダリティ入力は少数のサンプルに対してのみ最適であり、全てのモダリティサブセットはいくつかのサンプルで好まれる。 これらの結果から,モダリティの追加や修復は必ずしも予測を改善するものではなく,各モダリティの有効性は標本依存であることが示唆された。 この発見に基づいて, サンプルレベルで「修理するかどうか」を明示的かつ学習可能な決定へと変換する, \textbf{S}ufficiency-\textbf{I}nformed \textbf{E}vidential \textbf{V}al\textbf{vE} (\textbf{SIEVE})を提案する。 SIEVEは、直接予測分岐と修理分岐を比較し、サンプルごとの損失ギャップから経験的な補充シグナルを導出し、各入力を顕在ゲートにルーティングし、補充とてんかんの不確実性を共同でモデル化する。 SIEVEは、内部設計を変更することなく、明示的または暗黙的な修復モジュールの上にプラグアンドプレイの決定として動作する。 CMU-MOSI と IEMOCAP の実験により、SIEVE は、評価された欠落率で代表的修復バックボーンを一貫して改善し、サンプル当たりの2分岐達成可能な最適値に近づいた。

関連論文リスト

• VISA: Agentic Self-Evolving Data Synthesis for Multimodal Instruction Following [11.967752833065655]
  マルチモーダル命令追従モデルは、正確で多様性があり、検証可能で、困難なトレーニングデータを必要とする。 本稿では,マルチモーダル命令合成を自己進化ループとして再構成するエージェントフレームワークであるVISAを提案する。 MM-IFEvalの実験では、VISAは強いベースラインを越えて、マルチモーダル命令を一貫して改善している。
  論文  参考訳（メタデータ） (2026-08-26T16:55:58Z)
• Conformal Fusion Under Missing Modalities [6.599344783327054]
  我々は、モダリティのロバスト性と校正不確実性は単一結合性であり、Modality-Conditioned Conformal Fusion (MCCF)を導入していると論じる。 MCCFは、モダリティドロップアウトで訓練されたマルチモーダル・ボトルネック融合バックボーン、モダリティ分解されたディリクレ分布を生成するモダリティごとの明らかなヘッド、およびデンプスターとシェーファーの組み合わせルールを組み合わせる。 モダリティ-存在マスクの鍵となるモンドリアン共形キャリブレーション加群は、すべての空でないモダリティ部分集合に対して有限サンプル群条件付きカバレッジを提供する。
  論文  参考訳（メタデータ） (2026-08-07T12:57:16Z)
• GAUGE: Granularity-Adaptive Counterfactual Gating of Evidence for Incomplete Multimodal Classification [17.595478415811687]
  マルチモーダル分類は通常、すべてのモダリティが利用可能であると仮定するが、実世界の入力はしばしば不完全である。 不完全なマルチモーダル分類のための軽量な逆ファクトゲーティングフレームワークであるGAUGEを提案する。 GAUGEは、予測を意識したTaylorのエビデンススコアを通じて、すべてのユニットを参照表現に置き換える反ファクト効果をスコアする。
  論文  参考訳（メタデータ） (2026-08-06T05:07:14Z)
• Adaptive Modality Reliability Diagnosis and Restoration for Robust Multimodal Intent Recognition [2.2012643583422347]
  マルチモーダルな意図認識は言語的、音響的、視覚的な証拠を組み合わせたものであるが、個々のモダリティはうるさい、欠落、意味的に矛盾する、あるいは不当に支配的である可能性がある。 サンプルレベルでのモダリティ品質の診断,回復,再評価を行うクローズドループ信頼性ガイドフレームワークであるPRIMEを提案する。 マルチモーダルな意図認識ベンチマークの実験では、PRIMEは、欠如、ノイズ、矛盾、モダリティの不均衡条件下で改善しながら、競争力のあるクリーンデータ性能を維持している。
  論文  参考訳（メタデータ） (2026-08-04T11:14:13Z)
• Loud or Silent? A Reusable Framework for Per-Modality Failure Analysis in Multimodal Clinical AI [3.7524666944787644]
  2つの疑問は、どのモダリティに責任があるか、そしてモデルがモダリティを落として大音量または無音で失敗するかである。 モデルに依存しないモダリティ・欠陥の枠組みとして、Nのモダリティの埋め込み、マスクを意識したプローブ、ラベルを与えられた場合、例ごとの故障分類を返します。 モダリティ当たりのVSサイレントレートを報告し、3つのモダリティ相補性行列にスケールする。
  論文  参考訳（メタデータ） (2026-08-02T19:38:56Z)
• Prototype-Anchored Generalized Manifold Regression for Unknown-Domain Object Detection [58.25418970608328]
  単一ソースドメイン上でトレーニングされた検出器を複数の未確認領域に転送することを目的としたシングルドメイン一般化オブジェクト検出(Single-DGOD)について検討する。 既存の手法は主に、トレーニング分布を拡大するために、データ拡張やテキストプロンプトといったシミュレーション駆動の戦略に依存している。 本稿では, 未知領域の一般化を多様体回帰問題として定式化する, Visual-Text Dual Chain-of-Thought (MR-DCoT) を用いたマニフォールド回帰を提案する。
  論文  参考訳（メタデータ） (2026-07-08T09:27:15Z)
• Rethinking Training & Inference for Forecasting: Linking Winner-Take-All back to GMMs [48.245159309501666]
  自律走行のための軌道予測は急速に進歩しているが、代表モデルはしばしば予測モードよりも非形式的な後部を生成する。 我々は、この K-平均的なハード割当 (one-hot) が非形式的モード確率の源であると主張する。 当科では,(1)近隣の候補軌跡を集約するテストタイム後方重み付け,(2)1段階の予測最大化(EM)更新の2つの治療方法を紹介した。
  論文  参考訳（メタデータ） (2026-06-24T22:26:43Z)
• Escaping the Mode Lottery: Multi-Response Training Improves Language Model Generalization [14.039980020878815]
  現代の言語モデルファインチューニングペアは、多くのプロンプトが複数の有効な完了を認めているにもかかわらず、それぞれ1つの応答でプロンプトを発行する。 これにより、マルチモーダルな条件分布をワンサンプルビューに効果的に還元し、トレーニングは可塑性モードのサブセットを強調する。 マルチレスポンス・トレーニング(MRT)について検討し、各プロンプト毎に複数の応答を保ちながら、いつ、なぜそれが役立つのかを原則的に説明する。
  論文  参考訳（メタデータ） (2026-05-30T05:30:39Z)
• Knowing When Not to Answer: Evaluating Abstention in Multimodal Reasoning Systems [52.83669998269706]
  テキストのみの設定で研究されてきたが、まだマルチモーダルに探索されていない。 現在のベンチマークでは、未解決性を無視するか、現実的な障害モードを見逃す粗末なメソッドに依存している。 MM-AQAは、2つの軸に沿った変換によって解答不能なインスタンスを解答可能なインスタンスから構築するベンチマークである。
  論文  参考訳（メタデータ） (2026-04-16T09:23:22Z)
• CUPID: A Plug-in Framework for Joint Aleatoric and Epistemic Uncertainty Estimation with a Single Model [1.6855257501750571]
  CUPID (Comprehensive Uncertainty Plug-in estImation moDel) は、ベースモデルの変更や再訓練なしに、動脈とてんかんの不確実性を共同で推定する汎用モジュールである。 CUPIDは分類,回帰,アウト・オブ・ディストリビューション検出など,様々なタスクで評価される。 その結果、CUPIDは、不確実性の起源に関する階層的な洞察を提供しながら、一貫して競争性能を提供することがわかった。
  論文  参考訳（メタデータ） (2026-03-11T13:18:10Z)
• Nearly Optimal Bayesian Inference for Structural Missingness [23.988531482641307]
  ベイズ的な見方では、後続の予測分布による予測は、完全なモデル後続の不確実性の上に統合される。 このフレームワークは、(II)ラベル予測からモデル内の欠損値後部を学習し、予測後部分布を最適化する。 43の分類と15の計算ベンチマークでSOTAを達成し、ベイズ最適性保証の近くに有限サンプルを持つ。
  論文  参考訳（メタデータ） (2026-01-26T14:03:11Z)
• Calibrated Multimodal Representation Learning with Missing Modalities [100.55774771852468]
  マルチモーダル表現学習は、それらを統一潜在空間に整列させることにより、異なるモダリティを調和させる。 最近の研究は、従来のクロスモーダルアライメントを一般化して、強化されたマルチモーダル・シナジーを生成するが、すべてのモダリティを共通の例に含める必要がある。 我々は、アンカーシフトの観点から、この問題に関する理論的洞察を提供する。 モーダルの欠如に起因する不完全なアライメントを校正するために,マルチモーダル表現学習のためのCalMRLを提案する。
  論文  参考訳（メタデータ） (2025-11-15T05:01:43Z)
• Revisiting Multivariate Time Series Forecasting with Missing Values [65.30332997607141]
  現実の時系列では欠落値が一般的である。 現在のアプローチでは、計算モジュールを使用して、不足した値を補う、計算済みの予測フレームワークが開発されている。 このフレームワークは、致命的な問題を見落としている: 欠落した値に対して基礎的な真理は存在せず、予測精度を劣化させる可能性のあるエラーの影響を受けやすいようにしている。 本稿では,Information Bottleneck原則に基づく新しいフレームワークであるConsistency-Regularized Information Bottleneck(CRIB)を紹介する。
  論文  参考訳（メタデータ） (2025-09-27T20:57:48Z)
• Rejection via Learning Density Ratios [50.91522897152437]
  拒絶による分類は、モデルを予測しないことを許容する学習パラダイムとして現れます。 そこで我々は,事前学習したモデルの性能を最大化する理想的なデータ分布を求める。 私たちのフレームワークは、クリーンでノイズの多いデータセットで実証的にテストされます。
  論文  参考訳（メタデータ） (2024-05-29T01:32:17Z)
• Detecting Multimodal Situations with Insufficient Context and Abstaining from Baseless Predictions [75.45274978665684]
  VLU(Vision-Language Understanding)ベンチマークには、提供されたコンテキストによってサポートされない仮定に答えが依存するサンプルが含まれている。 サンプル毎にコンテキストデータを収集し,エビデンスに基づくモデル予測を促進するためにコンテキスト選択モジュールをトレーニングする。 我々は,十分なコンテキストを欠いたサンプルを同定し,モデル精度を向上させる汎用なコンテキスト・アワレ認識検出器を開発した。
  論文  参考訳（メタデータ） (2024-05-18T02:21:32Z)
• Regularizing Variational Autoencoder with Diversity and Uncertainty Awareness [61.827054365139645]
  変分オートエンコーダ(VAE)は、償却変分推論に基づいて潜伏変数の後部を近似する。 よりディバースで不確実な潜在空間を学習するための代替モデルDU-VAEを提案する。
  論文  参考訳（メタデータ） (2021-10-24T07:58:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。