論文の概要: Reliability-Aware Multimodal Sentiment Prediction Under Local Modality Missingness

• arxiv url: http://arxiv.org/abs/2610.20543v1
• Date: Wed, 14 Oct 2026 17:36:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:16.28386
• Title: Reliability-Aware Multimodal Sentiment Prediction Under Local Modality Missingness
• Title（参考訳）: 局所的モダリティ欠如下における信頼性を考慮したマルチモーダル感性予測
• Abstract要約: CMU-MOSEI特徴の局所的欠如について検討した。 RM-Netの5つの種をLoRA対応のBERTテキストエキスパートと融合させる。 上位の位置は、ランダムな位置よりも早く予測されたクラス確率を減少させる。
• 参考スコア（独自算出の注目度）: 9.283746977207938
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Multimodal sentiment models are usually evaluated on complete utterances, yet streams often lose a contiguous span of text, audio, or video. We study local missingness on aligned CMU-MOSEI features. Our reliability-aware network (RM-Net) keeps the original temporal positions, represents unobserved positions with a learned token, outputs bounded per-modality intensity contributions gated by observation quality, and is trained with dual-view masking of contiguous segments. We fuse five RM-Net seeds with a LoRA-adapted BERT text expert, using a fusion weight that depends only on the visible fraction of content tokens. Architecture, checkpoint, and fusion choices were made on the validation split. On the held-out split, the fused model reaches a macro-F1 of 0.655 on clean inputs and 0.634 under 40\% mixed missingness; its two-view average exceeds the auxiliary-head baseline by 0.024 (95\% video-cluster bootstrap interval [0.003, 0.045]). Because this split was inspected during development, these numbers are not a blind test. For explanations, exact Shapley attributions over the eight modality subsets and position-level occlusion show that top-ranked positions reduce the predicted-class probability faster than random positions (AUC gap 0.113 on validation). We also describe an auditable word-level alignment pipeline for raw clips; its outputs do not feed the predictive models.
• Abstract（参考訳）: マルチモーダル感情モデルは通常、完全な発話に基づいて評価されるが、ストリームはしばしばテキスト、オーディオ、ビデオの連続的なスパンを失う。 我々は,CMU-MOSEI特徴の局所的欠如について検討した。 我々の信頼性意識ネットワーク(RM-Net)は、元の時間的位置を保持し、学習したトークンで観測されていない位置を表現し、観測品質によって誘導されるモダリティ毎の強度の有界なコントリビューションを出力し、連続したセグメントの二重ビューマスキングで訓練する。 RM-Netの5つの種をLoRA適応BERTテキストエキスパートと融合し、コンテントトークンの可視個数にのみ依存する融合重みを用いる。 アーキテクチャ、チェックポイント、融合の選択は、バリデーション分割で行われました。 ホールドアウトスプリットにおいて、融合モデルはクリーン入力で0.655のマクロF1、混合欠如で0.634に達し、その2ビュー平均は補助ヘッドベースラインを0.024(ビデオクラスタブートストラップ間隔[0.003, 0.045])以上である。 この分割は開発中に検査されたため、これらの数字は盲目検査ではない。 説明として、8つのモダリティ部分集合と位置レベルのオクルージョンに対するシャプリーの正確な属性は、トップランクの位置がランダムな位置よりも早く予測クラス確率を減少させることを示している(AUC gap 0.113 on validation)。 また、生クリップのための監査可能な単語レベルのアライメントパイプラインも記述し、その出力は予測モデルに供給しない。

関連論文リスト

• Correlation-Guided Encoder Selection for Multi-Encoder Large Audio-Language Models [52.59216139491759]
  CUES (Correlation-gUided Selection) は、単エンコーダ評価のみから選択中の融合訓練なしで設定された候補をスコアする。 広いトラックAスイートでは、CUESはクロスファミリートリオ(Whisper-medium、mHuBERT-147、Dasheng-base)を選択する。 TrackBテキスト生成では、フォーカスされた音声のみのペア(mHuBERT-147とWavLM-base-plus)で再アンカーする。
  論文  参考訳（メタデータ） (2026-09-16T02:41:41Z)
• Sparse Incident-Cluster Learning for 12-hour Port Flood Pre-warning in Digital-Twin Analytics [9.39026429591892]
  ポートフラッドデジタル双生児は、破壊前にオペレーターに警告する分析を必要とする。 公式な警告インシデントは少なく、隣接する観測は時間的に依存している。 インシデントクラスタ学習問題として,12時間の浸水予報を定式化する。
  論文  参考訳（メタデータ） (2026-09-05T14:10:09Z)
• Modalities Should Talk to Each Other: Dual-Stream Multimodal Learning for Long-Horizon Influenza Forecasting [1.2599533416395763]
  一般に入手可能な監視データセットは、通常、数値疫学的信号をノイズと組み合わせ、ゆるやかに構造化され、短期的な傾向にのみ間接的に関係しており、しばしば数値的な信号と相対的に関連付けられている。 我々は,36週間のマルチモーダル履歴から12週間のILI活動を予測するマルチモーダルディープラーニングフレームワークであるDual-Stream Attention (DSA)を提案する。
  論文  参考訳（メタデータ） (2026-08-24T15:20:01Z)
• Conformal Calibration for Multi-Modal Regression with Missing Modalities [0.0]
  多モード回帰の予測間隔は、ソースが一致しない、または欠落している場合に校正が困難である。 我々はこれをモジュラリティを意識した共形キャリブレーション層を通じて解決する。 レイヤーは、モダリティごとに1つの予測器を訓練または再利用し、予測から不一致スコアを計算し、そのスコアを分割共形キャリブレーションで使用する。
  論文  参考訳（メタデータ） (2026-08-07T22:38:35Z)
• Learning-based Probabilistic Load Forecasting with Post-hoc and In-model Uncertainty [0.0]
  我々は,1日ごとの確率予測フレームワークを開発した。 モジュラー・ポストホック残量学習スキームとインモデル量子学習スキームを比較した。 この結果から, 再構成された入力に依存する場合の残差量子化の限界が明らかとなった。
  論文  参考訳（メタデータ） (2026-07-14T13:02:18Z)
• Temporal Multi-Signal Fusion for Token-Level Hallucination Detection [0.0]
  トークンレベルの幻覚検出器は、1つの信号から独立してトークンをスコアし、生成モデルが確実に間違っている場合に正確に失敗する。 本稿では,幻覚を時間的に拡張したスパンとして扱い,シーケンスラベリングにより検出する。 双方向Gated Recurrent Unit (BiGRU) は、RAGTruth (10種)上のAUCの0.840に達する。
  論文  参考訳（メタデータ） (2026-06-30T19:22:39Z)
• Attention-Discounted Adaptive Sampler for Masked Diffusion Language Models [59.51249894128724]
  マスク付き拡散言語モデルは、反復を識別するごとに複数のトークンを明らかにすることで推論ステップを削減することができる。 パラレルマスク拡散復号法のためのトレーニング不要な復号法であるADASを提案する。
  論文  参考訳（メタデータ） (2026-06-09T13:17:27Z)
• CLUE: Non-parametric Verification from Experience via Hidden-State Clustering [64.50919789875233]
  隠れアクティベーションの軌跡内の幾何的に分離可能なシグネチャとして解の正しさが符号化されていることを示す。 ClUE は LLM-as-a-judge ベースラインを一貫して上回り、候補者の再選において近代的な信頼に基づく手法に適合または超えている。
  論文  参考訳（メタデータ） (2025-10-02T02:14:33Z)
• Revisiting Multivariate Time Series Forecasting with Missing Values [65.30332997607141]
  現実の時系列では欠落値が一般的である。 現在のアプローチでは、計算モジュールを使用して、不足した値を補う、計算済みの予測フレームワークが開発されている。 このフレームワークは、致命的な問題を見落としている: 欠落した値に対して基礎的な真理は存在せず、予測精度を劣化させる可能性のあるエラーの影響を受けやすいようにしている。 本稿では,Information Bottleneck原則に基づく新しいフレームワークであるConsistency-Regularized Information Bottleneck(CRIB)を紹介する。
  論文  参考訳（メタデータ） (2025-09-27T20:57:48Z)
• Generalized Focal Loss: Learning Qualified and Distributed Bounding Boxes for Dense Object Detection [85.53263670166304]
  一段検出器は基本的に、物体検出を密度の高い分類と位置化として定式化する。 1段検出器の最近の傾向は、局所化の質を推定するために個別の予測分岐を導入することである。 本稿では, 上記の3つの基本要素, 品質推定, 分類, ローカライゼーションについて述べる。
  論文  参考訳（メタデータ） (2020-06-08T07:24:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。