論文の概要: RiVaT-Fuse: Reliability-Calibrated Variational Tensor Fusion for Multimodal Prediction under Modality Uncertainty
- arxiv url: http://arxiv.org/abs/2609.10798v1
- Date: Wed, 09 Sep 2026 19:59:49 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-11 23:53:35.133415
- Title: RiVaT-Fuse: Reliability-Calibrated Variational Tensor Fusion for Multimodal Prediction under Modality Uncertainty
- Title(参考訳): RiVaT-Fuse:Modality Uncertainty下でのマルチモーダル予測のための信頼性校正変量テンソルフュージョン
- Abstract要約: RiVaT-Fuseは画像メタタ予測のための信頼性校正変分数テンソル融合フレームワークである。
画像のエビデンス、メタデータのエビデンス、構造化された相互モーダル相互作用、安定性のバランスをとる変動目標を通じて、コンセンサス潜在状態を推定する。
画像レベルの画像メタデータ予測ベンチマークでは、直接表現レベルのベースラインの中で、RiVaT-Fuseが最も高い総合的な予測ランクを達成している。
- 参考スコア(独自算出の注目度): 0.5249805590164902
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Image-metadata prediction requires fusing heterogeneous evidence whose reliability can vary across samples and latent factors. Existing representation-level fusion methods typically choose an aggregation architecture, such as concatenation, gating, conditional modulation, or attention, without explicitly defining what the fused representation should mean under modality uncertainty. We propose RiVaT-Fuse, a reliability-calibrated variational tensor fusion framework that defines fusion as sample-wise latent-state estimation. Rather than producing a fused vector by direct aggregation, RiVaT-Fuse estimates a consensus latent state through a variational objective that balances image evidence, metadata evidence, structured cross-modal interaction, and stability. The resulting framework replaces scalar modality confidence with matrix-valued trust geometry, decomposes interaction into additive, multiplicative, and relational components, and couples the latent state with conditional robustness and structured multi-task prediction. We provide well-posedness and stability interpretations of the latent solve and instantiate the framework with efficient low-rank-plus-diagonal trust operators. On an image-level image-metadata prediction benchmark, RiVaT-Fuse achieves the strongest overall predictive rank among direct representation-level baselines while improving probability and label stability under perturbation.
- Abstract(参考訳): Image-Metadataの予測には、サンプルや潜伏要因によって信頼性が変化する異種証拠を融合する必要がある。
既存の表現レベルの融合法は通常、結合、ゲーティング、条件変調、注意といった集約アーキテクチャを選択し、融合された表現がモダリティの不確実性の下で何を意味するべきかを明確に定義しない。
本稿では,信頼性校正型変分テンソル融合フレームワークRiVaT-Fuseを提案する。
RiVaT-Fuseは直接アグリゲーションによって融合ベクトルを生成するのではなく、画像のエビデンス、メタデータのエビデンス、構造化された相互モーダル相互作用、安定性のバランスを保ちながら、コンセンサス潜在状態を推定する。
このフレームワークは、スカラーモダリティの信頼性を行列値の信頼幾何に置き換え、相互作用を加法、乗法、関係成分に分解し、条件付き堅牢性と構造化マルチタスク予測とを結合する。
我々は、潜在解法を適切に解釈し、効率的な低ランク+対角信頼演算子を用いてフレームワークをインスタンス化する。
画像レベルの画像メタデータ予測ベンチマークでは、直接表現レベルのベースラインの中で最も高い総合的な予測ランクを達成し、摂動下での確率とラベル安定性を改善した。
関連論文リスト
- Adaptive Modality Reliability Diagnosis and Restoration for Robust Multimodal Intent Recognition [2.2012643583422347]
マルチモーダルな意図認識は言語的、音響的、視覚的な証拠を組み合わせたものであるが、個々のモダリティはうるさい、欠落、意味的に矛盾する、あるいは不当に支配的である可能性がある。
サンプルレベルでのモダリティ品質の診断,回復,再評価を行うクローズドループ信頼性ガイドフレームワークであるPRIMEを提案する。
マルチモーダルな意図認識ベンチマークの実験では、PRIMEは、欠如、ノイズ、矛盾、モダリティの不均衡条件下で改善しながら、競争力のあるクリーンデータ性能を維持している。
論文 参考訳(メタデータ) (2026-08-04T11:14:13Z) - Dual-Edged Homogeneous-Modality Similarity: Towards Visible-Infrared Modality-Incomplete Person Re-Identification with Modality Adaptive Matching [60.86381869046298]
我々は, Visible-Infrared Modality-Incomplete Re-Identification (VIMI-ReID) タスクを形式化する。
VIMI-ReIDにおける予測不可能なモダリティの組み合わせと、同質なモダリティサンプルの固有の類似性は、大きな性能低下を引き起こす。
モーダリティ固有およびモーダリティ共有特徴を抽出するMAMT(Modality Adaptive Matching Transformer)を提案する。
論文 参考訳(メタデータ) (2026-07-21T04:10:20Z) - MRUF: Multi-granularity Routing with Uncertainty-Aware Fusion for Robust Multimodal Sentiment Analysis [20.73891715749963]
本稿では,多粒性ルーティングと不確実性を考慮したキャリブレーションを組み合わせた信頼性を考慮した融合手法を提案する。
MRUFは、感情関連表現を要約し、サブスペースとモダリティレベルのルーティングを実行し、モーダリティのルーティングを調整し、アウト・ワン・エラーの増加でモーダリティのルーティングを監督し、発話レベルのモダリティの重要性を推定する。
論文 参考訳(メタデータ) (2026-07-12T06:32:54Z) - Neural Conjugate Aggregation: Identifiable Unsupervised Multi-Sensor Regression under Heterogeneous Sensor Bias [0.0]
本研究では,不確実性下での回帰に基づくデータ融合について検討する。
この設定は、センサーネットワーク、シミュレーションアンサンブル、そして監視が費用がかかるか不可能である科学的な監視システムで発生する。
本稿では,ニューラルネットワークと共役ガウス推論を組み合わせた階層型ベイズフレームワークであるニューラル共役凝集モデル(NCAM)を提案する。
論文 参考訳(メタデータ) (2026-06-20T19:30:21Z) - Towards Trustworthy Depression Estimation via Disentangled Evidential Learning [50.22167852149165]
EviDepはうつ病の重症度を共同で定量化する明らかな学習フレームワークである。
EviDepは、堅牢な証拠合成を保証するために厳密な情報整合性を強制する。
最先端の予測精度と優れた不確実性校正を実現し、信頼できる臨床スクリーニングのための堅牢なフェールセーフメカニズムを提供する。
論文 参考訳(メタデータ) (2026-04-17T13:27:11Z) - Stage-Adaptive Reliability Modeling for Continuous Valence-Arousal Estimation [11.761508894410182]
本稿では,マルチモーダル統合におけるモダリティの信頼度を明示的に推定・校正する段階適応型信頼度モデリングフレームワークを提案する。
SAGEは、ステージ依存の情報量に応じて音声と視覚の表現を動的に再バランスする信頼性に配慮した融合機構を導入している。
Aff-Wild2ベンチマークの実験では、SAGEは既存のマルチモーダル融合法と比較して、一致相関係数のスコアを一貫して改善することを示した。
論文 参考訳(メタデータ) (2026-03-12T02:45:41Z) - Trust in One Round: Confidence Estimation for Large Language Models via Structural Signals [13.89434979851652]
大規模言語モデル(LLM)は、エラーが社会的、科学的、安全コストの高い領域にますます展開されている。
本稿では,出力の正確性を予測する単一パスモデル依存フレームワークであるStructure Confidenceを提案する。
論文 参考訳(メタデータ) (2026-02-01T02:35:59Z) - TrustLoRA: Low-Rank Adaptation for Failure Detection under Out-of-distribution Data [62.22804234013273]
本稿では,共変量および意味的シフトの両条件下での拒絶による分類を統一し,促進する,単純な故障検出フレームワークを提案する。
キーとなる洞察は、障害固有の信頼性知識を低ランクアダプタで分離し、統合することにより、障害検出能力を効果的かつ柔軟に向上できるということです。
論文 参考訳(メタデータ) (2025-04-20T09:20:55Z) - Trustworthy Multimodal Regression with Mixture of Normal-inverse Gamma
Distributions [91.63716984911278]
このアルゴリズムは、異なるモードの適応的統合の原理における不確かさを効率的に推定し、信頼できる回帰結果を生成する。
実世界のデータと実世界のデータの両方に対する実験結果から,多モード回帰タスクにおける本手法の有効性と信頼性が示された。
論文 参考訳(メタデータ) (2021-11-11T14:28:12Z) - Trusted Multi-View Classification [76.73585034192894]
本稿では,信頼された多視点分類と呼ばれる新しい多視点分類手法を提案する。
さまざまなビューをエビデンスレベルで動的に統合することで、マルチビュー学習のための新しいパラダイムを提供する。
提案アルゴリズムは,分類信頼性とロバスト性の両方を促進するために,複数のビューを併用する。
論文 参考訳(メタデータ) (2021-02-03T13:30:26Z) - Trust but Verify: Assigning Prediction Credibility by Counterfactual
Constrained Learning [123.3472310767721]
予測信頼性尺度は統計学と機械学習において基本的なものである。
これらの措置は、実際に使用される多種多様なモデルを考慮に入れるべきである。
この研究で開発されたフレームワークは、リスクフィットのトレードオフとして信頼性を表現している。
論文 参考訳(メタデータ) (2020-11-24T19:52:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。