論文の概要: Calibrating Multimodal Test-Time Adaptation under Reliability and Availability Modality Shifts

• arxiv url: http://arxiv.org/abs/2611.03232v1
• Date: Mon, 02 Nov 2026 14:48:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-06 05:40:38.032054
• Title: Calibrating Multimodal Test-Time Adaptation under Reliability and Availability Modality Shifts
• Title（参考訳）: 信頼性とアベイラビリティ・モダリティシフトを考慮したマルチモーダルテスト時間適応の校正
• Abstract要約: マルチモーダルテスト時間適応(TTA)により、事前訓練されたモデルは、元のトレーニングデータに関連付けることなく、ラベルのないテストデータのみを使用して、推論中に分散シフトを許容できる。 AdaPGCは、ソースモデル予測を校正し、信頼性に基づいた修正をガイドするために、結果の確率的予測を用いて、モダリティ固有および融合表現に関するカテゴリ条件ガウスモデルを継続的に更新する。 ソースコードはhttps://github.com/XuJinglinn/AdaPGC-plusで公開されます。
• 参考スコア（独自算出の注目度）: 65.44235945768814
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Multimodal test-time adaptation (TTA) enables pretrained multimodal models to accommodate distribution shifts during inference using only unlabeled test data, without recourse to the original training data. Compared with unimodal adaptation, multimodal adaptation is further complicated by the coexistence and interaction of multiple representation perspectives. This complexity is particularly pronounced under modality reliability shifts, which preserve modality availability but degrade information quality, and modality availability shifts, which render the corresponding modality entirely inaccessible. Category-conditional Gaussian modeling offers a natural starting point for handling such distributional variations, having proven effective in unimodal test-time adaptation for characterizing representation distributions, yet its extension to multimodal settings requires a more elaborate formulation. To this end, we propose Adaptive Probabilistic Gaussian Calibration (AdaPGC), which extends category-conditional Gaussian modeling across modality-specific and multimodal fusion representations for probabilistic calibration under multimodal distribution shifts. AdaPGC continuously updates category-conditional Gaussian models over modality-specific and fusion representations, using the resulting probabilistic predictions to calibrate source model predictions and guide reliability based rectification, while exploiting their joint distributions to recover unavailable fusion representations. Extensive experiments under diverse modality corruption and missingness conditions demonstrate that AdaPGC effectively improves robustness under both modality reliability and availability shifts. Our source code will be released at https://github.com/XuJinglinn/AdaPGC-plus.
• Abstract（参考訳）: マルチモーダルテスト時間適応(TTA)により、事前訓練されたマルチモーダルモデルは、元のトレーニングデータに関連付けることなく、ラベルのないテストデータのみを使用して推論中に分散シフトを許容できる。 単モーダル適応と比較して、多重表現視点の共存と相互作用により、多モーダル適応はさらに複雑である。 この複雑さは、モダリティの可用性を維持するが情報品質を低下させるモダリティの信頼性シフトと、それに対応するモダリティが完全にアクセス不能なモダリティの可用性シフトの下で特に顕著である。 カテゴリー条件ガウスモデリングは、そのような分布の変動を扱うための自然な出発点を提供し、表現分布を特徴づける単調なテスト時間適応に有効であることが証明されているが、そのマルチモーダル設定への拡張はより精巧な定式化を必要とする。 この目的のために,多モード分布シフト下での確率的キャリブレーションのための適応確率ガウス校正法 (Adaptive Probabilistic Gaussian Calibration, AdaPGC) を提案する。 AdaPGCは、ソースモデルの予測を校正し、信頼性に基づく修正をガイドする確率的予測を使い、不利用可能な融合表現を復元するために、カテゴリ条件のガウスモデルを継続的に更新する。 AdaPGCは、多種多様なモダリティの破損と不足条件下での広範囲な実験により、モダリティの信頼性と可用性のシフトの両面において、ロバスト性を効果的に改善することを示した。 ソースコードはhttps://github.com/XuJinglinn/AdaPGC-plusで公開されます。

関連論文リスト

• Dual-Edged Homogeneous-Modality Similarity: Towards Visible-Infrared Modality-Incomplete Person Re-Identification with Modality Adaptive Matching [60.86381869046298]
  我々は, Visible-Infrared Modality-Incomplete Re-Identification (VIMI-ReID) タスクを形式化する。 VIMI-ReIDにおける予測不可能なモダリティの組み合わせと、同質なモダリティサンプルの固有の類似性は、大きな性能低下を引き起こす。 モーダリティ固有およびモーダリティ共有特徴を抽出するMAMT(Modality Adaptive Matching Transformer)を提案する。
  論文  参考訳（メタデータ） (2026-07-21T04:10:20Z)
• Optimal Mixture-of-Experts Model Averaging for Conditional Generative Models [5.102380962405881]
  条件生成モデルは,対象条件分布から抽出する強力なツールとして出現している。 これらのモデルが普及するにつれて、実践者はタスク、データ、入力条件によってパフォーマンスが変化する複数の可塑性ジェネレータに直面します。 本研究では,条件付き生成モデルに対する最適モデル平均化フレームワークを提案する。
  論文  参考訳（メタデータ） (2026-07-05T15:38:35Z)
• Multi-modal Test-time Adaptation via Adaptive Probabilistic Gaussian Calibration [29.33411240603458]
  我々は,カテゴリ条件分布を明示的にモデル化するために,マルチモーダルTTAのための固有確率ガウスモデルを提案する。 また, 適応的な非対称性補正手法を提案し, モダリティ非対称性から生じる悪影響に対処する。 本手法は,多種多様な分散シフト下での最先端性能を実現する。
  論文  参考訳（メタデータ） (2026-04-21T05:18:09Z)
• Calibrated Multimodal Representation Learning with Missing Modalities [100.55774771852468]
  マルチモーダル表現学習は、それらを統一潜在空間に整列させることにより、異なるモダリティを調和させる。 最近の研究は、従来のクロスモーダルアライメントを一般化して、強化されたマルチモーダル・シナジーを生成するが、すべてのモダリティを共通の例に含める必要がある。 我々は、アンカーシフトの観点から、この問題に関する理論的洞察を提供する。 モーダルの欠如に起因する不完全なアライメントを校正するために,マルチモーダル表現学習のためのCalMRLを提案する。
  論文  参考訳（メタデータ） (2025-11-15T05:01:43Z)
• MCNet: Monotonic Calibration Networks for Expressive Uncertainty Calibration in Online Advertising [27.08760230660561]
  オンライン広告では、不確実性のキャリブレーションは、ランキングモデルの確率予測を調整し、イベントの真の可能性をよりよく近似することを目的としている。 既存のキャリブレーションアプローチは、複雑な非線形関係をモデル化し、コンテキストの特徴を考慮し、異なるデータサブセット間でバランスの取れた性能を達成する能力に欠ける可能性がある。 我々はモノトニックネットワークと呼ばれる新しいモデルを紹介し、モノトニックキャリブレーション関数、順序保存正規化器、フィールドバランス正規化器の3つの重要な設計を特徴とする。
  論文  参考訳（メタデータ） (2025-03-01T03:54:58Z)
• Bridging the inference gap in Mutimodal Variational Autoencoders [6.246098300155483]
  マルチモーダル変分オートエンコーダは、観測されたモダリティから観測されていないモダリティを生成するための多目的でスケーラブルな方法を提供する。 エキスパートの混合集合を用いた最近のモデルは、複雑なデータセットにおける生成品質を制限する理論的に基礎的な制限に悩まされている。 本稿では,混合アグリゲーションを導入することなく,結合分布と条件分布の両方を学習できる新しい解釈可能なモデルを提案する。
  論文  参考訳（メタデータ） (2025-02-06T10:43:55Z)
• Continuous Bayesian Model Selection for Multivariate Causal Discovery [22.945274948173182]
  離散モデル選択問題の連続緩和を利用したスケーラブルなアルゴリズムを提案する。 ベイズ非パラメトリックモデルとしてカウスカルプロセス条件密度推定器(CGP-CDE)を用いる。 この行列は、限界確率と非巡回正規化器を用いて最適化され、最大 A 後方因果グラフを与える。
  論文  参考訳（メタデータ） (2024-11-15T12:55:05Z)
• A Novel Unified Conditional Score-based Generative Framework for Multi-modal Medical Image Completion [54.512440195060584]
  我々は、スコアベース生成モデル(SGM)を活用するために、統一多モードスコアベース生成モデル(UMM-CSGM)を提案する。 UMM-CSGMは、新しいマルチインマルチアウトコンディションスコアネットワーク(mm-CSN)を用いて、クロスモーダル条件分布の包括的集合を学習する。 BraTS19データセットの実験により、UMM-CSGMは腫瘍誘発病変における不均一な増強と不規則な領域をより確実に合成できることが示された。
  論文  参考訳（メタデータ） (2022-07-07T16:57:21Z)
• Trustworthy Multimodal Regression with Mixture of Normal-inverse Gamma Distributions [91.63716984911278]
  このアルゴリズムは、異なるモードの適応的統合の原理における不確かさを効率的に推定し、信頼できる回帰結果を生成する。 実世界のデータと実世界のデータの両方に対する実験結果から,多モード回帰タスクにおける本手法の有効性と信頼性が示された。
  論文  参考訳（メタデータ） (2021-11-11T14:28:12Z)
• Autoregressive Score Matching [113.4502004812927]
  自動回帰条件スコアモデル(AR-CSM)を提案する。 AR-CSMモデルでは、このデータ分布とモデル分布のばらつきを効率的に計算し、最適化することができ、高価なサンプリングや対向訓練を必要としない。 本研究では,合成データに対する密度推定,画像生成,画像復調,暗黙エンコーダを用いた潜在変数モデルの訓練に応用できることを示す。
  論文  参考訳（メタデータ） (2020-10-24T07:01:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。