論文の概要: Majorization-Guided Test-Time Adaptation for Vision-Language Models under Modality-Specific Shift

• arxiv url: http://arxiv.org/abs/2604.24602v1
• Date: Mon, 27 Apr 2026 15:29:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-28 17:12:08.119285
• Title: Majorization-Guided Test-Time Adaptation for Vision-Language Models under Modality-Specific Shift
• Title（参考訳）: モーダリティ比シフト下における視覚言語モデルのメジャー化誘導テスト時間適応
• Authors: Lixian Chen, Mingxuan Huang, Yanhui Chen, Junyi Lin, Yang Shi,
• Abstract要約: 視覚言語モデルはゼロショット設定でうまく転送されるが、展開時には視覚とテキストの分岐は非対称に移動することが多い。 本研究では, この故障モードをマルチモーダル後部の大規模化の観点から検討し, 融合予測における制約付き解混合問題としてのキャスト適応について検討する。 バックボーンを凍結させ,軽量ゲートやアダプタのみを更新するMG-MTTAを提案する。
• 参考スコア（独自算出の注目度）: 2.4199872576599444
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Vision-language models transfer well in zero-shot settings, but at deployment the visual and textual branches often shift asymmetrically. Under this condition, entropy-based test-time adaptation can sharpen the fused posterior while increasing error, because an unreliable modality may still dominate fusion. We study this failure mode through a majorization view of multimodal posteriors and cast adaptation as a constrained de-mixing problem on the fused prediction. Based on this view, we propose MG-MTTA, which keeps the backbone frozen and updates only a lightweight gate or adapter. The objective combines fused-posterior entropy minimization with a reliability-aware gate prior built from anchor-based modality consistency and cross-modal conflict. Our analysis gives conditions under which entropy reduction preserves the correct ranking and a threshold that characterizes modality-dominance failure. On the ImageNet-based benchmark, MG-MTTA improves top-1 accuracy from 57.97 to 66.51 under semantics-preserving textual shift and from 21.68 to 26.27 under joint visual-textual shift, while remaining competitive in the visual-only benchmark. These results show that multimodal test-time adaptation should control modality reliability, not just prediction entropy.
• Abstract（参考訳）: 視覚言語モデルはゼロショット設定でうまく転送されるが、展開時には視覚とテキストの分岐は非対称に移動することが多い。 この条件下では、エントロピーに基づくテスト時間適応は、信頼できないモダリティが核融合を支配する可能性があるため、誤差を増大させながら融合後部を鋭くすることができる。 本研究では, この故障モードをマルチモーダル後部の大規模化の観点から検討し, 融合予測における制約付き解混合問題としてのキャスト適応について検討する。 この観点から、バックボーンの凍結を保ち、軽量ゲートまたはアダプタのみを更新するMG-MTTAを提案する。 この目的は、アンカーベースのモダリティ整合性とクロスモーダルコンフリクトから構築される信頼度に配慮したゲートと、融合後エントロピー最小化との組み合わせである。 分析により,エントロピー低減が正しいランクを保ち,モダリティ・マディナンス障害を特徴付けるしきい値が得られた。 ImageNetベースのベンチマークでは、MG-MTTAは、セマンティックス保存によるトップ1の精度を57.97から66.51に改善し、共同視覚テキストシフトによる21.68から26.27に改善した。 これらの結果から,マルチモーダルテスト時適応は,単に予測エントロピーではなく,モダリティの信頼性を制御すべきであることが示唆された。

関連論文リスト

• Forward Consistency Learning with Gated Context Aggregation for Video Anomaly Detection [17.79982215633934]
  ビデオ異常検出(VAD)は、リアルタイム監視システムにおける各種イベントの正常パターンからの偏差を測定することを目的としている。 既存のVAD手法の多くは、リソース制限されたエッジデバイスへの実現可能性を制限するため、極端な精度を追求するために大規模なモデルに依存している。 本稿では,Gatedコンテキストアグリゲーションを用いたフォワード整合学習を実現する軽量なVADモデルFoGAを紹介する。
  論文  参考訳（メタデータ） (2026-01-26T04:35:31Z)
• Revisiting Multivariate Time Series Forecasting with Missing Values [65.30332997607141]
  現実の時系列では欠落値が一般的である。 現在のアプローチでは、計算モジュールを使用して、不足した値を補う、計算済みの予測フレームワークが開発されている。 このフレームワークは、致命的な問題を見落としている: 欠落した値に対して基礎的な真理は存在せず、予測精度を劣化させる可能性のあるエラーの影響を受けやすいようにしている。 本稿では,Information Bottleneck原則に基づく新しいフレームワークであるConsistency-Regularized Information Bottleneck(CRIB)を紹介する。
  論文  参考訳（メタデータ） (2025-09-27T20:57:48Z)
• Advancing Reliable Test-Time Adaptation of Vision-Language Models under Visual Variations [67.35596444651037]
  視覚言語モデル(VLM)は、素晴らしいゼロショット機能を示すが、ラベル付きデータが利用できない場合、下流タスクの分散シフトに苦慮する。 本稿では,信頼性を両面から高めるReliable Test-Time Adaptation (ReTA)法を提案する。
  論文  参考訳（メタデータ） (2025-07-13T05:37:33Z)
• BayesTTA: Continual-Temporal Test-Time Adaptation for Vision-Language Models via Gaussian Discriminant Analysis [41.09181390655176]
  CLIPのような視覚言語モデル(VLM)は、強いゼロショット認識を実現するが、実世界のシナリオに共通する時空間的な分散シフトの下で大幅に劣化する。 テスト分布が時間とともに徐々に変化するCT-TTA(textitContinal-Temporal Test-Time Adaptation)として、この実践的問題を定式化する。 我々は、時間的に一貫した予測を実行し、視覚表現を動的に調整する、ベイズ適応フレームワークであるtextitBayesTTAを提案する。
  論文  参考訳（メタデータ） (2025-07-11T14:02:54Z)
• Solving Inverse Problems with FLAIR [68.87167940623318]
  本稿では,フローベース生成モデルを逆問題に先立って活用する学習自由変分フレームワークFLAIRを提案する。 標準画像ベンチマークの結果、FLAIRは再現性やサンプルの多様性の観点から、既存の拡散法や流れ法よりも一貫して優れていることが示された。
  論文  参考訳（メタデータ） (2025-06-03T09:29:47Z)
• COME: Test-time adaption by Conservatively Minimizing Entropy [45.689829178140634]
  保守的に最小化されるエントロピー (COME) は従来のエントロピー (EM) の代替品である COMEはモデル予測よりもディリクレ事前分布を特徴付けることによって、不確実性を明示的にモデル化する。 我々はCOMEが一般的なベンチマークで最先端のパフォーマンスを達成することを示す。
  論文  参考訳（メタデータ） (2024-10-12T09:20:06Z)
• A Novel Regression Loss for Non-Parametric Uncertainty Optimization [7.766663822644739]
  不確実性の定量化は、安全な機械学習を確立する最も有望なアプローチの1つである。 これまでの最も一般的なアプローチの1つはモンテカルロドロップアウトで、計算量的に安価で、実際に簡単に適用できる。 この問題に対処するため,第2モーメント損失(UCI)と呼ばれる新たな目標を提案する。
  論文  参考訳（メタデータ） (2021-01-07T19:12:06Z)
• Second-Moment Loss: A Novel Regression Objective for Improved Uncertainties [7.766663822644739]
  不確実性の定量化は、安全な機械学習を確立する最も有望なアプローチの1つである。 これまでの最も一般的なアプローチの1つはモンテカルロドロップアウトで、計算量的に安価で、実際に簡単に適用できる。 この問題に対処するため,第2モーメント損失(UCI)と呼ばれる新たな目標を提案する。
  論文  参考訳（メタデータ） (2020-12-23T14:17:33Z)
• Evaluating Prediction-Time Batch Normalization for Robustness under Covariate Shift [81.74795324629712]
  我々は予測時間バッチ正規化と呼び、共変量シフト時のモデル精度とキャリブレーションを大幅に改善する。 予測時間バッチ正規化は、既存の最先端アプローチに相補的な利点をもたらし、ロバスト性を向上させることを示します。 この手法は、事前トレーニングと併用して使用すると、さまざまな結果が得られるが、より自然なタイプのデータセットシフトでは、パフォーマンスが良くないようだ。
  論文  参考訳（メタデータ） (2020-06-19T05:08:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。