論文の概要: On the Limits of Representation-Based Test-Time Adaptation for Multimodal LLMs

• arxiv url: http://arxiv.org/abs/2610.19892v1
• Date: Wed, 14 Oct 2026 09:50:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:16.075889
• Title: On the Limits of Representation-Based Test-Time Adaptation for Multimodal LLMs
• Title（参考訳）: マルチモーダルLLMにおける表現型テスト時間適応の限界について
• Abstract要約: テスト時間適応(TTA)は、CLIPのようなコントラストモデルにおける腐敗シフトを緩和する。 しかし、TTAによる生成型マルチモーダル大言語モデル(MLLM)への応用は、そのシーケンシャルトークン生成のため、未検討であり、ユニークな課題である。 実験の結果,標準TTA仮定に違反した場合でも,対象データをオフラインにすることで,サンプルブラインド特徴アライメントは限界精度のみを回復することがわかった。
• 参考スコア（独自算出の注目度）: 6.601373603337087
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Vision-language models suffer significant accuracy drops under common corruptions. While test-time adaptation (TTA) successfully mitigates these shifts in CLIP-like contrastive models, its application to generative multimodal large language models (MLLMs) remains underexplored and uniquely challenging due to their sequential token generation. In this work, we demonstrate that representation-based TTA fails to recover performance in MLLMs. Our experiments reveal that even when violating standard TTA assumptions by leveraging target data offline, sample-blind feature alignment recovers only marginal accuracy. We attribute this failure to the nature of corruption shifts: unlike CLIP-like architectures, which benefit from a shared domain-shift direction within a single pooled classification embedding, MLLM visual token sequence shifts are nearly orthogonal and span the full embedding space.These findings bound what any sample-blind, position-shared correction at a single encoder site can achieve, establishing that representation-space interventions alone might be insufficient to ensure corruption robustness in MLLMs.
• Abstract（参考訳）: 視覚言語モデルは、一般的な汚職の下でかなりの精度の低下を被る。 テスト時間適応(TTA)は、CLIPのようなコントラストモデルにおけるこれらのシフトを緩和するが、生成型マルチモーダル大言語モデル(MLLM)への応用は、そのシーケンシャルトークン生成のため、未熟で一意に困難である。 本研究では,表現に基づくTTAがMLLMの性能回復に失敗することを示す。 実験の結果,標準TTA仮定に違反した場合でも,対象データをオフラインにすることで,サンプルブラインド特徴アライメントは限界精度のみを回復することがわかった。 単一プール型分類埋め込みにおける共有ドメインシフト方向の恩恵を受けるCLIPアーキテクチャとは異なり、MLLMの視覚トークンシーケンスシフトはほぼ直交しており、完全な埋め込み空間にまたがる。

関連論文リスト

• Sparse MLLM Anchors, Dense Adaptation: Breaking the Self-Referential Loop in Wild Test-Time Adaptation [17.055807559866093]
  我々は,MASA(Multimodal-LLM-Anchored Semantic Adaptation)を導入し,冷凍大言語モデル(MLLM)の構造化意味記述とモデル内部証拠を補完する。 MASAは記述をエンコードし、隣接するテストサンプルに伝達し、結果の視覚意味情報をオンラインのプロトタイプメモリに格納する。 WTTA ImageNet-CベンチマークのMASAをResNetとViTのバックボーンを用いて,制限バッチ,混合ドメイン,不均衡ラベルシフト設定で評価した。
  論文  参考訳（メタデータ） (2026-09-15T11:48:30Z)
• Local Margin Restoration for Test-Time Adaptation of Vision-Language Models [15.097704252897818]
  CLIPのような視覚言語モデル(VLM)は、優れたゼロショット機能を示すが、予期せぬテスト時間分散シフトの下で、その性能は急激に低下する。 テスト時間適応フレームワークであるLocal Margin Restoration (LMR)を提案する。 CIFAR-C、ImageNet-C、ImageNetの変種に関する実験では、LMRが最先端のTTAベースラインを一貫して上回っていることが示されている。
  論文  参考訳（メタデータ） (2026-08-03T13:38:11Z)
• Fine-tuning MLLMs Without Forgetting Is Easier Than You Think [72.59321247529975]
  分布内および分布外画像およびテキスト入力のモデル性能を評価するための2x2実験フレームワークを設計する。 その結果、トレーニング可能なパラメータの数を制限したり、低学習率を採用するなど、適切な正規化が、アウト・オブ・ディストリビューション・イメージを扱う際の忘れを効果的に防止できることが示唆された。 我々は、このことをタスク固有のオーバーフィッティングとみなし、データハイブリッドトレーニング戦略を導入することでこの問題に対処する。
  論文  参考訳（メタデータ） (2026-03-15T17:16:19Z)
• Mitigating Forgetting in LLM Fine-Tuning via Low-Perplexity Token Learning [65.23593936798662]
  LLM生成データによる微調整により,目標タスクの性能が向上し,非目標タスクの劣化が低減されることを示す。 微調整後のLSMにおける破滅的忘れを緩和するために、トークンの難易度低減に基づく経験的説明を提供する最初の研究である。
  論文  参考訳（メタデータ） (2025-01-24T08:18:56Z)
• Learning the Unlearned: Mitigating Feature Suppression in Contrastive Learning [45.25602203155762]
  自己監督型コントラスト学習は、ラベルのないデータから高品質な表現を導き出すのに有効であることが証明されている。 単目的学習とマルチモーダル学習の両方を妨げる大きな課題は、特徴抑制である。 本稿では,新しいモデルに依存しないマルチステージコントラスト学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-02-19T04:13:33Z)
• Threshold-Consistent Margin Loss for Open-World Deep Metric Learning [42.03620337000911]
  画像検索にDeep Metric Learning (DML) で使われている既存の損失は、しばしば非均一なクラス内およびクラス間表現構造に繋がる。 不整合はしばしば、商用画像検索システムを展開する際のしきい値選択過程を複雑にする。 クラス間の動作特性の分散を定量化するOPIS(Operating-Point-Inconsistency-Score)と呼ばれる,新しい分散に基づく尺度を提案する。
  論文  参考訳（メタデータ） (2023-07-08T21:16:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。